[МУЗЫКА] [МУЗЫКА] Задачи оптимального управления часто возникают не только в инженерных проектах, но также и в финансах. В контексте финансовой индустрии динамической системой выступает некая финансовая компания, а динамическим процессом является финансовый рынок, в котором данная компания оперирует. Управлять своим рыночным положением компания может за счёт изменения цен, ставок и комиссии на свои услуги. При этом у финансовых компаний обычно есть ряд ограничений, таких, как финансовые обязательства перед стейкхолдерами, объём доступного капитала, который может быть использован для предоставления финансовых услуг, регуляторные требования и другие ограничения. Критерием качества управления финансовой корпорацией выступает ее реализованная прибыль за отчетный период или ее рыночная капитализация. Процесс принятия решений в финансовой индустрии зачастую основывается на результатах построения прогнозных моделей, которые строятся с некоторой периодичностью. Например, ежемесячный или ежедневный. Если финансовая компания решает достаточно простую задачу, то она может использовать прогнозную модель и применить к ней некоторый набор решающих правил, который может быть сформулирован экспертом или найден с помощью метода конечномерной оптимизации. При условии того, что предпринятое решение не повлияет на будущую динамику процесса, такой подход будет работать эффективно, поскольку набор решающих правил будет постоянен во времени. Поэтому для такой задачи поиска оптимальной стратегии управления не требуется. Но бывают ситуации, когда без оптимального управления обойтись нельзя. В финансовой сфере существуют более сложные задачи, в которых решение, принятое в текущий момент, может оказать влияние на будущую динамику всего моделируемого процесса. Если эффект такого влияния достаточно велик, то набор решающих правил уже не будет постоянен во времени. Он будет зависеть от многих параметров процесса, включая то, по какой траектории данный процесс развивался до текущего момента времени. Сформулировать такой набор решающих правил вручную или даже с использованием методов конечномерной оптимизации слишком сложно, поэтому для такой задачи необходимо искать оптимальную стратегию управления с учетом всего горизонта протекания процесса. Приведём несколько примеров задачи оптимального управления, которые возникают в финансах. Первый пример связан с задачей привлечения депозитов коммерческим банком. Коммерческий банк котирует кривую процентных ставок, в соответствии с которой производятся процентные платежи по размещенным депозитам клиентов. Регулируя кривую ставок, банк может управлять объемом размещенных депозитов, так как при более высоких ставках клиенты разместят больше депозитов. В идеале коммерческий банк хотел бы привлечь такой объем депозитов, который бы покрыл его потребность в ликвидных денежных средствах. Кроме того, стоимость портфеля должна быть минимальна. Проблема оптимального управления в этой задаче возникает из-за того, что депозиты могут отличаться по срочности. Краткосрочные депозиты стоят дешевле, чем долгосрочные. Но их необходимо периодически перезаключать, так как они быстро истекают, создавая риск нехватки денежных средств в будущем. Таким образом, кривая процентных ставок по депозитам должна обеспечивать не только оптимальный объем портфеля на текущий момент, но также и оптимальную структуру портфеля по всем срочностям, что представляет собой задачу оптимального управления. Другая задача, которая часто встречается в финансах, это управление портфелем ценных бумаг. В наиболее простой постановке этой задачи существует некоторый объем капитала, который может быть проинвестирован в портфель финансовых активов. Также может быть доступна некоторая прогнозная модель, которая предсказывает ожидаемую доходность каждого финансового актива в следующем периоде. Задача портфельного менеджера — управлять портфелем ценных бумаг таким образом, чтобы получить наилучший финансовый результат за совокупный период инвестирования. Однако, если портфельный менеджер осуществляет ребалансировку портфеля, то есть изменяет набор финансовых активов, которые входят в портфель, то ему необходимо оплатить брокерскую комиссию, что снижает финансовый результат портфеля за период инвестирования. Поэтому покупать все активы с положительным прогнозом доходности и продавать все активы с отрицательным прогнозом может оказаться плохой стратегией. Если управление осуществляется оптимальным образом, то количество ребалансировок портфеля должно быть ограничено, и прогноз доходности активов должен учитываться на множество периодов вперёд. Ещё одна задача — управление источниками фондирования коммерческого банка также связана с транзакционными издержками. Коммерческий банк может использовать множество источников финансирования для привлечения средств, таких как депозиты, межбанковские займы, выпуски облигаций, акционерный капитал и нераспределенная прибыль. При этом каждый из этих источников может быть разделен более детально. Например, облигации могут отличаться валютой, срочностью, уровнем обеспеченности, условиями погашения, наличием опционов и другими параметрами. Таким образом, у банка существует богатый выбор инструментов фондирования. Его цель — выбрать такие инструменты, которые в совокупности бы обладали минимальной средневзвешенной процентной ставкой. Если в какой-то момент времени банк понимает, что на рынке доступны более дешевые источники финансирования, чем те, которые он использует, то он вынужден изменить свою структуру капитала. При этом банк несет дополнительные транзакционные издержки и штрафы за досрочное погашение. Поэтому, если бы он мог изначально выбрать более правильно структуру капитала с учетом ожидаемой динамики рынка и бизнеса, то он мог бы избежать этих транзакционных издержек. И последний пример — это задача моделирования конкурентной среды для принятия стратегических решений, которая также является довольно актуальной задачей для многих финансовых компаний. Многие финансовые компании оперируют в олигополистических рынках, в которых существует несколько крупных игроков и множество более мелких игроков. Такие рынки обычно описываются с помощью теоретико-игровых моделей. В олигополистических рынках каждая компания принимает свои решения с учетом возможных ответных действий конкурентов. Определение набора оптимальных действий каждой компании в зависимости от возможных действий конкурентов — это задача оптимального управления. Если для каждой компании удалось построить ее оптимальную стратегию действий, то совокупность полученных стратегий может быть использована для нахождения рыночного равновесия. Таким образом, у компаний, которым необходимо принять некоторое стратегическое решение, может быть реализована модель рыночного равновесия. На основании этой модели компания может проводить тесты влияния данного решения на равновесие рынка и на ее рыночное положение. Для решения задачи оптимального управления необходимо располагать математической моделью процесса. Данная модель должна описывать поведение динамической системы под влиянием управляющих воздействий. Модель процесса может быть как детерминистической, так и стохастической, то есть допускается присутствие случайных шумов в динамике процесса. Если математическая модель процесса заранее неизвестна, то, прежде чем решать задачу оптимального управления, необходимо провести процедуру идентификации. В этом случае возникает дилемма распределения трудозатрат между процедурой идентификации и непосредственным решением задачи. Пример такой дилеммы — это управление автомобилем на внедорожье, где требуется определить не только оптимальный способ управления автомобилем, но также понять, по какой дороге лучше ехать. Традиционный математический подход к решению практических задач оптимального управления включает в себя последовательность нескольких трудоемких шагов. Первый — это экспериментальная оценка модели процесса, о которой мы только что говорили. Второй шаг заключается в аппроксимации модели более простыми дифференцированными функциями, которые поддаются аналитическому выражению. Третий — это формулировка дифференциальных уравнений динамики процесса на основе изученных закономерностей. Четвертый шаг состоит в сведении задачи оптимального управления к оптимизационной задаче. И пятый шаг — это уже непосредственное решение полученной оптимизационной задачи. Поскольку данный подход требует существенных трудозатрат, то в финансовой сфере он применялся довольно редко, только для самых важных задач. Менее значимые задачи, как правило, либо решались с помощью набора простых эвристических правил, которые не могли учесть всех особенностей процесса, либо вовсе оставались нерешенными. Рассмотрим пример использования математического подхода для простой задачи оптимального управления. Задача состоит в управлении единственным финансовым активом на условном промежутке времени от нуля до единицы. Если мы действуем в соответствии с изложенной схемой, то сначала нам требуется разработать прогнозную модель стоимости финансового актива на указанном промежутке времени, а также оценить транзакционные издержки при покупке или продаже актива. Разработанная прогнозная модель наверняка будет иметь сложную нелинейную зависимость от множества факторов, поэтому её необходимо аппроксимировать более простыми гладкими функциями, чтобы на их основе можно было сформулировать дифференциальное уравнение динамики процесса в аналитическом виде. В нашем случае нам нужно вывести дифференциальное уравнение динамики прибыли, которое пока еще выглядит достаточно просто. Однако на следующем шаге нам требуется максимизировать интеграл по данному уравнению для того, чтобы максимизировать совокупную прибыль от управления активом. Последний этап решения задачи оптимального управления заключается в решении оптимизационной задачи. К сожалению, решение этой задачи превращается во множество вложенных интегралов, которые становится тяжело интерпретировать и трудно использовать для принятия бизнес-решений. Таким образом, даже на простой задаче становится понятно, почему математические методы редко применялись в финансовой индустрии. Современный альтернативный подход решения задачи оптимального управления возможен с помощью машинного обучения с подкреплением. Идея данного подхода — это объединить последовательности рассмотренных трудоемких шагов в одном эффективном алгоритме, который можно было бы сразу использовать на практике. Область машинного обучения с подкреплением претерпела довольно бурное развитие. На текущий момент наиболее удобные в практическом плане методы основаны на архитектуре actor-critic. Дальнейшая часть курса будет нацелена на то, чтобы рассказать вам более подробно об этой архитектуре, и как ее можно использовать для решения финансовых задач. Однако, чтобы понять, как устроена эта архитектура, необходимо сначала освоить некоторые базовые концепции теории машинного обучения с подкреплением. [МУЗЫКА]
