[МУЗЫКА] [МУЗЫКА] Всем привет. Меня зовут Олег. Я работаю в финансовом блоке «Сбербанка». И сегодня я расскажу вам, как можно использовать машинное обучение для решения задач оптимального управления в финансах. Цель раздела оптимального управления в финансах заключается в том, чтобы ознакомить вас классом задач оптимального управления и привести примеры таких задач в финансовой сфере. Затем мы расскажем вам, какие существуют методы решения задач данного класса и дадим вам рекомендации по выбору метода. Также мы расскажем вам некоторую теорию о том, как работает машинное обучение с подкреплением, и почему этот метод хорошо зарекомендовал себя на практике. Во второй части раздела мы презентуем один из проектов «Сбербанка», в котором мы использовали изложенные принципы машинного обучения с подкреплением для решения актуальной финансовой задачи. В завершение курса мы предоставим вам возможность применить изученные методы и решить две практические задачи. В предыдущих разделах курса мы ознакомились с задачами прогнозирования, которые часто возникают в финансовой индустрии, а также с методами их решения с помощью модели машинного обучения. Но для того чтобы прогнозные модели начали приносить пользу, необходимо чтобы они позволили принимать более правильные решения. Поэтому результаты прогнозной модели должны быть транслированы в некоторое решение, что часто осуществляется с помощью оптимизационных методов. Существует множество примеров решения оптимизационных задач в бизнесе. Например, «Сбербанк Инкассация» использует оптимизационные алгоритмы для управления тарифами с учетом себестоимости транспортировки, загрузки транспортных средств, объема и массы груза, а также необходимости поддержания его ассортимента. Другой пример — это всем известные провайдеры услуг такси и каршеринговые компании, которые используют оптимизацию для определения мест с наибольшим количеством заказов, поиска оптимального маршрута и предсказания времени в пути. Еще один пример, на этот раз из сферы авиаперевозок, это компания EASYJET, которая начала управлять прибылью с помощью оптимизации маршрутов и дальности перелетов, расхода топлива и тарифов на перевозку. Особым классом оптимизационных задач и, наверное, одним из самых сложных является оптимальное управление. Основные понятия данного класса задач включают в себя динамическую систему, динамический процесс, механизм управления, критерии качества и ограничения. Таким образом, существует некоторая динамическая система, которая участвует в динамическом процессе, и ей можно управлять с помощью доступного механизма управления. Задача оптимального управления состоит в том, чтобы найти такой закон управления системой, который мог бы обеспечить наилучшее протекание динамического процесса во времени с точки зрения заданного критерия качества и ограничений. Рассмотрим один из примеров задачи оптимального управления — управление гоночным автомобилем, который движется по гоночной трассе. В этом случае динамической системой является сам гоночный автомобиль, а динамическим процессом — его движение по трассе. Управлять автомобилем можно с помощью руля управления и педали газа и тормоза. Ограничителем движения автомобиля выступает гоночная трасса, в пределах которой, автомобиль должен оставаться. Критерием качества процесса служит итоговое время прохождения трассы. Сложность разработки систем управления заключается в том, что динамика реальных физических процессов крайне нелинейна и может зависеть от огромного количества факторов. При этом цена ошибки управления может быть высокой. Например, если управление гоночным автомобилем осуществлено неверно, то он может сойти с трассы и разбиться. Еще одна сложность разработки системы управления состоит в том, что множество стратегии управления может быть бесконечно большим, поэтому протестировать все возможные режимы управления будет просто невозможно. Также в реальных задачах часто бывает ограниченным количество возможных испытаний системы, так как каждое испытание влечет за собой определенные финансовые издержки. По всем этим причинам оптимальное управление представляет собой один из сложнейших классов оптимизационных задач. [МУЗЫКА] [МУЗЫКА]