À propos de ce cours
4.3
114 notes
33 avis
Spécialisation
100 % en ligne

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Dates limites flexibles

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.
Niveau avancé

Niveau avancé

Heures pour terminer

Approx. 39 heures pour terminer

Recommandé : 6 weeks of study, 3-6 hours/week for base track, 6-9 with all the horrors of honors section...
Langues disponibles

Anglais

Sous-titres : Anglais
Spécialisation
100 % en ligne

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Dates limites flexibles

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.
Niveau avancé

Niveau avancé

Heures pour terminer

Approx. 39 heures pour terminer

Recommandé : 6 weeks of study, 3-6 hours/week for base track, 6-9 with all the horrors of honors section...
Langues disponibles

Anglais

Sous-titres : Anglais

Programme du cours : ce que vous apprendrez dans ce cours

Semaine
1
Heures pour terminer
5 heures pour terminer

Intro: why should i care?

In this module we gonna define and "taste" what reinforcement learning is about. We'll also learn one simple algorithm that can solve reinforcement learning problems with embarrassing efficiency....
Reading
13 videos (Total 84 min), 7 lectures, 3 quiz
Video13 vidéos
Reinforcement learning vs all3 min
Multi-armed bandit4 min
Decision process & applications6 min
Markov Decision Process5 min
Crossentropy method9 min
Approximate crossentropy method5 min
More on approximate crossentropy method6 min
Evolution strategies: core idea6 min
Evolution strategies: math problems5 min
Evolution strategies: log-derivative trick8 min
Evolution strategies: duct tape6 min
Blackbox optimization: drawbacks4 min
Reading7 lectures
What you're getting into1 min
Setting up course environment10 min
Note: this course vs github course1 min
Course teaser placeholder10 min
Primers1 min
About honors track1 min
Extras10 min
Semaine
2
Heures pour terminer
3 heures pour terminer

At the heart of RL: Dynamic Programming

This week we'll consider the reinforcement learning formalisms in a more rigorous, mathematical way. You'll learn how to effectively compute the return your agent gets for a particular action - and how to pick best actions based on that return....
Reading
5 videos (Total 54 min), 2 lectures, 4 quiz
Video5 vidéos
State and Action Value Functions13 min
Measuring Policy Optimality6 min
Policy: evaluation & improvement10 min
Policy and value iteration8 min
Reading2 lectures
Advanced Reward Design10 min
Discrete Stochastic Dynamic Programming10 min
Quiz3 exercices pour s'entraîner
Reward design8 min
Optimality in RL10 min
Policy Iteration14 min
Semaine
3
Heures pour terminer
5 heures pour terminer

Model-free methods

This week we'll find out how to apply last week's ideas to the real world problems: ones where you don't have a perfect model of your environment....
Reading
6 videos (Total 47 min), 1 lecture, 4 quiz
Video6 vidéos
Monte-Carlo & Temporal Difference; Q-learning8 min
Exploration vs Exploitation8 min
Footnote: Monte-Carlo vs Temporal Difference2 min
Accounting for exploration. Expected Value SARSA.11 min
On-policy vs off-policy; Experience replay7 min
Reading1 lecture
Extras10 min
Quiz1 exercice pour s'entraîner
Model-free reinforcement learning10 min
Semaine
4
Heures pour terminer
5 heures pour terminer

Approximate Value Based Methods

This week we'll learn to scale things even farther up by training agents based on neural networks....
Reading
9 videos (Total 104 min), 3 lectures, 5 quiz
Video9 vidéos
Loss functions in value based RL11 min
Difficulties with Approximate Methods15 min
DQN – bird's eye view9 min
DQN – the internals9 min
DQN: statistical issues6 min
Double Q-learning6 min
More DQN tricks10 min
Partial observability17 min
Reading3 lectures
TD vs MC10 min
Extras10 min
DQN follow-ups10 min
Quiz3 exercices pour s'entraîner
MC & TD8 min
SARSA and QLeaning8 min
DQN12 min
4.3
33 avisChevron Right

Meilleurs avis

par TCMay 17th 2018

Great course. Best course so far on reinforcement learning.

Enseignants

Avatar

Pavel Shvechikov

Researcher at HSE and Sberbank AI Lab
HSE Faculty of Computer Science
Avatar

Alexander Panin

Lecturer
HSE Faculty of Computer Science

À propos de National Research University Higher School of Economics

National Research University - Higher School of Economics (HSE) is one of the top research universities in Russia. Established in 1992 to promote new research and teaching in economics and related disciplines, it now offers programs at all levels of university education across an extraordinary range of fields of study including business, sociology, cultural studies, philosophy, political science, international relations, law, Asian studies, media and communications, IT, mathematics, engineering, and more. Learn more on www.hse.ru...

À propos de la Spécialisation Advanced Machine Learning

This specialization gives an introduction to deep learning, reinforcement learning, natural language understanding, computer vision and Bayesian methods. Top Kaggle machine learning practitioners and CERN scientists will share their experience of solving real-world problems and help you to fill the gaps between theory and practice. Upon completion of 7 courses you will be able to apply modern machine learning methods in enterprise and understand the caveats of real-world data and settings....
Advanced Machine Learning

Foire Aux Questions

  • Une fois que vous êtes inscrit(e) pour un Certificat, vous pouvez accéder à toutes les vidéos de cours, et à tous les quiz et exercices de programmation (le cas échéant). Vous pouvez soumettre des devoirs à examiner par vos pairs et en examiner vous-même uniquement après le début de votre session. Si vous préférez explorer le cours sans l'acheter, vous ne serez peut-être pas en mesure d'accéder à certains devoirs.

  • Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours de la Spécialisation, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.

D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.