Ce cours fait partie de la Spécialisation Apprentissage par renforcement

4.7
étoiles
1,146 évaluations

91 %

Martha White +1 enseignant de plus

25 778 déjà inscrits

Offert par

Université de l'Alberta

Alberta Machine Intelligence Institute

Spécialisation Apprentissage par renforcementUniversité de l'Alberta

À propos de ce cours

32 782 consultations récentes

In this course, you will learn about several algorithms that can learn near optimal policies based on trial and error interaction with the environment---learning from the agent’s own experience. Learning from actual experience is striking because it requires no prior knowledge of the environment’s dynamics, yet can still attain optimal behavior. We will cover intuitively simple but powerful Monte Carlo methods, and temporal difference learning methods including Q-learning. We will wrap up this course investigating how we can get the best of both worlds: algorithms that can combine model-based planning (similar to dynamic programming) and temporal difference updates to radically accelerate learning.
By the end of this course you will be able to:
 
- Understand Temporal-Difference learning and Monte Carlo as two strategies for estimating value functions from sampled experience
- Understand the importance of exploration, when using sampled experience rather than dynamic programming sweeps within a model
- Understand the connections between Monte Carlo and Dynamic Programming and TD. 
- Implement and apply the TD algorithm, for estimating value functions
- Implement and apply Expected Sarsa and Q-learning (two TD methods for control) 
- Understand the difference between on-policy and off-policy control
- Understand planning with simulated experience (as opposed to classic planning strategies)
- Implement a model-based approach to RL, called Dyna, which uses simulated experience 
- Conduct an empirical study to see the improvements in sample efficiency when using Dyna

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Labos Coursera

Inclut des projets d’apprentissage pratique.

En savoir plus sur les Labos Coursera

Cours 2 sur 4 dans le

Spécialisation Apprentissage par renforcement

Niveau intermédiaire

Probabilities & Expectations, basic linear algebra, basic calculus, Python 3.0 (at least 1 year), implementing algorithms from pseudocode

Approx. 22 heures pour terminer

Anglais

Compétences que vous acquerrez

Artificial Intelligence (AI)
Machine Learning
Reinforcement Learning
Function Approximation
Intelligent Systems

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Labos Coursera

Inclut des projets d’apprentissage pratique.

En savoir plus sur les Labos Coursera

Cours 2 sur 4 dans le

Spécialisation Apprentissage par renforcement

Niveau intermédiaire

Probabilities & Expectations, basic linear algebra, basic calculus, Python 3.0 (at least 1 year), implementing algorithms from pseudocode

Approx. 22 heures pour terminer

Anglais

Enseignants

Évaluation de l'enseignant

4,67/5 (187 évaluations)

Martha White

Adam White

Offert par

Université de l'Alberta

Alberta Machine Intelligence Institute

Programme de cours : ce que vous apprendrez dans ce cours

Évaluation du contenu91%(4,774 évaluations)

Semaine

Semaine 1

1 heure pour terminer

Welcome to the Course!

1 heure pour terminer

2 vidéos (Total 10 min), 2 lectures

3 heures pour terminer

Monte Carlo Methods for Prediction & Control

This week you will learn how to estimate value functions and optimal policies, using only sampled experience from the environment. This module represents our first step toward incremental learning methods that learn from the agent’s own interaction with the world, rather than a model of the world. You will learn about on-policy and off-policy methods for prediction and control, using Monte Carlo methods---methods that use sampled returns. You will also be reintroduced to the exploration problem, but more generally in RL, beyond bandits.

3 heures pour terminer

11 vidéos (Total 58 min), 3 lectures, 2 quiz

11 vidéos

What is Monte Carlo?6 min

Using Monte Carlo for Prediction6 min

Using Monte Carlo for Action Values2 min

Using Monte Carlo methods for generalized policy iteration2 min

Solving the Blackjack Example3 min

Epsilon-soft policies5 min

Why does off-policy learning matter?4 min

Importance Sampling4 min

Off-Policy Monte Carlo Prediction5 min

Emma Brunskill: Batch Reinforcement Learning12 min

Week 1 Summary3 min

3 lectures

Module 1 Learning Objectives10 min

Weekly Reading40 min

Chapter Summary40 min

1 exercice pour s'entraîner

Graded Quiz30 min

Semaine

Semaine 2

5 heures pour terminer

Temporal Difference Learning Methods for Prediction

This week, you will learn about one of the most fundamental concepts in reinforcement learning: temporal difference (TD) learning. TD learning combines some of the features of both Monte Carlo and Dynamic Programming (DP) methods. TD methods are similar to Monte Carlo methods in that they can learn from the agent’s interaction with the world, and do not require knowledge of the model. TD methods are similar to DP methods in that they bootstrap, and thus can learn online---no waiting until the end of an episode. You will see how TD can learn more efficiently than Monte Carlo, due to bootstrapping. For this module, we first focus on TD for prediction, and discuss TD for control in the next module. This week, you will implement TD to estimate the value function for a fixed policy, in a simulated domain.

5 heures pour terminer

6 vidéos (Total 37 min), 2 lectures, 2 quiz

Semaine

Semaine 3

6 heures pour terminer

Temporal Difference Learning Methods for Control

This week, you will learn about using temporal difference learning for control, as a generalized policy iteration strategy. You will see three different algorithms based on bootstrapping and Bellman equations for control: Sarsa, Q-learning and Expected Sarsa. You will see some of the differences between the methods for on-policy and off-policy control, and that Expected Sarsa is a unified algorithm for both. You will implement Expected Sarsa and Q-learning, on Cliff World.

6 heures pour terminer

9 vidéos (Total 30 min), 3 lectures, 2 quiz

9 vidéos

Sarsa: GPI with TD4 min

Sarsa in the Windy Grid World3 min

What is Q-learning?3 min

Q-learning in the Windy Grid World3 min

How is Q-learning off-policy?4 min

Expected Sarsa3 min

Expected Sarsa in the Cliff World3 min

Generality of Expected Sarsa1 min

Week 3 Summary2 min

3 lectures

Module 3 Learning Objectives10 min

Weekly Reading40 min

Chapter summary40 min

1 exercice pour s'entraîner

Practice Quiz30 min

Semaine

Semaine 4

7 heures pour terminer

Planning, Learning & Acting

Up until now, you might think that learning with and without a model are two distinct, and in some ways, competing strategies: planning with Dynamic Programming verses sample-based learning via TD methods. This week we unify these two strategies with the Dyna architecture. You will learn how to estimate the model from data and then use this model to generate hypothetical experience (a bit like dreaming) to dramatically improve sample efficiency compared to sample-based methods like Q-learning. In addition, you will learn how to design learning systems that are robust to inaccurate models.

7 heures pour terminer

11 vidéos (Total 47 min), 4 lectures, 2 quiz

11 vidéos

What is a Model?4 min

Comparing Sample and Distribution Models2 min

Random Tabular Q-planning3 min

The Dyna Architecture5 min

The Dyna Algorithm5 min

Dyna & Q-learning in a Simple Maze5 min

What if the model is inaccurate?3 min

In-depth with changing environments5 min

Drew Bagnell: self-driving, robotics, and Model Based RL7 min

Week 4 Summary1 min

Congratulations!2 min

4 lectures

Module 4 Learning Objectives10 min

Weekly Reading40 min

Chapter Summary40 min

Text Book Part 1 Summary40 min

1 exercice pour s'entraîner

Practice Assessment45 min

Avis

4.7

226 avis

5 stars
81,88 %
4 stars
13,67 %
3 stars
2,87 %
2 stars
0,60 %
1 star
0,95 %

Meilleurs avis pour SAMPLE-BASED LEARNING METHODS

par DA3 juil. 2022

Excellent paced course that helped me understand sample based methods. Assignments were thoroughly build to practically utilize these concepts

par BP30 juin 2020

Everything is great overall but It would be more better if DynaQ & DynaQ+ were explained more detail in the lecture instead of assignment.

par AA11 août 2020

Great course, giving it 5 stars though it deserves both because the assignments have some serious issues that shouldn't actually be a matter. All the other parts are amazing though. Good job

par NH15 oct. 2019

definitely interesting subjects, but I do not like the teaching method. Very mechanic and dull, with not enough connection to the real world

Voir tous les avis

À propos du Spécialisation Apprentissage par renforcement

The Reinforcement Learning Specialization consists of 4 courses exploring the power of adaptive learning systems and artificial intelligence (AI).

Harnessing the full potential of artificial intelligence requires adaptive learning systems. Learn how Reinforcement Learning (RL) solutions help solve real-world problems through trial-and-error interaction by implementing a complete RL solution from beginning to end. By the end of this Specialization, learners will understand the foundations of much of modern probabilistic artificial intelligence (AI) and be prepared to take more advanced courses or to apply AI tools and ideas to real-world problems. This content will focus on “small-scale” problems in order to understand the foundations of Reinforcement Learning, as taught by world-renowned experts at the University of Alberta, Faculty of Science. The tools learned in this Specialization can be applied to game development (AI), customer interaction (how a website interacts with customers), smart assistants, recommender systems, supply chain, industrial control, finance, oil & gas pipelines, industrial control systems, and more.

Foire Aux Questions

Quand aurai-je accès aux vidéos de cours et aux devoirs ?
L’accès à des vidéos de cours et des devoirs dépend de votre type d’inscription. Si vous suivez un cours en mode auditeur libre, vous pourrez voir la plupart des contenus de cours gratuitement. Pour accéder aux devoirs notés et obtenir un certificat, vous devrez acheter une expérience de certificat, pendant ou après avoir assister au cours en tant qu’auditeur libre. Si vous ne visualisez pas l’option auditeur libre :
Il est possible que le cours ne propose pas d’option auditeur libre. Vous pouvez en revanche accéder à un essai gratuit ou faire une demande d'aide financière.
Le cours propose peut-être « Cours complet, aucun certificat » à la place. Cette option vous permet de voir tous les contenus de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cependant, vous ne pourrez pas acheter une expérience de certificat.
À quoi ai-je droit si je m'abonne à cette Spécialisation ?
Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours de la Spécialisation, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.
Une aide financière est-elle possible ?
Oui. Dans certains programmes d’apprentissage, vous pouvez demander une aide financière ou une bourse d’études si vous ne pouvez pas payer les frais d’inscription. Si une aide financière ou une bourse d’études est disponible pour le programme d’apprentissage choisi, vous trouverez un lien pour faire une demande sur la page de description.

D'autres questions ? Visitez le Centre d'Aide pour les Étudiants.

Sample-based Learning Methods

À propos de ce cours

Compétences que vous acquerrez