À propos de ce cours
70,579 consultations récentes

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Niveau intermédiaire

Probabilities & Expectations, basic linear algebra, basic calculus, Python 3.0 (at least 1 year), implementing algorithms from pseudocode.

Approx. 19 heures pour terminer

Recommandé : 4-6 hours/week...

Anglais

Sous-titres : Anglais

Compétences que vous acquerrez

Artificial Intelligence (AI)Machine LearningReinforcement LearningFunction ApproximationIntelligent Systems

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Niveau intermédiaire

Probabilities & Expectations, basic linear algebra, basic calculus, Python 3.0 (at least 1 year), implementing algorithms from pseudocode.

Approx. 19 heures pour terminer

Recommandé : 4-6 hours/week...

Anglais

Sous-titres : Anglais

Programme du cours : ce que vous apprendrez dans ce cours

Semaine
1
1 heure pour terminer

Welcome to the Course!

2 vidéos (Total 12 min), 2 lectures
2 vidéos
Meet your instructors!8 min
2 lectures
Read Me: Pre-requisites and Learning Objectives10 min
Reinforcement Learning Textbook10 min
6 heures pour terminer

On-policy Prediction with Approximation

13 vidéos (Total 69 min), 1 lecture, 2 quiz
13 vidéos
Generalization and Discrimination5 min
Framing Value Estimation as Supervised Learning3 min
The Value Error Objective4 min
Introducing Gradient Descent7 min
Gradient Monte for Policy Evaluation5 min
State Aggregation with Monte Carlo7 min
Semi-Gradient TD for Policy Evaluation3 min
Comparing TD and Monte Carlo with State Aggregation4 min
Doina Precup: Building Knowledge for AI Agents with Reinforcement Learning7 min
The Linear TD Update3 min
The True Objective for TD5 min
Week 1 Summary4 min
1 lecture
Weekly Reading: On-policy Prediction with Approximation40 min
1 exercice pour s'entraîner
On-policy Prediction with Approximation30 min
Semaine
2
8 heures pour terminer

Constructing Features for Prediction

11 vidéos (Total 52 min), 1 lecture, 2 quiz
11 vidéos
Generalization Properties of Coarse Coding5 min
Tile Coding3 min
Using Tile Coding in TD4 min
What is a Neural Network?3 min
Non-linear Approximation with Neural Networks4 min
Deep Neural Networks3 min
Gradient Descent for Training Neural Networks8 min
Optimization Strategies for NNs4 min
David Silver on Deep Learning + RL = AI?9 min
Week 2 Review2 min
1 lecture
Weekly Reading: On-policy Prediction with Approximation II40 min
1 exercice pour s'entraîner
Constructing Features for Prediction28 min
Semaine
3
8 heures pour terminer

Control with Approximation

7 vidéos (Total 41 min), 1 lecture, 2 quiz
7 vidéos
Episodic Sarsa in Mountain Car5 min
Expected Sarsa with Function Approximation2 min
Exploration under Function Approximation3 min
Average Reward: A New Way of Formulating Control Problems10 min
Satinder Singh on Intrinsic Rewards12 min
Week 3 Review2 min
1 lecture
Weekly Reading: On-policy Control with Approximation40 min
1 exercice pour s'entraîner
Control with Approximation40 min
Semaine
4
6 heures pour terminer

Policy Gradient

11 vidéos (Total 55 min), 1 lecture, 2 quiz
11 vidéos
Advantages of Policy Parameterization5 min
The Objective for Learning Policies5 min
The Policy Gradient Theorem5 min
Estimating the Policy Gradient4 min
Actor-Critic Algorithm5 min
Actor-Critic with Softmax Policies3 min
Demonstration with Actor-Critic6 min
Gaussian Policies for Continuous Actions7 min
Week 4 Summary3 min
Congratulations! Course 4 Preview2 min
1 lecture
Weekly Reading: Policy Gradient Methods40 min
1 exercice pour s'entraîner
Policy Gradient Methods45 min
4.8
14 avisChevron Right

Meilleurs avis pour Prediction and Control with Function Approximation

par ABNov 5th 2019

Great Learning, the best part was the Actor-Critic algorithm for a small pendulum swing task all from stratch using RLGLue library. Love to learn how experimentation in RL works.

par IFNov 10th 2019

Great course. Slightly more complex than courses 1 and 2, but a huge improvement in terms of applicability to real-world situations.

Enseignants

Avatar

Martha White

Assistant Professor
Computing Science
Avatar

Adam White

Assistant Professor
Computing Science

À propos de Université de l'Alberta

UAlberta is considered among the world’s leading public research- and teaching-intensive universities. As one of Canada’s top universities, we’re known for excellence across the humanities, sciences, creative arts, business, engineering and health sciences....

À propos de Alberta Machine Intelligence Institute

The Alberta Machine Intelligence Institute (Amii) is home to some of the world’s top talent in machine intelligence. We’re an Alberta-based research institute that pushes the bounds of academic knowledge and guides business understanding of artificial intelligence and machine learning....

À propos du Spécialisation Apprentissage par renforcement

The Reinforcement Learning Specialization consists of 4 courses exploring the power of adaptive learning systems and artificial intelligence (AI). Harnessing the full potential of artificial intelligence requires adaptive learning systems. Learn how Reinforcement Learning (RL) solutions help solve real-world problems through trial-and-error interaction by implementing a complete RL solution from beginning to end. By the end of this Specialization, learners will understand the foundations of much of modern probabilistic artificial intelligence (AI) and be prepared to take more advanced courses or to apply AI tools and ideas to real-world problems. This content will focus on “small-scale” problems in order to understand the foundations of Reinforcement Learning, as taught by world-renowned experts at the University of Alberta, Faculty of Science. The tools learned in this Specialization can be applied to game development (AI), customer interaction (how a website interacts with customers), smart assistants, recommender systems, supply chain, industrial control, finance, oil & gas pipelines, industrial control systems, and more....
Apprentissage par renforcement

Foire Aux Questions

  • Une fois que vous êtes inscrit(e) pour un Certificat, vous pouvez accéder à toutes les vidéos de cours, et à tous les quiz et exercices de programmation (le cas échéant). Vous pouvez soumettre des devoirs à examiner par vos pairs et en examiner vous-même uniquement après le début de votre session. Si vous préférez explorer le cours sans l'acheter, vous ne serez peut-être pas en mesure d'accéder à certains devoirs.

  • Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours de la Spécialisation, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.

D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.