En règle générale, les pipelines de données fonctionnent sur le modèle "Extraction et chargement" (EL), "Extraction, chargement et transformation" (ELT), ou "Extraction, transformation et chargement" (ETL). Dans ce cours, vous apprendrez où et quand appliquer ces différents modèles à des lots de données. Vous découvrirez également plusieurs technologies Google Cloud Platform permettant de transformer des données, y compris BigQuery, Spark exécuté sur Cloud Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement de données sans serveur avec Cloud Dataflow. Vous aurez en outre l'occasion de créer les composants d'un pipeline de données sur Google Cloud Platform dans le cadre d'un atelier pratique QwikLabs.
Ce cours fait partie de la Spécialisation Data Engineer, Big Data and ML on Google Cloud en Français
Offert par
À propos de ce cours
Certificat partageable
Obtenez un Certificat lorsque vous terminez
100 % en ligne
Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Cours 3 sur 5 dans le
Dates limites flexibles
Réinitialisez les dates limites selon votre disponibilité.
Niveau intermédiaire
Approx. 13 heures pour terminer
Français
Sous-titres : Français, Anglais
Certificat partageable
Obtenez un Certificat lorsque vous terminez
100 % en ligne
Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Cours 3 sur 5 dans le
Dates limites flexibles
Réinitialisez les dates limites selon votre disponibilité.
Niveau intermédiaire
Approx. 13 heures pour terminer
Français
Sous-titres : Français, Anglais
Offert par
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programme du cours : ce que vous apprendrez dans ce cours
6 minutes pour terminer
Introduction
Dans ce module, nous présentons le cours et son programme.
6 minutes pour terminer
2 vidéos (Total 6 min)
1 heure pour terminer
Introduction aux pipelines de données par lots
Ce module présente les différentes méthodes de chargement de données (EL, ELT et ETL) et leurs cas d'utilisation.
1 heure pour terminer
5 vidéos (Total 18 min)
5 vidéos
EL, ELT et ETL4 min
Considérations liées à la qualité1 min
Comment réaliser des opérations dans BigQuery3 min
Limitations3 min
Processus ETL pour résoudre les problèmes liés à la qualité des données4 min
1 exercice pour s'entraîner
EL, ELT et ETL30 min
2 heures pour terminer
Exécuter Spark sur Cloud Dataproc
Dans ce module, vous apprendrez à exécuter Hadoop sur Cloud Dataproc, à exploiter GCS et à optimiser vos tâches Dataproc.
2 heures pour terminer
9 vidéos (Total 49 min)
9 vidéos
L'écosystème Hadoop8 min
Exécuter Hadoop sur Cloud Dataproc10 min
GCS au lieu de HDFS6 min
Optimiser Dataproc5 min
Optimiser le stockage Dataproc9 min
Optimiser les modèles et l'autoscaling avec Dataproc4 min
Optimiser la surveillance Dataproc3 min
Présentation de l'atelier : Exécution de tâches Apache Spark sur Cloud Dataproc27s
Résumé31s
1 exercice pour s'entraîner
Exécuter Spark sur Cloud Dataproc4 min
3 heures pour terminer
Gérer des pipelines de données avec Cloud Data Fusion et Cloud Composer
Dans ce module, vous apprendrez à gérer des pipelines de données avec Cloud Data Fusion et Cloud Composer.
3 heures pour terminer
11 vidéos (Total 45 min)
11 vidéos
Introduction7 min
Composants de Data Fusion2 min
Créer un pipeline6 min
Explorer des données avec Wrangler1 min
Atelier : Créer et exécuter un graphique de pipeline dans Cloud Data Fusion17s
Organiser les tâches dans les services GCP avec Cloud Composer1 min
Environnement Apache Airflow1 min
DAG et opérateurs12 min
Planification du workflow6 min
Surveillance et journalisation4 min
Atelier : Présentation de Cloud Composer12s
1 exercice pour s'entraîner
Cloud Data Fusion et Cloud Composer30 min
7 heures pour terminer
Traiter des données sans serveur avec Cloud Dataflow
Dans ce module, vous apprendrez à créer vos pipelines de traitement de données avec Cloud Dataflow.
7 heures pour terminer
12 vidéos (Total 40 min)
12 vidéos
Cloud Dataflow8 min
Pourquoi les clients apprécient Dataflow ?3 min
Créer des pipelines Cloud Dataflow dans le code3 min
Considérations à prendre en compte dans l'élaboration de pipelines2 min
Transformer les données avec PTransforms3 min
Atelier : Créer un pipeline Dataflow simple17s
Agréger avec GroupByKey et Combine7 min
Atelier : MapReduce dans Cloud Dataflow18s
Entrées secondaires et fenêtres de données4 min
Atelier : Utiliser les entrées secondaires de pipeline11s
Créer et réutiliser des modèles de pipeline3 min
Pipelines Cloud Dataflow SQL3 min
1 exercice pour s'entraîner
Traiter des données avec Cloud Dataflow30 min
4 minutes pour terminer
Résumé
Ce module récapitule les sujets abordés dans ce cours.
4 minutes pour terminer
1 vidéo (Total 4 min)
1 vidéo
Résumé du cours4 min
À propos du Spécialisation Data Engineer, Big Data and ML on Google Cloud en Français
Cette formation de spécialisation en ligne d'une durée de cinq semaines présente en pratique comment concevoir et développer des systèmes de traitement des données sur Google Cloud. À travers un ensemble de présentations, de démonstrations et d'ateliers pratiques, les participants apprennent à concevoir des systèmes de traitement de données, à créer des pipelines de données de bout en bout, à analyser des données et à exécuter des tâches de machine learning.
Foire Aux Questions
Puis-je prévisualiser un cours avant de m'inscrire ?
À quoi ai-je droit si je m'inscris ?
Quand recevrai-je mon Certificat de Cours ?
Pourquoi ne puis-je pas assister à ce cours en auditeur libre ?
Is financial aid available?
D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.
