Data pipelines typically fall under one of the Extra-Load, Extract-Load-Transform or Extract-Transform-Load paradigms. This course describes which paradigm should be used and when for batch data. Furthermore, this course covers several technologies on Google Cloud Platform for data transformation including BigQuery, executing Spark on Cloud Dataproc, pipeline graphs in Cloud Data Fusion and serverless data processing with Cloud Dataflow. Learners will get hands-on experience building data pipeline components on Google Cloud Platform using QwikLabs.
Offert par
Google Cloud
À propos de ce cours
80,483 consultations récentes
Certificat partageable
Obtenez un Certificat lorsque vous terminez
100 % en ligne
Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Dates limites flexibles
Réinitialisez les dates limites selon votre disponibilité.
Niveau intermédiaire
Approx. 15 heures pour terminer
Recommandé : 23 hours/week
Anglais
Sous-titres : Anglais
Offert par
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programme du cours : ce que vous apprendrez dans ce cours
6 minutes pour terminer
Introduction
In this module, we introduce the course and agenda
6 minutes pour terminer
2 vidéos (Total 6 min)
1 heure pour terminer
Introduction to Batch Data Pipelines
This module reviews different methods of data loading: EL, ELT and ETL and when to use what
1 heure pour terminer
5 vidéos (Total 18 min)
5 vidéos
EL, ELT, ETL4 min
Quality considerations1 min
How to carry out operations in BigQuery3 min
Shortcomings3 min
ETL to solve data quality issues4 min
1 exercice pour s'entraîner
EL, ELT, ETL30 min
2 heures pour terminer
Executing Spark on Cloud Dataproc
This module shows how to run Hadoop on Cloud Dataproc, how to leverage GCS, and how to optimize your Dataproc jobs.
2 heures pour terminer
9 vidéos (Total 49 min)
9 vidéos
The Hadoop ecosystem8 min
Running Hadoop on Cloud Dataproc10 min
GCS instead of HDFS6 min
Optimizing Dataproc5 min
Optimizing Dataproc Storage9 min
Optimizing Dataproc Templates and Autoscaling4 min
Optimizing Dataproc Monitoring3 min
Lab Intro: Running Apache Spark jobs on Cloud Dataproc27s
Summary31s
1 exercice pour s'entraîner
Executing Spark on Cloud Dataproc4 min
3 heures pour terminer
Manage Data Pipelines with Cloud Data Fusion and Cloud Composer
This module shows how to manage data pipelines with Cloud Data Fusion and Cloud Composer.
3 heures pour terminer
11 vidéos (Total 45 min)
11 vidéos
Introduction7 min
Components of Data Fusion2 min
Building a Pipeline6 min
Exploring Data using Wrangler1 min
Lab: Building and executing a pipeline graph in Cloud Data Fusion17s
Orchestrating work between GCP services with Cloud Composer1 min
Apache Airflow Environment1 min
DAGs and Operators12 min
Workflow scheduling6 min
Monitoring and Logging4 min
Lab: An Introduction to Cloud Composer12s
1 exercice pour s'entraîner
Cloud Data Fusion and Cloud Composer30 min
7 heures pour terminer
Serverless Data Processing with Cloud Dataflow
This module covers using Cloud Dataflow to build your data processing pipelines
7 heures pour terminer
12 vidéos (Total 40 min)
12 vidéos
Cloud Dataflow8 min
Why customers value Dataflow3 min
Building Cloud Dataflow Pipelines in code3 min
Key considerations with designing pipelines2 min
Transforming data with PTransforms3 min
Lab: Building a Simple Dataflow Pipeline17s
Aggregating with GroupByKey and Combine7 min
Lab: MapReduce in Cloud Dataflow18s
Side Inputs and Windows of data4 min
Lab: Practicing Pipeline Side Inputs11s
Creating and re-using Pipeline Templates3 min
Cloud Dataflow SQL pipelines3 min
1 exercice pour s'entraîner
Data Processing with Cloud Dataflow30 min
4 minutes pour terminer
Summary
This module reviews the topics covered in this course
4 minutes pour terminer
1 vidéo (Total 4 min)
1 vidéo
Course Summary4 min
Avis
4.5
Meilleurs avis pour BUILDING BATCH DATA PIPELINES ON GCP
par SPFeb 6, 2020
There were too many labs with services that take 30-40 minutes just to spin up. I wouldn't have a problem with all the labs if the services took 2-5 minutes to spin up.
par RRFeb 11, 2020
More teaching should be focused on how to build the python file of each task, rather than ready for us to run.
par NNMar 23, 2020
A lot of useful knowledge being acquired in a short time
Foire Aux Questions
Puis-je prévisualiser un cours avant de m'inscrire ?
Oui, vous pouvez prévisualiser la première vidéo et consulter le programme du cours avant de vous inscrire. Vous devez acheter le cours pour accéder au contenu non inclus dans la prévisualisation.
Quand aurai-je accès aux vidéos de cours et aux devoirs ?
Si vous décidez de vous inscrire au cours avant la date de début de session, vous aurez accès à toutes les vidéos et lectures du cours. Vous pourrez soumettre des devoirs à partir du début de la session.
À quoi ai-je droit si je m'inscris ?
Une fois que vous êtes inscrit(e) et que votre session commence, vous avez accès à toutes les vidéos et aux autres ressources, y compris les éléments à lire et le forum de discussion du cours. Vous pouvez afficher et soumettre des devoirs pour vous exercer, et terminer les devoirs notés requis pour obtenir une note et un Certificat de Cours.
Quand recevrai-je mon Certificat de Cours ?
Si vous réussissez le cours, votre Certificat de Cours électronique sera ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat de Cours ou l'ajouter à votre profil LinkedIn.
Pourquoi ne puis-je pas assister à ce cours en auditeur libre ?
Ce cours fait partie du nombre restreint de cours proposés par Coursera actuellement disponibles uniquement aux étudiants ayant payé les frais du cours ou bénéficié de l'Aide Financière, lorsqu'elle est disponible.
Quelle est la politique de remboursement ?
D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.
