The two key components of any data pipeline are data lakes and warehouses. This course highlights use-cases for each type of storage and dives into the available data lake and warehouse solutions on Google Cloud Platform in technical detail. Also, this course describes the role of a data engineer, the benefits of a successful data pipeline to business operations, and examines why data engineering should be done in a cloud environment. Learners will get hands-on experience with data lakes and warehouses on Google Cloud Platform using QwikLabs.
Offert par
Google Cloud
À propos de ce cours
91,188 consultations récentes
100 % en ligne
Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Dates limites flexibles
Réinitialisez les dates limites selon votre disponibilité.
Niveau intermédiaire
Approx. 12 heures pour terminer
Recommandé : 22 hours/week
Anglais
Sous-titres : Anglais
Offert par
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programme du cours : ce que vous apprendrez dans ce cours
7 minutes pour terminer
Introduction
This module gives an introduction of the Data Engineering specialization and the course.
7 minutes pour terminer
2 vidéos (Total 7 min)
2 heures pour terminer
Introduction to Data Engineering
This module describes the role of a data engineer and motivates the claim why data engineering should be done in the Cloud
2 heures pour terminer
13 vidéos (Total 55 min)
13 vidéos
Analyze data engineering challenges8 min
Intro to BigQuery3 min
Data Lakes and Data Warehouses5 min
Demo: Federated Queries with BigQuery6 min
Transactional Databases vs Data Warehouses4 min
Partner effectively with other data teams6 min
Manage data access and governance2 min
Demo: Finding PII in your dataset with DLP API1 min
Build production-ready pipelines2 min
Review GCP customer case study3 min
Recap1 min
Lab Intro: Using BigQuery to do Analysis17s
1 exercice pour s'entraîner
Introduction to Data Engineering30 min
2 heures pour terminer
Building a Data Lake
In this module, we describe what data lake is and how to use Google Cloud Storage as you data lake on GCP
2 heures pour terminer
10 vidéos (Total 58 min)
10 vidéos
Data Storage and ETL options on GCP4 min
Building a Data Lake using Cloud Storage10 min
Demo: Optimizing cost with Google Cloud Storage classes and Cloud Functions7 min
Securing Cloud Storage5 min
Storing All Sorts of Data Types5 min
Demo: Running federated queries on Parquet and ORC files in BigQuery4 min
Storing Relational Data in the Cloud1 min
Cloud SQL as a relational Data Lake7 min
Lab: Loading Taxi Data into Cloud SQL27s
1 exercice pour s'entraîner
Building a Data Lake4 min
4 heures pour terminer
Building a data warehouse
In this module, we talk about BigQuery as a data warehousing option on GCP
4 heures pour terminer
17 vidéos (Total 93 min)
17 vidéos
Intro to BigQuery1 min
Demo: Querying TB of Data in seconds7 min
Getting Started9 min
Loading Data11 min
Lab Intro: Loading Data into BigQuery21s
Exploring Schemas24s
Demo: Exploring Schemas10 min
Schema Design3 min
Nested and Repeated Fields8 min
Demo: Nested and Repeated Fields15 min
Lab Intro: Working with JSON and Array Data in BigQuery13s
Optimizing with Partitioning and Clustering5 min
Demo: Creating Partitioned Tables7 min
Demo: Partitioning and Clustering6 min
Preview: Transforming Batch and Streaming Data2 min
Recap1 min
1 exercice pour s'entraîner
Building a Data Warehouse4 min
2 minutes pour terminer
Summary
This module reviews all the topics covered in the course
2 minutes pour terminer
1 vidéo (Total 2 min)
1 vidéo
Course Summary1 min
Avis
4.6
Meilleurs avis pour MODERNIZING DATA LAKES AND DATA WAREHOUSES WITH GCP
par AAFeb 14, 2020
Good introduction and overview of the field of data engineering, data lakes and modern data warehouses and a hands-on walkthrough of all the technologies related to solving these problems on GCP.
par BAFeb 8, 2020
The course offers a nice description of what modern DWH means, which are the differences between classic DWH and cloud DWH. You have the chance to work with the new cloud concept on GCP.
par TGFeb 4, 2020
Course material spends a little too much time promoting the benefits of GCP when it could be focusing on the technical aspects of using GCP
par SMMar 21, 2020
Very detailed course on using BigQuery. Gives clarity on different services offered in GCP. Need to attend this for detailed understanding
par PUMar 18, 2020
Really good course for beginners this will help them to understand about Data Lakes, Data Warehouses, BigQuery,Google Storage & Cloud SQL.
par SBFeb 15, 2020
Very valuable information about data lakes, data warehouses, using Arrays and Structs to store data in BigQuery. Loved the course.
par TTFeb 17, 2020
Simply Extraordinary !! The way course took made me finish entire course with a continuous flow.Kudos to course faculty.
par AGMar 1, 2020
Muy bueno, creo que el se puede mejorar los laboratorios, aveces parecen no tener relación con el tema.
par JWJan 22, 2020
Good class and a great intro to data lakes. Nice explanations on how data lakes and warehouses differ.
par HKJan 14, 2020
Excellent presentation, demos and labs. The last lab needs to have a little more time allocated.
par HKMar 18, 2020
I enjoyed the courses, there is clear explanation from trainer. Thanks !
par RRFeb 24, 2020
More in-depth and systematic teaching of scripts would be recommended.
par SMMar 16, 2020
Great course in the Cloud Data Engineering Certification Journey
Foire Aux Questions
Puis-je prévisualiser un cours avant de m'inscrire ?
Oui, vous pouvez prévisualiser la première vidéo et consulter le programme du cours avant de vous inscrire. Vous devez acheter le cours pour accéder au contenu non inclus dans la prévisualisation.
Quand aurai-je accès aux vidéos de cours et aux devoirs ?
Si vous décidez de vous inscrire au cours avant la date de début de session, vous aurez accès à toutes les vidéos et lectures du cours. Vous pourrez soumettre des devoirs à partir du début de la session.
À quoi ai-je droit si je m'inscris ?
Une fois que vous êtes inscrit(e) et que votre session commence, vous avez accès à toutes les vidéos et aux autres ressources, y compris les éléments à lire et le forum de discussion du cours. Vous pouvez afficher et soumettre des devoirs pour vous exercer, et terminer les devoirs notés requis pour obtenir une note et un Certificat de Cours.
Quand recevrai-je mon Certificat de Cours ?
Si vous réussissez le cours, votre Certificat de Cours électronique sera ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat de Cours ou l'ajouter à votre profil LinkedIn.
Pourquoi ne puis-je pas assister à ce cours en auditeur libre ?
Ce cours fait partie du nombre restreint de cours proposés par Coursera actuellement disponibles uniquement aux étudiants ayant payé les frais du cours ou bénéficié de l'Aide Financière, lorsqu'elle est disponible.
Quelle est la politique de remboursement ?
D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.