This 1-week, accelerated course builds upon previous courses in the Data Engineering on Google Cloud Platform specialization. Through a combination of video lectures, demonstrations, and hands-on labs, you'll learn how to create and manage computing clusters to run Hadoop, Spark, Pig and/or Hive jobs on Google Cloud Platform. You will also learn how to access various cloud storage options from their compute clusters and integrate Google’s machine learning capabilities into their analytics programs.
In the hands-on labs, you will create and manage Dataproc Clusters using the Web Console and the CLI, and use cluster to run Spark and Pig jobs. You will then create iPython notebooks that integrate with BigQuery and storage and utilize Spark. Finally, you integrate the machine learning APIs into your data analysis.
Pre-requisites
• Google Cloud Platform Big Data & Machine Learning Fundamentals (or equivalent experience)
• Some knowledge of Python
Ce cours fait partie de la Spécialisation Data Engineering on Google Cloud Platform
Leveraging Unstructured Data with Cloud Dataproc on Google Cloud Platform
proposé par
À propos de ce cours
4.5
1,890 notes
Compétences que vous acquerrez
Google Cloud DataprocApplication Programming Interfaces (API)Machine Learning
Programme du cours : ce que vous apprendrez dans ce cours
Semaine
1Module 1: Introduction to Cloud Dataproc
16 vidéos (Total 52 min), 2 quiz
16 vidéos
Introducing Cloud Dataproc1 min
Defining unstructured data?4 min
Deriving value from unstructured data7 min
Approaches to working with Big Data4 min
MapReduce and Hadoop origins5 min
On prem Hadoop has a lot of overhead1 min
Cloud Dataproc versus Hadoop alternatives2 min
Creating a Dataproc cluster4 min
Dataproc customization3 min
Dataproc and the CLI40s
Lab 1: Overview11s
Lab 1: Demo and Review7 min
Custom Machine Types3 min
Preemptible VMs3 min
Wrap up41s
1 exercice pour s'entraîner
Module 1 Quiz4 min
Module 2: Running Dataproc jobs
13 vidéos (Total 51 min), 3 quiz
13 vidéos
Methods for submitting jobs1 min
Lab 2 Overview1 min
Lab 2: Demo and Review11 min
Separation of Storage and Compute6 min
Evolution of data processing5 min
The importance of networking in data processing3 min
Separating storage and compute with Spark1 min
Submitting Spark jobs3 min
Overview of Spark concepts2 min
Lab Overview45s
Lab 3: Demo and Review8 min
Module Wrap Up18s
1 exercice pour s'entraîner
Module 2 Quiz2 min
Module 3: Leveraging GCP
10 vidéos (Total 37 min), 3 quiz
10 vidéos
BigQuery Support8 min
Lab 4: Overview31s
Lab 4: Demo and Review4 min
Cluster customization4 min
Installing software on a Dataproc7 min
Lab 5: Overview17s
Lab 5: Demo and Review8 min
Wrap up58s
Review19s
1 exercice pour s'entraîner
Module 3 Quiz2 min
Module 4: Analyzing Unstructured Data
7 vidéos (Total 24 min), 2 quiz
7 vidéos
A closer look at Machine Learning3 min
Examples of applied ML3 min
Natural Language Processing close-up2 min
Lab 6: Overview1 min
Lab 6: Demo and Review10 min
Wrap up16s
1 exercice pour s'entraîner
Module 4 Quiz2 min
4.5
235 avis60%
a commencé une nouvelle carrière après avoir terminé ces cours
67%
a bénéficié d'un avantage concret dans sa carrière grâce à ce cours
25%
a obtenu une augmentation de salaire ou une promotion
Meilleurs avis
par CP•Dec 29th 2017
Really enjoyed it, woudl have liked to spend more time with the APIs and integrate with real time web downloads. There are a few bugs and misprints, but wasn't too hard to find them.
par PG•Aug 8th 2018
The course was really helpful to understand how to use google bigdata offering - dataproc for creating and managing Hadoop/hive/spark/pig and many more opensource bigdata products.
À propos de Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
À propos de la Spécialisation Data Engineering on Google Cloud Platform
This five-week, accelerated online specialization provides participants a hands-on introduction to designing and building data processing systems on Google Cloud Platform. Through a combination of presentations, demos, and hand-on labs, participants will learn how to design data processing systems, build end-to-end data pipelines, analyze data and carry out machine learning. The course covers structured, unstructured, and streaming data.
This course teaches the following skills:
• Design and build data processing systems on Google Cloud Platform
• Leverage unstructured data using Spark and ML APIs on Cloud Dataproc
• Process batch and streaming data by implementing autoscaling data pipelines on Cloud Dataflow
• Derive business insights from extremely large datasets using Google BigQuery
• Train, evaluate and predict using machine learning models using Tensorflow and Cloud ML
• Enable instant insights from streaming data
This class is intended for developers who are responsible for:
• Extracting, Loading, Transforming, cleaning, and validating data
• Designing pipelines and architectures for data processing
• Creating and maintaining machine learning and statistical models
• Querying datasets, visualizing query results and creating reports
>>> By enrolling in this specialization you agree to the Qwiklabs Terms of Service as set out in the FAQ and located at: https://qwiklabs.com/terms_of_service <<<
Foire Aux Questions
Puis-je prévisualiser un cours avant de m'inscrire ?
Oui, vous pouvez prévisualiser la première vidéo et consulter le programme du cours avant de vous inscrire. Vous devez acheter le cours pour accéder au contenu non inclus dans la prévisualisation.
Quand aurai-je accès aux vidéos de cours et aux devoirs ?
Si vous décidez de vous inscrire au cours avant la date de début de session, vous aurez accès à toutes les vidéos et lectures du cours. Vous pourrez soumettre des devoirs à partir du début de la session.
À quoi ai-je droit si je m'inscris ?
Une fois que vous êtes inscrit(e) et que votre session commence, vous avez accès à toutes les vidéos et aux autres ressources, y compris les éléments à lire et le forum de discussion du cours. Vous pouvez afficher et soumettre des devoirs pour vous exercer, et terminer les devoirs notés requis pour obtenir une note et un Certificat de Cours.
Quand recevrai-je mon Certificat de Cours ?
Si vous réussissez le cours, votre Certificat de Cours électronique sera ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat de Cours ou l'ajouter à votre profil LinkedIn.
Pourquoi ne puis-je pas assister à ce cours en auditeur libre ?
Ce cours fait partie du nombre restreint de cours proposés par Coursera actuellement disponibles uniquement aux étudiants ayant payé les frais du cours ou bénéficié de l'Aide Financière. Si vous souhaitez suivre ce cours alors que vous n'avez pas les moyens d'en acquitter les frais, nous vous recommandons de soumettre une demande d'Aide Financière.
Quelle est la politique de remboursement ?
Une aide financière est-elle possible ?
D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.
Coursera propose un accès universel à la meilleure formation au monde,
en partenariat avec des universités et des organisations du plus haut niveau, pour proposer des cours en ligne.
© 2018 Coursera Inc. Tous droits réservés.
