Ce cours fait partie de la Spécialisation Building Cloud Computing Solutions at Scale

4.1
étoiles
55 évaluations

Noah Gift

5 591 déjà inscrits

Offert par

Spécialisation Building Cloud Computing Solutions at ScaleUniversité Duke

À propos de ce cours

17 022 consultations récentes

Welcome to the third course in the Building Cloud Computing Solutions at Scale Specialization! In this course, you will learn how to apply Data Engineering to real-world projects using the Cloud computing concepts introduced in the first two courses of this series. By the end of this course, you will be able to develop Data Engineering applications and use software development best practices to create data engineering applications. These will include continuous deployment, code quality tools, logging, instrumentation and monitoring. Finally, you will use Cloud-native technologies to tackle complex data engineering solutions. 
This course is ideal for beginners as well as intermediate students interested in applying Cloud computing to data science, machine learning and data engineering. Students should have beginner level Linux and intermediate level Python skills. For your project in this course, you will build a serverless data engineering pipeline in a Cloud platform: Amazon Web Services (AWS), Azure or Google Cloud Platform (GCP).

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Cours 3 sur 4 dans le

Spécialisation Building Cloud Computing Solutions at Scale

Niveau intermédiaire

Beginner level Linux and Python skills

Approx. 17 heures pour terminer

Anglais

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Cours 3 sur 4 dans le

Spécialisation Building Cloud Computing Solutions at Scale

Niveau intermédiaire

Beginner level Linux and Python skills

Approx. 17 heures pour terminer

Anglais

Enseignant

Évaluation de l'enseignant

4,5/5 (18 évaluations)

Noah Gift

Executive in Residence and Founder of Pragmatic AI Labs

Interdisciplinary Data Science (MIDS)

32 652 étudiants

10 cours

Offert par

Université Duke

Programme de cours : ce que vous apprendrez dans ce cours

Semaine

Semaine 1

4 heures pour terminer

Getting Started with Cloud Data Engineering

This week, you will learn about the methodologies involved in Data Engineering. You will also learn to evaluate best practices for dealing with the end of Moore’s Law, develop distributed systems that apply software engineering best practices and evaluate best practices for implementing solutions with Big Data. You will apply these practices to build a GPU programming project using Numba and the CUDA SDK.

4 heures pour terminer

24 vidéos (Total 101 min), 6 lectures, 1 quiz

24 vidéos

Instructor Introduction1 min

Course Introduction1 min

Lab Onboarding1 min

Course 3 Project Overview1 min

Introduction to the End of Moore's Law2 min

The Problem with Concurrency in Python2 min

Exploring the End of Moore's Law3 min

Using CUDA and Numba6 min

What is an ASIC?2 min

Taking Advantage of Colab Pro1 min

Introduction to Distributed Systems1 min

Logging and Instrumentation Distributed Systems1 min

CAP Theorem2 min

Amdahl's Law2 min

Elasticity3 min

Highly Available Nine Nine's1 min

Debugging Python Code25 min

Introduction to Big Data1 min

What is Big Data?2 min

The Three V's of Big Data2 min

Data Lakes2 min

Big Data Processing3 min

Data Feedback Loop1 min

Using EMR Spark to Run Parallel Jobs25 min

6 lectures

Specialization Project Roadmap: Course 3 10 min

Course Structure and Discussion Etiquette10 min

The End of Moore's Law10 min

Challenges and Opportunities in Distributed Systems10 min

Challenges in Big Data10 min

Creating high-performance code10 min

1 exercice pour s'entraîner

Week 1 Quiz30 min

Semaine

Semaine 2

6 heures pour terminer

Examining Principles of Data Engineering

6 heures pour terminer

9 vidéos (Total 156 min), 1 lecture, 1 quiz

9 vidéos

Introduction to Data Engineering1 min

What is Data Engineering?48s

Batch vs. Streaming vs. Events1 min

Building CLI Tools with Click33 min

Building Containerized Command-line Tools12 min

Advanced Testing with Amazon CodeGuru15 min

Advanced Testing with AWS CodeBuild29 min

Mapping Functions to CLI: Part 131 min

Mapping Functions to CLI: Part 227 min

1 lecture

Extending Command-Line Data Processing Tool10 min

1 exercice pour s'entraîner

Week 2 Quiz30 min

Semaine

Semaine 3

4 heures pour terminer

Building Data Engineering Pipelines

4 heures pour terminer

22 vidéos (Total 192 min), 2 lectures, 1 quiz

22 vidéos

Introduction to Serverless Data Engineering54s

What is Serverless?51s

Serverless Concepts: Service Model6 min

Serverless Concepts: Functions4 min

Serverless Concepts: Ecosystem7 min

AWS Lambda: Overview37s

Introduction to AWS Cloud97 min

AWS Lambda: Hello World12 min

AWS Lambda: Deploy Testing4 min

AWS Lambda: Event Handling5 min

AWS Lambda: Wikipedia Example14 min

Build a Serverless Data Pipeline37 min

Serverless Cookbook with AWS32 min

Serverless Cookbook with GCP17 min

Introduction to Data Governance48s

What is Data Governance?52s

The Principle of Least Privilege1 min

Cloud Security with IAM on AWS6 min

AWS Shared Security Model7 min

AWS IAM Service12 min

AWS Cloud Security Operations5 min

Encrypt at Rest and Transit3 min

2 lectures

Using Amazon EFS for AWS Lambda10 min

Building Computer Vision Label Trigger for S310 min

1 exercice pour s'entraîner

Week 3 Quiz30 min

Semaine

Semaine 4

3 heures pour terminer

Applying Key Data Engineering Tasks

3 heures pour terminer

14 vidéos (Total 116 min), 3 lectures, 1 quiz

14 vidéos

Introduction to Extract, Transform, Load (ETL)44s

What is ETL?51s

Using Amazon Athena with AWS Glue22 min

Real-World Problems in ETL13 min

Introduction to Cloud Databases6 min

One Size Does Not Fit All in the Cloud?1 min

Using Google BigQuery15 min

Using AWS Aurora Serverless2 min

Using AWS DynamoDB2 min

Using AWS Redshift30 min

Introduction to Cloud Storage46s

Why Cloud Storage?1 min

Cloud Storage Deep Dive13 min

Using Amazon S34 min

3 lectures

Cloud Databases10 min

Cloud Storage Solutions10 min

Create a serverless Data Engineering Pipeline10 min

1 exercice pour s'entraîner

Week 4 Quiz30 min

Avis

4.1

16 avis

5 stars
47,27 %
4 stars
30,90 %
3 stars
9,09 %
2 stars
10,90 %
1 star
1,81 %

Meilleurs avis pour CLOUD DATA ENGINEERING

par RA30 déc. 2021

Very important information and concepts was shared.

Voir tous les avis

À propos du Spécialisation Building Cloud Computing Solutions at Scale

With more companies leveraging software that runs on the Cloud, there is a growing need to find and hire individuals with the skills needed to build solutions on a variety of Cloud platforms. Employers agree: Cloud talent is hard to find. This Specialization is designed to address the Cloud talent gap by providing training to anyone interested in developing the job-ready, pragmatic skills needed for careers that leverage Cloud-native technologies.

In the first course, you will learn how to build foundational Cloud computing infrastructure, including websites involving serverless technology and virtual machines, using the best practices of DevOps. The second course will teach you how to build effective Microservices using technologies like Flask and Kubernetes that are continuously deployed to a Cloud platform: Amazon Web Services (AWS), Azure or Google Cloud Platform (GCP). The third course begins to put together all of the Cloud concepts introduced in the first two courses to tackle more complex data engineering solutions. And finally, in the fourth course you will apply Machine Learning Engineering to build a Flask web application that serves out Machine Learning predictions.

Building Cloud Computing Solutions at Scale

Foire Aux Questions

Quand aurai-je accès aux vidéos de cours et aux devoirs ?
L’accès à des vidéos de cours et des devoirs dépend de votre type d’inscription. Si vous suivez un cours en mode auditeur libre, vous pourrez voir la plupart des contenus de cours gratuitement. Pour accéder aux devoirs notés et obtenir un certificat, vous devrez acheter une expérience de certificat, pendant ou après avoir assister au cours en tant qu’auditeur libre. Si vous ne visualisez pas l’option auditeur libre :
Il est possible que le cours ne propose pas d’option auditeur libre. Vous pouvez en revanche accéder à un essai gratuit ou faire une demande d'aide financière.
Le cours propose peut-être « Cours complet, aucun certificat » à la place. Cette option vous permet de voir tous les contenus de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cependant, vous ne pourrez pas acheter une expérience de certificat.
À quoi ai-je droit si je m'abonne à cette Spécialisation ?
Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours de la Spécialisation, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.
Une aide financière est-elle possible ?
Oui. Dans certains programmes d’apprentissage, vous pouvez demander une aide financière ou une bourse d’études si vous ne pouvez pas payer les frais d’inscription. Si une aide financière ou une bourse d’études est disponible pour le programme d’apprentissage choisi, vous trouverez un lien pour faire une demande sur la page de description.

D'autres questions ? Visitez le Centre d'Aide pour les Étudiants.

Cloud Data Engineering

À propos de ce cours