En règle générale, les pipelines de données fonctionnent sur le modèle "Extraction et chargement" (EL), "Extraction, chargement et transformation" (ELT), ou "Extraction, transformation et chargement" (ETL). Dans ce cours, vous apprendrez où et quand appliquer ces différents modèles à des lots de données. Vous découvrirez également plusieurs technologies Google Cloud Platform permettant de transformer des données, y compris BigQuery, Spark exécuté sur Cloud Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement de données sans serveur avec Cloud Dataflow. Vous aurez en outre l'occasion de créer les composants d'un pipeline de données sur Google Cloud Platform dans le cadre d'un atelier pratique QwikLabs.
Ce cours fait partie de la Spécialisation Data Engineer, Big Data and ML on Google Cloud en Français
Offert par
À propos de ce cours
1,773 consultations récentes
Certificat partageable
Obtenez un Certificat lorsque vous terminez
100 % en ligne
Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Cours 3 sur 5 dans le
Dates limites flexibles
Réinitialisez les dates limites selon votre disponibilité.
Niveau intermédiaire
Approx. 13 heures pour terminer
Français
Sous-titres : Français, Anglais
Certificat partageable
Obtenez un Certificat lorsque vous terminez
100 % en ligne
Commencez dès maintenant et apprenez aux horaires qui vous conviennent.
Cours 3 sur 5 dans le
Dates limites flexibles
Réinitialisez les dates limites selon votre disponibilité.
Niveau intermédiaire
Approx. 13 heures pour terminer
Français
Sous-titres : Français, Anglais
Offert par
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programme du cours : ce que vous apprendrez dans ce cours
6 minutes pour terminer
Introduction
Dans ce module, nous présentons le cours et son programme.
6 minutes pour terminer
2 vidéos (Total 6 min)
1 heure pour terminer
Introduction aux pipelines de données par lots
Ce module présente les différentes méthodes de chargement de données (EL, ELT et ETL) et leurs cas d'utilisation.
1 heure pour terminer
5 vidéos (Total 18 min)
5 vidéos
EL, ELT et ETL4 min
Considérations liées à la qualité1 min
Comment réaliser des opérations dans BigQuery3 min
Limitations3 min
Processus ETL pour résoudre les problèmes liés à la qualité des données4 min
1 exercice pour s'entraîner
EL, ELT et ETL30 min
2 heures pour terminer
Exécuter Spark sur Cloud Dataproc
Dans ce module, vous apprendrez à exécuter Hadoop sur Cloud Dataproc, à exploiter GCS et à optimiser vos tâches Dataproc.
2 heures pour terminer
9 vidéos (Total 49 min)
9 vidéos
L'écosystème Hadoop8 min
Exécuter Hadoop sur Cloud Dataproc10 min
GCS au lieu de HDFS6 min
Optimiser Dataproc5 min
Optimiser le stockage Dataproc9 min
Optimiser les modèles et l'autoscaling avec Dataproc4 min
Optimiser la surveillance Dataproc3 min
Présentation de l'atelier : Exécution de tâches Apache Spark sur Cloud Dataproc27s
Résumé31s
1 exercice pour s'entraîner
Exécuter Spark sur Cloud Dataproc4 min
3 heures pour terminer
Gérer des pipelines de données avec Cloud Data Fusion et Cloud Composer
Dans ce module, vous apprendrez à gérer des pipelines de données avec Cloud Data Fusion et Cloud Composer.
3 heures pour terminer
11 vidéos (Total 45 min)
11 vidéos
Introduction7 min
Composants de Data Fusion2 min
Créer un pipeline6 min
Explorer des données avec Wrangler1 min
Atelier : Créer et exécuter un graphique de pipeline dans Cloud Data Fusion17s
Organiser les tâches dans les services GCP avec Cloud Composer1 min
Environnement Apache Airflow1 min
DAG et opérateurs12 min
Planification du workflow6 min
Surveillance et journalisation4 min
Atelier : Présentation de Cloud Composer12s
1 exercice pour s'entraîner
Cloud Data Fusion et Cloud Composer30 min
7 heures pour terminer
Traiter des données sans serveur avec Cloud Dataflow
Dans ce module, vous apprendrez à créer vos pipelines de traitement de données avec Cloud Dataflow.
7 heures pour terminer
12 vidéos (Total 40 min)
12 vidéos
Cloud Dataflow8 min
Pourquoi les clients apprécient Dataflow ?3 min
Créer des pipelines Cloud Dataflow dans le code3 min
Considérations à prendre en compte dans l'élaboration de pipelines2 min
Transformer les données avec PTransforms3 min
Atelier : Créer un pipeline Dataflow simple17s
Agréger avec GroupByKey et Combine7 min
Atelier : MapReduce dans Cloud Dataflow18s
Entrées secondaires et fenêtres de données4 min
Atelier : Utiliser les entrées secondaires de pipeline11s
Créer et réutiliser des modèles de pipeline3 min
Pipelines Cloud Dataflow SQL3 min
1 exercice pour s'entraîner
Traiter des données avec Cloud Dataflow30 min
4 minutes pour terminer
Résumé
Ce module récapitule les sujets abordés dans ce cours.
4 minutes pour terminer
1 vidéo (Total 4 min)
1 vidéo
Résumé du cours4 min
À propos du Spécialisation Data Engineer, Big Data and ML on Google Cloud en Français
Cette formation de spécialisation en ligne d'une durée de cinq semaines présente en pratique comment concevoir et développer des systèmes de traitement des données sur Google Cloud. À travers un ensemble de présentations, de démonstrations et d'ateliers pratiques, les participants apprennent à concevoir des systèmes de traitement de données, à créer des pipelines de données de bout en bout, à analyser des données et à exécuter des tâches de machine learning.
Ce cours permet aux participants d'acquérir les compétences suivantes :
• Concevoir et développer des systèmes de traitement de données sur Google Cloud Platform
• Exploiter des données non structurées à l'aide de Spark et des API de ML sur Cloud Dataproc
• Traiter des données par lot ou par flux en mettant en œuvre des pipelines de données d'autoscaling sur Cloud Dataflow
• Obtenir des informations métier à partir de très grands ensembles de données à l'aide de Google BigQuery
• Entraîner, évaluer et effectuer des prédictions à l'aide de modèles de machine learning avec TensorFlow et Cloud ML
• Obtenir des insights immédiats à partir de données par flux
Ce cours s'adresse aux développeurs expérimentés qui se chargent de réaliser des opérations de transformation du big data.
En vous inscrivant à cette spécialisation vous acceptez les conditions d'utilisation de Qwiklabs décrites dans la FAQ et disponibles à l'adresse: https://qwiklabs.com/terms_of_service
Foire Aux Questions
Puis-je prévisualiser un cours avant de m'inscrire ?
Oui, vous pouvez prévisualiser la première vidéo et consulter le programme du cours avant de vous inscrire. Vous devez acheter le cours pour accéder au contenu non inclus dans la prévisualisation.
Quand aurai-je accès aux vidéos de cours et aux devoirs ?
Si vous décidez de vous inscrire au cours avant la date de début de session, vous aurez accès à toutes les vidéos et lectures du cours. Vous pourrez soumettre des devoirs à partir du début de la session.
À quoi ai-je droit si je m'inscris ?
Une fois que vous êtes inscrit(e) et que votre session commence, vous avez accès à toutes les vidéos et aux autres ressources, y compris les éléments à lire et le forum de discussion du cours. Vous pouvez afficher et soumettre des devoirs pour vous exercer, et terminer les devoirs notés requis pour obtenir une note et un Certificat de Cours.
Quand recevrai-je mon Certificat de Cours ?
Si vous réussissez le cours, votre Certificat de Cours électronique sera ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat de Cours ou l'ajouter à votre profil LinkedIn.
Pourquoi ne puis-je pas assister à ce cours en auditeur libre ?
Ce cours fait partie du nombre restreint de cours proposés par Coursera actuellement disponibles uniquement aux étudiants ayant payé les frais du cours ou bénéficié de l'Aide Financière, lorsqu'elle est disponible.
What is the refund policy?
Si vous vous abonnez, vous bénéficiez d'une période d'essai gratuite de 7 jours, durant laquelle vous pouvez annuler votre abonnement sans pénalité. Ensuite, nous n'accordons plus de remboursements, mais vous pouvez annuler votre abonnement à tout instant. Consultez notre politique de remboursement complète.
Is financial aid available?
Oui, Coursera offre une Aide Financière aux étudiants qui n'ont pas les moyens d'acquitter les frais. Demandez-la en cliquant sur le lien Aide Financière sous le bouton S'inscrire situé à gauche. Vous devrez remplir un formulaire de demande et vous serez averti(e) si elle est acceptée. Vous devrez répéter cette procédure pour chaque cours de la Spécialisation, y compris pour le Projet Final. En savoir plus.
Puis-je obtenir des crédits universitaires si je réussis le Cours ?
Ce Cours n'est pas associé à des crédits universitaires, mais certaines universités peuvent décider d'accepter des Certificats de Cours pour des crédits. Vérifiez-le auprès de votre établissement pour en savoir plus. Les Diplômes en ligne et les Certificats Mastertrack™ sur Coursera apportent la possibilité d'obtenir des crédits universitaires.
D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.
