À propos de ce cours
68,830 consultations récentes

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Niveau intermédiaire

Approx. 45 heures pour terminer

Recommandé : 6 weeks of study, 6-8 hours/week...

Anglais

Sous-titres : Anglais

Compétences que vous acquerrez

Python ProgrammingApache HadoopMapreduceApache Spark

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Niveau intermédiaire

Approx. 45 heures pour terminer

Recommandé : 6 weeks of study, 6-8 hours/week...

Anglais

Sous-titres : Anglais

Programme du cours : ce que vous apprendrez dans ce cours

Semaine
1
24 minutes pour terminer

Welcome

8 vidéos (Total 14 min), 1 lecture
8 vidéos
Issues BigData can solve1 min
BigData Applications1 min
What is BigData Essentials?2 min
Course Structure2 min
Meet Emeli1 min
Meet Alexey2 min
Meet Ivan1 min
1 lecture
Slack Channel is the quickest way to get answers to your questions10 min
8 heures pour terminer

What are BigData and distributed file systems (e.g. HDFS)?

18 vidéos (Total 136 min), 9 lectures, 5 quiz
18 vidéos
File system managing6 min
File content exploration 15 min
File content exploration 213 min
Processes4 min
Scaling Distributed File System9 min
Block and Replica States, Recovery Process 16 min
Block and Replica States, Recovery Process 27 min
HDFS Client9 min
Web UI, REST API4 min
Namenode Architecture8 min
Introduction10 min
Text formats9 min
Binary formats 18 min
Binary formats 28 min
Compression7 min
How to submit your first assignment3 min
How to Install Docker on Windows 7, 8, 104 min
9 lectures
Basic Bash Commands10 min
HDFS Lesson Introduction10 min
Gentle Introduction into "curl"10 min
File formats extra (optional)10 min
Grading System: Instructions and Common Problems10 min
Docker Installation Guide10 min
Programming Assignment: Instructions and Common Problems10 min
FAQ How to show your code to teaching staff10 min
Slack channel "Bigdata-coursera" - the quickest to solve technical problems.10 min
2 exercices pour s'entraîner
Distributed File Systems16 min
Big Data and Distributed File Systems25 min
Semaine
2
3 heures pour terminer

Solving Problems with MapReduce

17 vidéos (Total 94 min), 1 lecture, 3 quiz
17 vidéos
Unreliable Components 28 min
MapReduce4 min
Distributed Shell8 min
Fault Tolerance7 min
Fault Tolerance. Live Demo3 min
Streaming7 min
Streaming in Python3 min
WordCount in Python5 min
Distributed Cache4 min
Environment, Counters4 min
Testing5 min
Combiner5 min
Partitioner7 min
Comparator1 min
Speculative Execution / Backup Tasks3 min
Compression4 min
1 lecture
Hadoop Streaming Assignments: Intro and Code Samples10 min
3 exercices pour s'entraîner
Hadoop MapReduce Intro26 min
MapReduce Streaming26 min
Hadoop Streaming Final30 min
Semaine
3
4 heures pour terminer

Solving Problems with MapReduce (practice week)

1 vidéo (Total 3 min), 5 lectures, 5 quiz
5 lectures
Hadoop Streaming Assignments: Intro and Code Samples10 min
Hints to Debug Hadoop Streaming Applications10 min
Grading System and Grading System Sandbox User Guide10 min
Hadoop Streaming Assignments: Instructions10 min
Hint to the "Stop words" programming assignment10 min
Semaine
4
3 heures pour terminer

Introduction to Apache Spark

16 vidéos (Total 95 min), 2 lectures, 2 quiz
16 vidéos
Welcome6 min
RDDs8 min
Transformations 16 min
Transformations 27 min
Actions5 min
Resiliency6 min
Execution & Scheduling6 min
Caching & Persistence5 min
Broadcast variables5 min
Accumulator variables5 min
Getting started with Spark & Python6 min
Working with text files6 min
Joins4 min
Broadcast & Accumulator variables5 min
Spark UI4 min
Cluster mode3 min
2 lectures
Spark Assignments Intro10 min
Instructions for Spark programming assignment10 min
2 exercices pour s'entraîner
Lesson 1 Quiz20 min
Lesson 2 Quiz24 min
4.0
102 avisChevron Right

50%

a commencé une nouvelle carrière après avoir terminé ces cours

25%

a bénéficié d'un avantage concret dans sa carrière grâce à ce cours

14%

a obtenu une augmentation de salaire ou une promotion

Principaux examens pour Big Data Essentials: HDFS, MapReduce and Spark RDD

par YHNov 22nd 2018

Everything in this course is new to me, but it provides me with many practice so I can gradually get familiar with all these new stuff. I find it a bit challenging, but overall it's quite good.

par SHMay 10th 2019

The course takes you from basic level , step level .But It is quite fast for beginners , you may need pause video in between and try to understand the concept.

Enseignants

Avatar

Ivan Puzyrevskiy

Technical Team Lead
Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team

À propos de Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

À propos du Spécialisation Big Data for Data Engineers

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

Foire Aux Questions

  • Une fois que vous êtes inscrit(e) pour un Certificat, vous pouvez accéder à toutes les vidéos de cours, et à tous les quiz et exercices de programmation (le cas échéant). Vous pouvez soumettre des devoirs à examiner par vos pairs et en examiner vous-même uniquement après le début de votre session. Si vous préférez explorer le cours sans l'acheter, vous ne serez peut-être pas en mesure d'accéder à certains devoirs.

  • Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours de la Spécialisation, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.

D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.