À propos de ce cours
33,438 consultations récentes

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Niveau avancé

Approx. 74 heures pour terminer

Recommandé : 6 weeks of study, 6-8 hours/week...

Anglais

Sous-titres : Anglais, Coréen

Compétences que vous acquerrez

GraphsHiveApache HiveApache Spark

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Niveau avancé

Approx. 74 heures pour terminer

Recommandé : 6 weeks of study, 6-8 hours/week...

Anglais

Sous-titres : Anglais, Coréen

Programme du cours : ce que vous apprendrez dans ce cours

Semaine
1
22 minutes pour terminer

Welcome to the Second Course: Big Data Analysis

...
8 vidéos (Total 12 min), 1 lecture
8 vidéos
What is BigData Analysis?1 min
Tools For BigData Analysis1 min
Graph Data Analysis2 min
Meet Alexey Dral2 min
Meet Pavel Mezentsev37s
Meet Natalia Pritykovskaya40s
Meet Pavel Klemenkov40s
1 lecture
Slack Channel is the quickest way to get answers to your questions10 min
3 heures pour terminer

Big Data SQL: Hive

...
15 vidéos (Total 105 min), 3 quiz
15 vidéos
HTTP Web Service: Access Log Format4 min
Business Use Cases: Solution with Hive6 min
(optional) SQL: likbez10 min
Hive Data Definition Language (DDL)11 min
Hive Data Manipulation Language (DML)6 min
Hive Analytics: RegexSerDe, Views7 min
(optional) Regular Expressions, Likbez9 min
Hive Analytics: UDF, UDAF, UDTF7 min
Hive Streaming4 min
Hive PTF (Window Functions)5 min
Hive Optimization: Partitioning, Bucketing and Sampling8 min
Hive Map-Side Joins: Plain, Bucket, Sort-Merge5 min
Hive Optimization: Data Skew4 min
Hive Optimization: Row-Columnar File Formats, Compression8 min
3 exercices pour s'entraîner
Hive: SQL over Hadoop MapReduce20 min
Hive Analytics with UDF and Streaming20 min
Hive final20 min
Semaine
2
7 heures pour terminer

Big Data SQL: Hive (practice week)

...
3 vidéos (Total 11 min), 6 lectures, 5 quiz
3 vidéos
How to Install Docker on Windows 7, 8, 104 min
How to submit your first Hadoop assignment3 min
6 lectures
Assignments. General requirements10 min
Hive assignment. Intro and instructions10 min
Grading System: Instructions and Common Problems10 min
Docker Installation Guide10 min
Copy of Assignments. General requirements10 min
Copy of Assignments. General requirements10 min
Semaine
3
2 heures pour terminer

Spark SQL and Spark Dataframe

...
14 vidéos (Total 82 min), 2 quiz
14 vidéos
What is Pandas DataFrame and how to create it4 min
How to process a DataFrame as SQL4 min
Working with Hive4 min
Reading and Writing Files7 min
RDD vs. DF vs. SQL3 min
Projection and Filtering5 min
Functions5 min
Aggregates6 min
Join8 min
User Defined Functions8 min
Time Processing4 min
Window Functions7 min
Two-Dimensional Distributions4 min
2 exercices pour s'entraîner
Introducing DataFrame and SQL16 min
Spark SQL and Spark Dataframe18 min
Semaine
4
4 heures pour terminer

Graph Analysis from Big Data Perspective

...
13 vidéos (Total 83 min), 5 quiz
13 vidéos
Graph representation7 min
Counting common friends. Part I2 min
Counting common friends. Part II10 min
Counting common friends. Part III5 min
GraphFrames: Introduction6 min
Motif Finding: DSL6 min
Motif Finding: Counting Mutual Friends6 min
Motif Finding: Under The Hood. Part 114 min
Motif Finding: Under The Hood. Part 24 min
Triangles Count: Introduction3 min
Triangles Count: Edge Lists6 min
Triangles Count: GraphFrame6 min
4 exercices pour s'entraîner
Graph Representations10 min
Motif Finding18 min
Triangles Count8 min
Graph Analysis from Big Data Perspective20 min
Semaine
5
9 heures pour terminer

PageRank and Recent Advances

...
10 vidéos (Total 72 min), 1 lecture, 10 quiz
10 vidéos
Algorithm9 min
GraphFrames8 min
Random Walk5 min
Page Rank Algorithm10 min
RDD Implementation4 min
GraphFrames API4 min
Taste Graph. Part I10 min
Taste Graph. Part II3 min
Taste Graph. Part III9 min
1 lecture
Graph based Music Recommender10 min
4 exercices pour s'entraîner
Connected Components12 min
PageRank16 min
Label Propagation Algorithm (LPA)10 min
PageRank and Recent Advances18 min
Semaine
6
4 heures pour terminer

Spark Internals and Optimization

...
17 vidéos (Total 87 min), 1 lecture, 5 quiz
17 vidéos
Welcome1 min
Spark Execution Model5 min
Shuffle. Where to send data?5 min
Shuffle. How to send data?4 min
Optimizing Functions4 min
PageRank Optimization5 min
Spark SQL. Motivation8 min
Catalyst5 min
Catalyst Optimization Example5 min
Joins3 min
Optimizing Joins5 min
UDF Optimization5 min
Persistance and Checkpointing7 min
Memory Management3 min
Resource Allocation6 min
Dynamic Allocation5 min
Speculative Execution4 min
1 lecture
Deployment of the environment10 min
4 exercices pour s'entraîner
Spark Execution Model & RDD Internals10 min
Spark SQL and Catalyst10 min
Memory management and resource allocation10 min
Final Quiz16 min
4.0
21 avisChevron Right

33%

a commencé une nouvelle carrière après avoir terminé ces cours

25%

a bénéficié d'un avantage concret dans sa carrière grâce à ce cours

Meilleurs avis

par SMNov 13th 2018

content of the course is remarkable and the way they explained concepts is very lucid. I just want to give suggestions please give link to the data set they are using for illustrating the concepts.

par SSFeb 3rd 2018

I wish I could give more rating than 5 :). Excellent course. Thanks so much for such an excellent course. All the instructors are great.

Enseignants

Avatar

Pavel Klemenkov

Chief Data Scientist
NVIDIA
Avatar

Pavel Mezentsev

Senior Data Scientist
PulsePoint inc
Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team

À propos de Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

À propos de la Spécialisation Big Data for Data Engineers

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

Foire Aux Questions

  • Une fois que vous êtes inscrit(e) pour un Certificat, vous pouvez accéder à toutes les vidéos de cours, et à tous les quiz et exercices de programmation (le cas échéant). Vous pouvez soumettre des devoirs à examiner par vos pairs et en examiner vous-même uniquement après le début de votre session. Si vous préférez explorer le cours sans l'acheter, vous ne serez peut-être pas en mesure d'accéder à certains devoirs.

  • Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours de la Spécialisation, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.

D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.