À propos de ce cours
3.9
2,820 notes
685 avis

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Approx. 20 heures pour terminer

Recommandé : 5 weeks of study, 1-2 hours/week...

Anglais

Sous-titres : Anglais

Compétences que vous acquerrez

Python ProgrammingApache HadoopMapreduceApache Spark

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Approx. 20 heures pour terminer

Recommandé : 5 weeks of study, 1-2 hours/week...

Anglais

Sous-titres : Anglais

Programme du cours : ce que vous apprendrez dans ce cours

Semaine
1
2 heures pour terminer

Hadoop Basics

Welcome to the first module of the Big Data Platform course. This first module will provide insight into Big Data Hype, its technologies opportunities and challenges. We will take a deeper look into the Hadoop stack and tool and technologies associated with Big Data solutions. ...
7 vidéos (Total 53 min), 4 lectures, 1 quiz
7 vidéos
The Apache Framework: Basic Modules3 min
Hadoop Distributed File System (HDFS)5 min
The Hadoop "Zoo"5 min
Hadoop Ecosystem Major Components11 min
Exploring the Cloudera VM: Hands-On Part 116 min
Exploring the Cloudera VM: Hands-On Part 26 min
4 lectures
Apache Hadoop Ecosystem10 min
Lesson 1 Slides (PDF)10 min
Hardware & Software Requirements10 min
Lesson 2 Slides - Cloudera VM Tour10 min
1 exercice pour s'entraîner
Basic Hadoop Stack20 min
Semaine
2
3 heures pour terminer

Introduction to the Hadoop Stack

In this module we will take a detailed look at the Hadoop stack ranging from the basic HDFS components, to application execution frameworks, and languages, services....
10 vidéos (Total 70 min), 6 lectures, 3 quiz
10 vidéos
The Hadoop Distributed File System (HDFS) and HDFS28 min
MapReduce Framework and YARN8 min
The Hadoop Execution Environment4 min
YARN, Tez, and Spark11 min
Hadoop Resource Scheduling6 min
Hadoop-Based Applications3 min
Introduction to Apache Pig7 min
Introduction to Apache HIVE7 min
Introduction to Apache HBASE7 min
6 lectures
Hadoop Basics - Lesson 1 Slides10 min
Lesson 2: Hadoop Execution Environment - Slides10 min
Lesson 3: Hadoop-Based Applications Overview - All Slides10 min
Command list for Applications Slides10 min
Tips to handle service connection errors10 min
References for Applications10 min
3 exercices pour s'entraîner
Overview of Hadoop Stack10 min
Hadoop Execution Environment14 min
Hadoop Applications12 min
Semaine
3
2 heures pour terminer

Introduction to Hadoop Distributed File System (HDFS)

In this module we will take a detailed look at the Hadoop Distributed File System (HDFS). We will cover the main design goals of HDFS, understand the read/write process to HDFS, the main configuration parameters that can be tuned to control HDFS performance and robustness, and get an overview of the different ways you can access data on HDFS....
9 vidéos (Total 58 min), 5 lectures, 3 quiz
9 vidéos
The HDFS Performance Envelope5 min
Read/Write Processes in HDFS4 min
HDFS Tuning Parameters6 min
HDFS Performance and Robustness9 min
Overview of HDFS Access, APIs, and Applications5 min
HDFS Commands8 min
Native Java API for HDFS4 min
REST API for HDFS8 min
5 lectures
Lesson 1: Introduction to HDFS - Slides10 min
HDFS references10 min
Lesson 2: HDFS Performance and Tuning - Slides10 min
HDFS Access, APIs10 min
Lesson 3: HDFS Access, APIs, Applications - Slides10 min
3 exercices pour s'entraîner
HDFS Architecture12 min
HDFS performance,tuning, and robustness10 min
Accessing HDFS12 min
Semaine
4
7 heures pour terminer

Introduction to Map/Reduce

This module will introduce Map/Reduce concepts and practice. You will learn about the big idea of Map/Reduce and you will learn how to design, implement, and execute tasks in the map/reduce framework. You will also learn the trade-offs in map/reduce and how that motivates other tools....
9 vidéos (Total 27 min), 3 lectures, 3 quiz
9 vidéos
The Map/Reduce Framework2 min
A MapReduce Example: Wordcount in detail4 min
MapReduce: Intro to Examples and Principles2 min
MapReduce Example: Trending Wordcount1 min
MapReduce Example: Joining Data4 min
MapReduce Example: Vector Multiplication2 min
Computational Costs of Vector Multiplication3 min
MapReduce Summary2 min
3 lectures
Lesson 1: Introduction to MapReduce - Slides10 min
A note on debugging map/reduce programs.10 min
Lesson 2: MapReduce Examples and Principles - Slides10 min
1 exercice pour s'entraîner
Lesson 1 Review14 min
Semaine
5
8 heures pour terminer

Spark

Welcome to module 5, Introduction to Spark, this week we will focus on the Apache Spark cluster computing framework, an important contender of Hadoop MapReduce in the Big Data Arena. Spark provides great performance advantages over Hadoop MapReduce,especially for iterative algorithms, thanks to in-memory caching. Also, gives Data Scientists an easier way to write their analysis pipeline in Python and Scala,even providing interactive shells to play live with data....
10 vidéos (Total 70 min), 4 lectures, 5 quiz
10 vidéos
Architecture of Spark7 min
Resilient Distributed Datasets10 min
Spark Transformations10 min
Wide Transformations10 min
Directed Acyclic Graph (DAG) Scheduler8 min
Actions in Spark2 min
Memory Caching in Spark5 min
Broadcast Variables2 min
Accumulators1 min
4 lectures
Setup PySpark on the Cloudera VM10 min
Lesson 1: Intro to Apache Spark - Slides10 min
Lesson 2: RDD and Transformations - Slides10 min
Lesson 3: Scheduling, Actions, Caching - Slides10 min
3 exercices pour s'entraîner
Spark Lesson 112 min
Spark Lesson 210 min
Spark Lesson 312 min
3.9
685 avisChevron Right

29%

a commencé une nouvelle carrière après avoir terminé ces cours

24%

a bénéficié d'un avantage concret dans sa carrière grâce à ce cours

Meilleurs avis

par GMFeb 1st 2016

I'm forced to give 5 stars. I don't want to have a certification on a poor quality course (another coursera mistake). This material needs tremendous amount of work to get finished and revised.

par GCOct 25th 2015

Super hands on introduction to key Hadoop components, such as Spark, Map Reduce, Hive, Pig, HBase, HDFS, YARN, Squoop and Flume.\n\nI can't wait to the next course on the specialization.

Enseignants

Avatar

Natasha Balac

Director, Predictive Analytics Center of Excellence (PACE)
San Diego Supercomputer Center
Avatar

Paul Rodriguez

Research Programmer
San Diego Supercomputer Center (SDSC)
Avatar

Andrea Zonca

HPC Applications Specialist
San Diego Supercomputer Center (SDSC)

À propos de Université de Californie à San Diego

UC San Diego is an academic powerhouse and economic engine, recognized as one of the top 10 public universities by U.S. News and World Report. Innovation is central to who we are and what we do. Here, students learn that knowledge isn't just acquired in the classroom—life is their laboratory....

Foire Aux Questions

  • Une fois que vous êtes inscrit(e) pour un Certificat, vous pouvez accéder à toutes les vidéos de cours, et à tous les quiz et exercices de programmation (le cas échéant). Vous pouvez soumettre des devoirs à examiner par vos pairs et en examiner vous-même uniquement après le début de votre session. Si vous préférez explorer le cours sans l'acheter, vous ne serez peut-être pas en mesure d'accéder à certains devoirs.

  • Lorsque vous achetez un Certificat, vous bénéficiez d'un accès à tout le contenu du cours, y compris les devoirs notés. Lorsque vous avez terminé et réussi le cours, votre Certificat électronique est ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.

D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.