This course is for novice programmers or business people who would like to understand the core tools used to wrangle and analyze big data. With no prior experience, you will have the opportunity to walk through hands-on examples with Hadoop and Spark frameworks, two of the most common in the industry. You will be comfortable explaining the specific components and basic processes of the Hadoop architecture, software stack, and execution environment. In the assignments you will be guided in how data scientists apply the important concepts and techniques such as Map-Reduce that are used to solve fundamental problems in big data. You'll feel empowered to have conversations about big data and the data analysis process.
Hadoop Platform and Application Framework
Offert par
Hadoop Platform and Application Framework
Université de Californie à San Diego
À propos de ce cours
70,293 consultations récentes
Learner Career Outcomes
30%
ont commencé une nouvelle carrière après avoir terminé ce cours
27%
ont bénéficié d'un avantage concret dans leur carrières grâce à ce cours
Compétences que vous acquerrez
Python ProgrammingApache HadoopMapreduceApache Spark
Programme du cours : ce que vous apprendrez dans ce cours
Semaine
12 heures pour terminer
Hadoop Basics
Welcome to the first module of the Big Data Platform course. This first module will provide insight into Big Data Hype, its technologies opportunities and challenges. We will take a deeper look into the Hadoop stack and tool and technologies associated with Big Data solutions.
7 vidéos (Total 53 min), 4 lectures, 1 quiz
7 vidéos
Hadoop Stack Basics4 min
The Apache Framework: Basic Modules3 min
Hadoop Distributed File System (HDFS)5 min
The Hadoop "Zoo"5 min
Hadoop Ecosystem Major Components11 min
Exploring the Cloudera VM: Hands-On Part 116 min
Exploring the Cloudera VM: Hands-On Part 26 min
4 lectures
Apache Hadoop Ecosystem10 min
Lesson 1 Slides (PDF)10 min
Hardware & Software Requirements10 min
Lesson 2 Slides - Cloudera VM Tour10 min
1 exercice pour s'entraîner
Basic Hadoop Stack20 min
Semaine
23 heures pour terminer
Introduction to the Hadoop Stack
In this module we will take a detailed look at the Hadoop stack ranging from the basic HDFS components, to application execution frameworks, and languages, services.
10 vidéos (Total 70 min), 6 lectures, 3 quiz
10 vidéos
The Hadoop Distributed File System (HDFS) and HDFS28 min
MapReduce Framework and YARN8 min
The Hadoop Execution Environment4 min
YARN, Tez, and Spark11 min
Hadoop Resource Scheduling6 min
Hadoop-Based Applications3 min
Introduction to Apache Pig7 min
Introduction to Apache HIVE7 min
Introduction to Apache HBASE7 min
6 lectures
Hadoop Basics - Lesson 1 Slides10 min
Lesson 2: Hadoop Execution Environment - Slides10 min
Lesson 3: Hadoop-Based Applications Overview - All Slides10 min
Command list for Applications Slides10 min
Tips to handle service connection errors10 min
References for Applications10 min
3 exercices pour s'entraîner
Overview of Hadoop Stack10 min
Hadoop Execution Environment14 min
Hadoop Applications12 min
Semaine
32 heures pour terminer
Introduction to Hadoop Distributed File System (HDFS)
In this module we will take a detailed look at the Hadoop Distributed File System (HDFS). We will cover the main design goals of HDFS, understand the read/write process to HDFS, the main configuration parameters that can be tuned to control HDFS performance and robustness, and get an overview of the different ways you can access data on HDFS.
9 vidéos (Total 58 min), 5 lectures, 3 quiz
9 vidéos
The HDFS Performance Envelope5 min
Read/Write Processes in HDFS4 min
HDFS Tuning Parameters6 min
HDFS Performance and Robustness9 min
Overview of HDFS Access, APIs, and Applications5 min
HDFS Commands8 min
Native Java API for HDFS4 min
REST API for HDFS8 min
5 lectures
Lesson 1: Introduction to HDFS - Slides10 min
HDFS references10 min
Lesson 2: HDFS Performance and Tuning - Slides10 min
HDFS Access, APIs10 min
Lesson 3: HDFS Access, APIs, Applications - Slides10 min
3 exercices pour s'entraîner
HDFS Architecture12 min
HDFS performance,tuning, and robustness10 min
Accessing HDFS12 min
Semaine
47 heures pour terminer
Introduction to Map/Reduce
This module will introduce Map/Reduce concepts and practice. You will learn about the big idea of Map/Reduce and you will learn how to design, implement, and execute tasks in the map/reduce framework. You will also learn the trade-offs in map/reduce and how that motivates other tools.
9 vidéos (Total 27 min), 3 lectures, 3 quiz
9 vidéos
The Map/Reduce Framework2 min
A MapReduce Example: Wordcount in detail4 min
MapReduce: Intro to Examples and Principles2 min
MapReduce Example: Trending Wordcount1 min
MapReduce Example: Joining Data4 min
MapReduce Example: Vector Multiplication2 min
Computational Costs of Vector Multiplication3 min
MapReduce Summary2 min
3 lectures
Lesson 1: Introduction to MapReduce - Slides10 min
A note on debugging map/reduce programs.10 min
Lesson 2: MapReduce Examples and Principles - Slides10 min
1 exercice pour s'entraîner
Lesson 1 Review14 min
Invitez vos amis et obtenez une réduction de 50 %
Partagez votre volonté d'apprendre ! Invitez un ami à commencer un cours et vous obtiendrez chacun une réduction de 50 % sur un cours ou sur le premier mois d'inscription à une Spécialisation lorsque votre ami effectuera un achat.
Voir les conditions3.9
708 avisMeilleurs avis pour Hadoop Platform and Application Framework
I'm forced to give 5 stars. I don't want to have a certification on a poor quality course (another coursera mistake). This material needs tremendous amount of work to get finished and revised.
Super hands on introduction to key Hadoop components, such as Spark, Map Reduce, Hive, Pig, HBase, HDFS, YARN, Squoop and Flume.\n\nI can't wait to the next course on the specialization.
Enseignants
Natasha Balac, Ph.D.
Interdisciplinary Center for Data ScienceQualcomm Institute/CalIT2
Paul Rodriguez
Research ProgrammerSan Diego Supercomputer Center (SDSC)
Andrea Zonca
HPC Applications SpecialistSan Diego Supercomputer Center (SDSC)
À propos de Université de Californie à San Diego
UC San Diego is an academic powerhouse and economic engine, recognized as one of the top 10 public universities by U.S. News and World Report. Innovation is central to who we are and what we do. Here, students learn that knowledge isn't just acquired in the classroom—life is their laboratory.
Foire Aux Questions
Quand aurai-je accès aux vidéos de cours et aux devoirs ?
Une fois que vous êtes inscrit(e) pour un Certificat, vous pouvez accéder à toutes les vidéos de cours, et à tous les quiz et exercices de programmation (le cas échéant). Vous pouvez soumettre des devoirs à examiner par vos pairs et en examiner vous-même uniquement après le début de votre session. Si vous préférez explorer le cours sans l'acheter, vous ne serez peut-être pas en mesure d'accéder à certains devoirs.
À quoi ai-je droit si j'achète le Certificat ?
Lorsque vous achetez un Certificat, vous bénéficiez d'un accès à tout le contenu du cours, y compris les devoirs notés. Lorsque vous avez terminé et réussi le cours, votre Certificat électronique est ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.
Quelle est la politique de remboursement ?
Une aide financière est-elle possible ?
D'autres questions ? Visitez le Centre d'Aide pour les Etudiants.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2019 Coursera Inc. Tous droits réservés.
