Offert par

Big Data Analysis with Scala and Spark (Scala 2 version)

École polytechnique fédérale de Lausanne

À propos de ce cours

3 575 consultations récentes

Manipulating big data distributed over a cluster using functional concepts is rampant in industry, and is arguably one of the first widespread industrial uses of functional ideas. This is evidenced by the popularity of MapReduce and Hadoop, and most recently Apache Spark, a fast, in-memory distributed collections framework written in Scala. In this course, we'll see how the data parallel paradigm can be extended to the distributed case, using Spark throughout. We'll cover Spark's programming model in detail, being careful to understand how and when it differs from familiar programming models, like shared-memory parallel collections or sequential Scala collections. Through hands-on examples in Spark and Scala, we'll learn when important issues related to distribution like latency and network communication should be considered and how they can be addressed effectively for improved performance.
Learning Outcomes. By the end of this course you will be able to:

- read data from persistent storage and load it into Apache Spark,
- manipulate data with Spark and Scala,
- express algorithms for data analysis in a functional style, 
- recognize how to avoid shuffles and recomputation in Spark,

Recommended background: You should have at least one year programming experience. Proficiency with Java or C# is ideal, but experience with other languages such as C/C++, Python, Javascript or Ruby is also sufficient. You should have some familiarity using the command line. This course is intended to be taken after Parallel Programming: https://www.coursera.org/learn/parprog1.

Note that this version of the course uses Scala 2.13. You can find a more recent version of the course that uses Scala 3 here: https://www.coursera.org/learn/scala-spark-big-data

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Niveau intermédiaire

Approx. 28 heures pour terminer

Anglais

Votre entreprise pourrait-elle bénéficier de la formation des employés à des compétences recherchées ?

Essayez Coursera pour les affaires

Compétences que vous acquerrez

Scala Programming
Big Data
Apache Spark
SQL

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Niveau intermédiaire

Approx. 28 heures pour terminer

Anglais

Votre entreprise pourrait-elle bénéficier de la formation des employés à des compétences recherchées ?

Essayez Coursera pour les affaires

Enseignant

Prof. Heather Miller

Assistant Professor

Carnegie Mellon University

96 185 étudiants

2 cours

Offert par

École polytechnique fédérale de Lausanne

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

Programme de cours : ce que vous apprendrez dans ce cours

Semaine

Semaine 1

12 heures pour terminer

Getting Started + Spark Basics

Get up and running with Scala on your computer. Complete an example assignment to familiarize yourself with our unique way of submitting assignments. In this week, we'll bridge the gap between data parallelism in the shared memory scenario (learned in the Parallel Programming course, prerequisite) and the distributed scenario. We'll look at important concerns that arise in distributed systems, like latency and failure. We'll go on to cover the basics of Spark, a functionally-oriented framework for big data processing in Scala. We'll end the first week by exercising what we learned about Spark by immediately getting our hands dirty analyzing a real-world data set.

12 heures pour terminer

7 vidéos (Total 105 min), 6 lectures, 3 quiz

7 vidéos

Introduction, Logistics, What You'll Learn15 min

Data-Parallel to Distributed Data-Parallel10 min

Latency24 min

RDDs, Spark's Distributed Collection9 min

RDDs: Transformation and Actions16 min

Evaluation in Spark: Unlike Scala Collections!20 min

Cluster Topology Matters!8 min

6 lectures

Tools Setup (Please read)10 min

SBT tutorial and Submission of Assignments (Please read)10 min

Cheat Sheet10 min

Scala Tutorial10 min

Scala Style Guide10 min

Working on Assignments5 min

Semaine

Semaine 2

7 heures pour terminer

Reduction Operations & Distributed Key-Value Pairs

7 heures pour terminer

4 vidéos (Total 59 min)

Semaine

Semaine 3

1 heure pour terminer

Partitioning and Shuffling

1 heure pour terminer

4 vidéos (Total 57 min)

Semaine

Semaine 4

8 heures pour terminer

Structured data: SQL, Dataframes, and Datasets

With our newfound understanding of the cost of data movement in a Spark job, and some experience optimizing jobs for data locality last week, this week we'll focus on how we can more easily achieve similar optimizations. Can structured data help us? We'll look at Spark SQL and its powerful optimizer which uses structure to apply impressive optimizations. We'll move on to cover DataFrames and Datasets, which give us a way to mix RDDs with the powerful automatic optimizations behind Spark SQL.

8 heures pour terminer

5 vidéos (Total 133 min)

Foire Aux Questions

Quand aurai-je accès aux vidéos de cours et aux devoirs ?
L’accès à des vidéos de cours et des devoirs dépend de votre type d’inscription. Si vous suivez un cours en mode auditeur libre, vous pourrez voir la plupart des contenus de cours gratuitement. Pour accéder aux devoirs notés et obtenir un certificat, vous devrez acheter une expérience de certificat, pendant ou après avoir assister au cours en tant qu’auditeur libre. Si vous ne visualisez pas l’option auditeur libre :
Il est possible que le cours ne propose pas d’option auditeur libre. Vous pouvez en revanche accéder à un essai gratuit ou faire une demande d'aide financière.
Le cours propose peut-être « Cours complet, aucun certificat » à la place. Cette option vous permet de voir tous les contenus de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cependant, vous ne pourrez pas acheter une expérience de certificat.
À quoi ai-je droit si j'achète le Certificat ?
Lorsque vous achetez un Certificat, vous bénéficiez d'un accès à tout le contenu du cours, y compris les devoirs notés. Lorsque vous avez terminé et réussi le cours, votre Certificat électronique est ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.
Une aide financière est-elle possible ?
Oui. Dans certains programmes d’apprentissage, vous pouvez demander une aide financière ou une bourse d’études si vous ne pouvez pas payer les frais d’inscription. Si une aide financière ou une bourse d’études est disponible pour le programme d’apprentissage choisi, vous trouverez un lien pour faire une demande sur la page de description.

D'autres questions ? Visitez le Centre d'Aide pour les Étudiants.

Développez les compétences de vos employés, obtenez des résultats commerciaux

Découvrez Coursera pour les affaires

Big Data Analysis with Scala and Spark (Scala 2 version)

Big Data Analysis with Scala and Spark (Scala 2 version)

À propos de ce cours

Compétences que vous acquerrez