4.3
étoiles
173 évaluations

Karthik Muthuraman +1 enseignant de plus

20 399 déjà inscrits

Offert par

Réseau de compétences IBM

À propos de ce cours

176 538 consultations récentes

Bernard Marr defines Big Data as the digital trace that we are generating in this digital era. In this course, you will learn about the characteristics of Big Data and its application in Big Data Analytics. You will gain an understanding about the features, benefits, limitations, and applications of some of the Big Data processing tools. You’ll explore how Hadoop and Hive help leverage the benefits of Big Data while overcoming some of the challenges it poses. 
Hadoop is an open-source framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. Hive, a data warehouse software, provides an SQL-like interface to efficiently query and manipulate large data sets residing in various databases and file systems that integrate with Hadoop.

Apache Spark is an open-source processing engine that provides users new ways to store and make use of big data. It is an open-source processing engine built around speed, ease of use, and analytics. In this course, you will discover how to leverage Spark to deliver reliable insights. The course provides an overview of the platform, going into the different components that make up Apache Spark. 

In this course, you will also learn about Resilient Distributed Datasets, or RDDs, that enable parallel processing across the nodes of a Spark cluster.

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Niveau débutant

7 weeks of study, 1-2 hours / week

Approx. 13 heures pour terminer

Anglais

Votre entreprise pourrait-elle bénéficier de la formation des employés à des compétences recherchées ?

Essayez Coursera pour les affaires

Ce que vous allez apprendre

Explainthe impact of Big Data including use cases, tools, and processing methods.
ExplainApache Hadoop architecture, ecosystem, and practices, and userelatedapplications including HDFS, HBase, Spark, and MapReduce.
Apply Spark programming basics, including parallel programming basics forDataFrames, data sets, and Spark SQL.
UseSpark’s RDDsanddata sets, optimizingSparkSQLusing Catalyst and Tungsten, anduseSpark’s development and runtime environment options.

Compétences que vous acquerrez

Apache Hadoop
SparkSQL
SparkML
Big Data
Apache Spark

Dates limites flexibles

Réinitialisez les dates limites selon votre disponibilité.

Certificat partageable

Obtenez un Certificat lorsque vous terminez

100 % en ligne

Commencez dès maintenant et apprenez aux horaires qui vous conviennent.

Niveau débutant

7 weeks of study, 1-2 hours / week

Approx. 13 heures pour terminer

Anglais

Votre entreprise pourrait-elle bénéficier de la formation des employés à des compétences recherchées ?

Essayez Coursera pour les affaires

Enseignants

Évaluation de l'enseignant

4,41/5 (40 évaluations)

Karthik Muthuraman

Software Engineer (Machine Learning)

IBM Center for Open-Source Data and AI Technologies

22 055 étudiants

2 cours

Aije Egwaikhide

Senior Data Scientist

IBM

408 456 étudiants

6 cours

Offert par

Réseau de compétences IBM

IBM is the global leader in business transformation through an open hybrid cloud platform and AI, serving clients in more than 170 countries around the world. Today 47 of the Fortune 50 Companies rely on the IBM Cloud to run their business, and IBM Watson enterprise AI is hard at work in more than 30,000 engagements. IBM is also one of the world’s most vital corporate research organizations, with 28 consecutive years of patent leadership. Above all, guided by principles for trust and transparency and support for a more inclusive society, IBM is committed to being a responsible technology innovator and a force for good in the world.

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

Programme de cours : ce que vous apprendrez dans ce cours

Semaine

Semaine 1

1 heure pour terminer

What is Big Data?

1 heure pour terminer

7 vidéos (Total 42 min), 2 lectures, 2 quiz

Semaine

Semaine 2

2 heures pour terminer

Introduction to the Hadoop Ecosystem

2 heures pour terminer

6 vidéos (Total 37 min), 1 lecture, 4 quiz

Semaine

Semaine 3

1 heure pour terminer

Apache Spark

Build your skills when you turn your attention to the popular Apache Spark platform. Explore attribute and benefits of Apache Spark and distributed computing. You'll gain key insights about functional programming and Lambda functions. Explore Resilient Distributed Datasets (RDDs), Parallel Programming, resilience in Apache Spark and relate RDDs and Parallel Programming with Apache Spark. Dive into additional Apache Spark components and learn how Apache Spark scales with Big Data. Working with Big Data signals the need for working with queries, including structured queries using SQL. Learn about the functions, parts and benefits of Spark SQL and DataFrame queries, and discover how DataFrames work with SparkSQL.

1 heure pour terminer

5 vidéos (Total 24 min), 1 lecture, 3 quiz

Semaine

Semaine 4

2 heures pour terminer

DataFrames and SparkSQL

Learn about Resilient Distributed Datasets (RDDs), their uses in Apache Spark, and RDD transformations and actions. You'll compare the use of datasets with Spark's latest data abstraction, DataFrames. You'll learn to identify and apply basic DataFrame operations. Explore Apache Spark SQL optimization. Learn how Spark SQL and memory optimization benefit from using Catalyst and Tungsten. Learn how to create a table view and apply data aggregation techniques. Fortify your skills guided via the hands-on lab.

2 heures pour terminer

5 vidéos (Total 26 min), 1 lecture, 4 quiz

Semaine

Semaine 5

4 heures pour terminer

Development and Runtime Environment Options

Explore how Spark processes the requests that your application submits. Learn how you can track work using the Spark Application UI. Because Spark application work happens on the cluster, you need be able to identify Apache Cluster Managers, their components, benefits, and know how to connect with each cluster manager and how and when you might want to set up a local, standalone Spark instance. Next, learn about Apache Spark application submission, including use of Spark’s unified interface, ‘spark-submit’ and learn about options and dependencies. Developers now have the option of AIOps. Discover how to use Spark within AIOps and with Apache Spark application submission, including use of Spark’s unified interface, ‘spark-submit’, describe and apply options for submitting applications, identify external application dependency management techniques and list Spark Shell benefits. View and see recommended practices for Spark's static and dynamic configuration options. Round out your development knowledge with insights about Spark on Kubernetes. This module features hands-on Spark labs using IBM Cloud and Kubernetes.

4 heures pour terminer

6 vidéos (Total 33 min), 2 lectures, 7 quiz

6 vidéos

Apache Spark Architecture5 min

Overview of Apache Spark Cluster Modes6 min

How to Run an Apache Spark Application6 min

Using Apache Spark on IBM Cloud4 min

Setting Apache Spark Configuration5 min

Running Spark on Kubernetes 4 min

2 lectures

Summary & Highlights2 min

4 exercices pour s'entraîner

Practice Quiz: Spark Architecture6 min

Graded Quiz: Spark Architecture9 min

Practice Quiz: Spark Runtime Environments6 min

Graded Quiz: Spark Runtime Environments9 min

Semaine

Semaine 6

3 heures pour terminer

Monitoring & Tuning

Platforms and applications require monitoring and tuning to manage issues that inevitably happen. In this module you'll learn about connecting the Apache Spark user interface web server and using the same UI web server to manage application processes. Identify common Apache Spark application issues. Learn about debugging issues using the application UI and locating related log files. Discover and gain real-world knowledge about how Spark manages memory and processor resources via videos and in the available hands-on lab.

3 heures pour terminer

5 vidéos (Total 30 min), 4 lectures, 4 quiz

5 vidéos

The Apache Spark User Interface5 min

Monitoring Application Progress7 min

Debugging Apache Spark Application Issues5 min

Understanding Memory Resources5 min

Understanding Processor Resources5 min

4 lectures

Summary & Highlights2 min

Instructions for the Final Exam2 min

Congrats & Next Steps2 min

Team & Acknowledgements2 min

3 exercices pour s'entraîner

Practice Quiz: Introduction to Monitoring & Tuning10 min

Graded Quiz: Introduction to Monitoring & Tuning15 min

Final Exam 1h 40min

Avis

4.3

34 avis

5 stars
62,64 %
4 stars
20,11 %
3 stars
10,34 %
2 stars
2,87 %
1 star
4,02 %

Meilleurs avis pour INTRODUCTION TO BIG DATA WITH SPARK AND HADOOP

par AP7 mars 2022

the lecture was clearly understandible and I feel very gratefull to have this lecture

thank you it was phenomenal😊

par RR1 mai 2022

hands on lab and quizzes at the end of each session was very helpful

par RS7 mai 2022

Fantastic blend of theory and practical (labs). The labs are short and have concise material.

par ND8 nov. 2022

All the thinks I need to know about Big Data, Spark, Hadoop and Hive and explained in details

Voir tous les avis

Foire Aux Questions

Quand aurai-je accès aux vidéos de cours et aux devoirs ?
L’accès à des vidéos de cours et des devoirs dépend de votre type d’inscription. Si vous suivez un cours en mode auditeur libre, vous pourrez voir la plupart des contenus de cours gratuitement. Pour accéder aux devoirs notés et obtenir un certificat, vous devrez acheter une expérience de certificat, pendant ou après avoir assister au cours en tant qu’auditeur libre. Si vous ne visualisez pas l’option auditeur libre :
Il est possible que le cours ne propose pas d’option auditeur libre. Vous pouvez en revanche accéder à un essai gratuit ou faire une demande d'aide financière.
Le cours propose peut-être « Cours complet, aucun certificat » à la place. Cette option vous permet de voir tous les contenus de cours, de soumettre les évaluations requises et d'obtenir une note finale. Cependant, vous ne pourrez pas acheter une expérience de certificat.
À quoi ai-je droit si je m'abonne à ce Certificat ?
Lorsque vous vous inscrivez au cours, vous bénéficiez d'un accès à tous les cours du Certificat, et vous obtenez un Certificat lorsque vous avez réussi. Votre Certificat électronique est alors ajouté à votre page Accomplissements. À partir de cette page, vous pouvez imprimer votre Certificat ou l'ajouter à votre profil LinkedIn. Si vous souhaitez seulement lire et visualiser le contenu du cours, vous pouvez accéder gratuitement au cours en tant qu'auditeur libre.

D'autres questions ? Visitez le Centre d'Aide pour les Étudiants.

Développez les compétences de vos employés, obtenez des résultats commerciaux

Découvrez Coursera pour les affaires

Introduction to Big Data with Spark and Hadoop

À propos de ce cours

Ce que vous allez apprendre

Compétences que vous acquerrez