What About Big Data?

Loading...

En provenance du cours de Johns Hopkins University

The Data Scientist’s Toolbox

19339 notes

Johns Hopkins University

The Data Scientist’s Toolbox

19339 notes

Cours 1 sur 10 dans Specialization Data Science

In this course you will get an introduction to the main tools and ideas in the data scientist's toolbox. The course gives an overview of the data, questions, and tools that data analysts and data scientists work with. There are two components to this course. The first is a conceptual introduction to the ideas behind turning data into actionable knowledge. The second is a practical introduction to the tools that will be used in the program like version control, markdown, git, GitHub, R, and RStudio.

À partir de la leçon

Week 3: Conceptual Issues

The Week 3 lectures focus on conceptual issues behind study design and turning data into knowledge. If you have trouble or want to explore issues in more depth, please seek out answers on the forums. They are a great resource! If you happen to be a superstar who already gets it, please take the time to help your classmates by answering their questions as well. This is one of the best ways to practice using and explaining your skills to others. These are two of the key characteristics of excellent data scientists.

Types of Questions9:09

What is Data?5:15

What About Big Data?4:15

Experimental Design15:59

Rencontrer les enseignants

Jeff Leek, PhD
Associate Professor, Biostatistics
Bloomberg School of Public Health
Roger D. Peng, PhD
Associate Professor, Biostatistics
Bloomberg School of Public Health
Brian Caffo, PhD
Professor, Biostatistics
Bloomberg School of Public Health

Une question qui revient souvent quand

on parle de science des données, c'est : Quid du Big Data?

Le big data est évidemment différent pour des gens différents.

Le big data pour quelqu'un sans un

ordinateur peut être 1000 nombres, mais

le big data pour quelqu'un qui a accès à Amazon EC2

peut être quelque chose d'énorme, de beaucoup plus grand.

Alors, combien y a-t-il de données?

Cette infographie dit qu'en 2001 [en fait, 2011],

1,8 zettabytes de données auront été créées, ce qui est une quantité énorme.

Mais réalistement, on ne peut en utiliser qu'une fraction infime

pour répondre à n'importe quelle question spécifique que vous pourriez avoir.

Ainsi, la question qui revient continuellement, c'est : qu'en est-il du Big Data?

Alors, on voit souvent associer les concepts de Big Data

et de gestion dans le Cloud, et le Cloud et Big Data tendent

à être associés, parce que certains ensembles de Big Data sont si grands

qu'on ne peut pas les analyser sur un ordinateur portable ou de bureau.

Cela dépend donc vraiment de votre point de vue.

Voici un des tout premiers disques durs

créés par IBM, et il ne pouvait contenir que bien moins de données

que votre ordinateur, ou même votre téléphone cellulaire.

Ceci suggère qu'au cours du temps,

avec la croissance de la technologie; le Big Data changera lui aussi.

Une façon de résoudre le problème du Big Data, c'est juste

d'attendre que le hardware rattrape la quantité de données.

Mais la plupart des questions auxquelles on essaie de répondre n'ont pas forcément

une composante Big Data nécessitant un très grand nombre

d'ordinateurs, même si parfois, c'est le cas.

Alors, pourquoi toute cette agitation autour du Big Data ?

Voici juste un exemple de cela.

Stanley Milgram avait fait une expérience où il

a pris 296 personnes, et ce qu'il essayait de faire, fondamentalement, c'est

de leur envoyer une lettre et de leur demander d'envoyer une lettre

à quelqu'un qu'ils connaissaient, et ainsi de suite, jusqu'à ce qu'ils atteignent une adresse spécifique.

Et 64 de ces chaînes de lettres sont revenues, 64 sur 296.

Et de là, ils ont découvert qu'il y avait environ 5,2 personnes entre

la première à avoir reçu la lettre

et la dernière à l'avoir reçue.

Et c'est ainsi que les six degrés de séparation ont émergé.

Et ce qui s'est passé, c'est qu'aujourd'hui, les gens peuvent

récolter beaucoup plus de données qu'avant, et pour beaucoup moins cher.

Ainsi, ces chercheurs ont pris un réseau de messagerie instantanée

Et ils ont examiné 30 milliards de conversations entre 240 millions de personnes.

Et ils ont fait une expérience semblable

pour essayer d'identifier les distances entre les personnes, et ils

ont essayé d'analyser la même question,

qui, avant, n'avait été examinée que sur 64 chaînes d'e-mails.

Et ils ont trouvé que le parcours moyen était en fait de 6,6,

alors ils ont réévalué les degrés de séparation :

de six à sept degrés de séparation.

Alors, quelle leçon peut-on tirer de ceci ?

C'est qu'il est maintenant possible de récolter plus de données

qu'auparavant, pour bien moins cher, et de les analyser.

Mais la question, c'est quelle proportion de ces données est utile

pour répondre à la question qui vous occupe.

Ce post est ironique :

il dit : n'utilisez pas Hadoop, vous n'avez pas assez de données.

Hadoop est un autre de ces mots clichés souvent utilisés à propos des Big Data,

et c'est une technique incroyablement puissante et utile

si vous avez une très grande masse de données.

Mais si votre ordinateur a assez de mémoire, ou s'il est assez puissant,

vous pouvez analyser un grand nombre

d'ensembles de données qui sont importantes

et pertinentes pour vous, sans devoir aller dans

les technique plus compliquées qu'impliquent

les énormes quantités d'ensembles de données

telles que celles qu'analysent Google et Facebook.

Que vous ayez besoin de beaucoup ou de peu de données

quelque soit la quantité, il vous faut les données pertinentes.

Alors, il se peut que les données ne contiennent pas la réponse.

La combinaison de certaines données et un désir ardent d'obtenir une réponse

ne garantit pas qu'une réponse raisonnable puisse être extraite d'un corps de données en particulier.

C'était une citation de John Tukey, l'un des premiers scientifiques des données.

Et j'ajouterais : "même si la quantité de données est énorme."

Même un nombre gigantesque de données pourrait ne pas suffire

pour répondre à votre question, si ce ne sont pas les bonnes données.

Explorer notre catalogue

Rejoignez-nous gratuitement et obtenez des recommendations, des mises à jour et des offres personnalisées.

Coursera propose un accès universel à la meilleure formation au monde, en partenariat avec des universités et des organisations du plus haut niveau, pour proposer des cours en ligne.

© 2019 Coursera Inc. Tous droits réservés.

Télécharger dans l'App Store

Disponible sur Google Play