Before you can work with data you have to get some. This course will cover the basic ways that data can be obtained. The course will cover obtaining data from the web, from APIs, from databases and from colleagues in various formats. It will also cover the basics of data cleaning and how to make data “tidy”. Tidy data dramatically speed downstream data analysis tasks. The course will also cover the components of a complete data set including raw data, processing instructions, codebooks, and processed data. The course will cover the basics needed for collecting, cleaning, and sharing data.
Editing Text Variables
Loading...
En provenance du cours de Johns Hopkins University
Getting and Cleaning Data
5909 notes
À partir de la leçon
Week 4
Welcome to Week 4 of Getting and Cleaning Data! This week we finish up with lectures on text and date manipulation in R. In this final week we will also focus on peer grading of Course Projects.
Rencontrer les enseignants
Jeff Leek, PhDAssociate Professor, Biostatistics
Bloomberg School of Public Health
Roger D. Peng, PhDAssociate Professor, Biostatistics
Bloomberg School of Public Health
Brian Caffo, PhDProfessor, Biostatistics
Bloomberg School of Public Health
Une étape très commune du nettoyage des données, c'est avoir des variables de texte qui ont
un format désagréable, ou des espaces supplémentaires,
ou des points, ou des soulignements que vous devez retirer.
Cette vidéo expliquera donc comment manipuler ces textes
automatiquement, pour obtenir des noms de variables décents et agréables,
mais aussi les textes dans le jeu de données lui-même.
Nous allons revenir sur ces données des radars de Baltimore, parce que
je ne peux pas arrêter de penser à propos des amendes due de pénalité d'accès de vitesse
La première chose que nous allons faire, c'est télécharger le jeu de données sur le site.
Nous allons vérifier si le répertoire "data" existe déjà,
et dans le cas contraire nous le créons.
Nous téléchargeons ensuite les données à partir de cette URL et
nous les lisons en R grâce à "read.csv."
La première chose à faire est alors de regarder les noms des données des radars.
Voilà les noms des colonnes,
et vous voyez par exemple que l'une des variables est "crossStreet",
avec un S majuscule à l'intérieur.
Ça n'a pas l'air important, mais à chaque fois que vous allez écrire ça dans R,
vous pouvez oublier le fait qu'il y a cette majuscule supplémentaire,
et du coup obtenir une erreur de R.
Vous devez donc mettre toutes les lettres en minuscule,
ce qui est facile en R avec "tolower"
Vous pouvez ainsi mettre tous les noms
uniquement en minuscules en utilisant la commande "tolower".
Il y a aussi une commande "toupper", au besoin,
pour mettre toutes les lettres en majuscules.
Une autre chose à faire, c'est mettre à part les variables
dont les valeurs sont séparées par des points.
Si nous revenons sur cette page, vous voyez par exemple
que cette variable "location" ici est séparée avec un point.
Ça arrive souvent quand vous chargez des noms de variables dans R à partir de fichiers.
Nous pouvons en fait utiliser la commande "string split",
appelée avec s-t-r-s-p-l-i-t,
à laquelle nous donnons les noms de notre jeu de données et
la séparation au niveau des points.
Ici, je dois utiliser ce caractère d'échappement parce que le point
est un caractère réservé.
Et donc, ce que je reçois si je regarde cet ensemble de données, qui sort, divise les noms,
qui est juste une liste, vous pouvez regarder le cinquième élément,
qui correspond à la variable "intersection",
et vous pouvez voir que rien ne s'est passé ici :
c'est juste une variable, parce qu'il n'y avait aucun point dans le nom de cette variable.
Mais si vous examinez le sixième élément de cette liste,
vous verrez que la variable "location" a été séparée en deux composantes,
l'une étant "location" avec le point supprimé.
Nous avons donc réussi à séparer cette variable.
Vous voulez alors parcourir le résultat
et prendre juste la partie du nom de la variable qui ne contient pas le point.
Je veux vous donner un aperçu très rapide sur les listes, parce que
les fonctions dont nous allons parler dans une minute en dépendent,
et nous devons nous assurer que vous retiendrez comment elles fonctionnent.
Je crée donc ici une variable,
Ma liste, et je le fais en demandant des lettres, des chiffres et une matrice.
Si je regarde la liste, je peux voir qu'elle contient trois composantes
différentes, incluant certains noms.
Je peux donc sélectionner le premier élément de la liste et il renvoie les lettres.
je peux en fait sélectionner grâce aux noms des variables,
ou tout simplement sélectionner le vecteur en accédant
au premier élément de cette liste.
Je veux en fait supprimer tous les points,
puis garder uniquement la partie contenant le nom des variables.
Vous pouvez voir quand j'étudie le sixième élément de cette liste
-souvenez-vous qu'il était en deux parties,
Il avait l'emplacement et ensuite il avait celui qui est venu après le point.
et si je prends juste le premier élément de cet élément de la liste,
j'obtiens juste la valeur de localité
Je peux en fait écrire une fonction que j'appelle "firstElement",
qui prendra la première valeur qui sort de cette liste.
Je peux alors utiliser "sapply" pour séparer les noms
en l'appliquant à "splitNames" qui est une liste".
je peux appliquer la fonction "firstElement" qui va parcourir la liste
et, pour chacun de ses éléments, va renvoyer son premier élément,
dans notre cas, les noms des variables.
Quand désormais vous regardez la localité,
vous voyez le point a été supprimé.
Vous avez donc un moyen de supprimer les points des noms dans les data frames.
Je vais revenir aux données de cette expérience d'évaluation par les pairs
pour vous montrer d'autres façons de manipuler
des variables de texte pour obtenir les réponses que vous souhaitez.
Je vais à nouveau télécharger les données sur Internet,
Je vais le stocker en deux images.
l'un est le data frame "reviews" et l'autre est le data frame "solutions",
où "reviews" est l'ensemble des problèmes qui ont été évalués par les pairs dans
cette expérience et
"solutions" est l'ensemble des questions SAT qui ont été soumises par des gens.
Examinons à nouveau le jeu de données.
Il ressemble à ceci.
Je veux alors pouvoir substituer,
disons, des caractères.
Dans notre cas, je vois que certains noms de vaiables sont solution_id et
reviewer_id, et contiennent un underscore.
Je veux supprimer les underscores des noms de ces variables,
ainsi que de cette variable time_left là-bas,
ce que je peux faire en utilisant la commande sub.
Je peux dire qu'à chaque fois que l'on trouve un underscore,
on le remplace avec du vide dans les noms de "reviews", ce qui vous donne finalement
ces noms de variables où tous les underscores ont été supprimés.
Je peux aussi utiliser gsub pour remplacer des occurences multiples d'un caractère particulier.
Supposons par exemple qu je dispose d'un nom de variable contenant plusieurs underscores.
Si j'utilise sub, seul le premier underscore sera remplacé :
si donc je demande de substituer l'underscore par du vide dans testName,
le premier underscore sera détecté et remplacé,
mais les suivants resteront intacts.
Si à l'inverse j'utilise gsub, tous les underscores seront remplacés,
et vous obtiendrez une variable comme ceci.
Vous pouvez utiliser cela pour remplacer les underscores dans les noms des variables pour
avoir des noms propres et agréables,
mais vous pouvez aussi observer ce phénomène
dans les valeurs de texte que vous avez dans le jeu de données.
La prochaine chode dont je vais parler, c'est la recherche
de valeurs spécifiques dans les noms des variables, ou dans les variables elles-mêmes.
Je vais revenir aux données des radars fixes,
et regarder la variable "intersection".
Je veux pouvoir trouver toutes les intersections
qui incluent l'Alameda parmi les routes.
Je vais alors utiliser la fonction grep,
qui va prendre en entrée la chaîne de caractère recherchée,
ici "Alameda", et parcourir cette variable pour
trouver toutes les occurences dans ce vecteur d'Alameda.
Cette chaîne apparaît dans les 4e, 5e et 36e éléments de cette variable "intersection".
Je peux aussi utiliser la commande "grepl" avec un "l"
après le "grep",
qui va chercher cette chaîne "Alameda"
dans la variable "intersection",
et renverra un vecteur qui vaut TRUE à chaque occurence d'Alameda
et FALSE dans les autres cas.
Dans notre cas, vous voyez qu'il y a trois fois où Alameda
apparaît, et donc
si je fais une table des valeurs TRUE et FALSE, je constate trois valeurs TRUE.
Une autre chose que vous pouvez faire, c'est créer des sous-ensembles.
Donc, par exemple,
supposons que je veux trouver tous les cas où Almeda apparaît dans l'intersection.
Je veux dire ensuite,
si Almeda n'apparaît pas, je veux sélectionner uniquement cette partie des données.
Je peux faire cela en utilisant la commande grepl,
c'est-à-dire sélectionner des données en fonction de certaines chaînes
que vous voulez trouver.
Quelques infos de plus sur grep : vous pouvez aussi utiliser "value=TRUE" comme un paramètre
envoyé à grep, et au lieu de vous donner dans quels éléments
Alameda apparaît, il vous renverra les valeurs dans lesquelles Alameda apparaît.
Vous voyez ici les trois intersections où Alameda apparaît dans
les données des radars.
Vous pouvez aussi étudier les valeurs qui n'apparaissent pas.
Par exemple, "JeffStreet" n'apparaît pas dans les données d'intersections,
et le résultat sera donc "integer(0)" quand la valeur n'apparaît pas.
Si vous en regardez la taille, vous verrez que c'est bien 0 ;
c'est un bon moyen de vérifier.
Supposons donc que vous voulez vérifier si une valeur particulière apparaît dans un vecteur.
Vous pouvez faire un grep pour cette valeur, puis regarder la taille du résultat
et si elle est nulle, vous êtes sûrs que cette valeur n'apparaît jamais.
D'autres fonctions utiles pour gérer les chaînes sont présentes à la fois dans les paquets "string"
et "base".
La fonction "nchar" vous indique
le nombre de caractères dans une chapine particulière :
il y a ici 12 caractères dans mon nom.
Vous pouvez aussi ne garder qu'une partie de la chaîne.
Dans ce cas, je prends cette chaîne,
et je veux ne garder que les lettres entre la première et la septième,
ici juste mon prénom.
Vous pouvez aussi concaténer deux chaînes.
Supposons que j'ai ces deux chaînes, et que je leur applique la fonction "paste" :
j'obtiens alors une seule chaîne séparée par un espace.
Vous pouvez en fait choisir la séparation avec l'argument "sep", s-e-p.
Une version très utile quand vous faites de l'analyse des données vous permet
de coller des chaînes ensemble sans espace entre les deux :
vous appelez pour cela la fonction
"paste0", qui concatène les chaînes sans espace entre les deux.
Dans le paquet "stringer", il y a une fonction très pratique appelée str_trim,
qui va supprimer les espaces inutiles qui apparaissent à la fin d'une chaîne,
ce qui vous donne une belle chaîne sans espace supplémentaire au début ou à la fin.
Quelques points importants sur les textes dans les jeux de données.
Dès que possible, vous devriez n'avoir que des minuscules, parce que des majuscules manquantes
peuvent produire des bugs très difficiles à repérer lors de l'analyse.
Vous devriez avoir des noms qui soient descriptifs,
en d'autres termes vous préférez "diagnosis" plutôt que "Dx".
Les noms de variables ne devraient pas être dupliquées, ni comporter d'underscore
ou de point ou d'espace blanc, que nous vous avons montré comment retirer.
Les variables dont les valeurs sont des caractères devraient être transformées
en facteurs, comme nous en avons discuté précédemment,
même si ça dépend parfois de l'application.
Elles doivent également être descriptives, donc si par exemple vous avez une variable vraie
ou fausse, les valeurs devraient être TRUE ou FALSE au lieu de 0 ou 1, ou
1 ou 0,
et "mâle" et "femelle" devraient apparaître explicitement plutôt que M et F
ou 0 et 1.
Ça rend juste plus simple la lecture de ce qui se passe dans le jeu de données.
Explorer notre catalogue
Rejoignez-nous gratuitement et obtenez des recommendations, des mises à jour et des offres personnalisées.
Coursera propose un accès universel à la meilleure formation au monde,
en partenariat avec des universités et des organisations du plus haut niveau, pour proposer des cours en ligne.
© 2019 Coursera Inc. Tous droits réservés.
