Develop

notebooks/machine-learning/exercises/0.bias-and-common-errors.ipynb

 %% Cell type:markdown id:411ba7b3-7d56-45fe-b01e-205275e1988a tags:
 
 # Des biais et des erreurs communes
 
 %% Cell type:markdown id:4e2fcf4b-d8aa-4bb2-8eab-dfe9a3210604 tags:
 
 Les exercices suivants sont destinés à vous familiariser avec les concepts appréhendés lors de l’introduction au *machine learning*. Avant toute chose, importez les librairies utiles :
 
 %% Cell type:code id:556f4053-3ccb-497e-bbf3-cf2266df3027 tags:
 
 ``` python
 import matplotlib.pyplot as plt
 import pandas as pd
 import seaborn as sns
 from random import random
 
 sns.set_context('notebook')
 ```
 
 %% Cell type:markdown id:8638d5e5-1093-4f36-b80e-bf6527434b1e tags:
 
 ## Une intelligence artificielle drôlement intelligente
 
 %% Cell type:markdown id:f0f31bdb-dcd7-4fbf-afcf-58e2a5b5eed3 tags:
 
 Prenons un jeu de données factice d’une centaine d’observations étiquetées pour les unes *cat*, pour les autres *dog*, avec des valeurs associées que l’on suppose dimensionnées :
 
 %% Cell type:code id:0d646d8d-79a7-4710-962c-205d61006b8f tags:
 
 ``` python
 # 5, out of an hundred, are cats
 series = {
     "label": [ "cat" if i < 5 else "dog" for i in range(100) ],
     "value": [ random() for i in range(100) ]
 }
 
 df = pd.DataFrame(series)
 ```
 
 %% Cell type:markdown id:9d54a3f7-1230-480c-b861-845c64bb8d79 tags:
 
 Afin d’éviter un biais évident relatif aux données non triées, nous les mélangeons grâce à une fonction de randomisation :
 
 %% Cell type:code id:b3716192-e089-4615-84d7-35595dcd6f02 tags:
 
 ``` python
 df = df.sample(frac=1).reset_index(drop=True)
 ```
 
 %% Cell type:markdown id:acf511e2-866d-466a-9660-85173a8fa7e9 tags:
 
 Notre objectif étant de programmer une machine qui va, pour une valeur de `X`, deviner si nous sommes en présence d’un chat ou d’un chien, il est temps d’extraire la variable cible du jeu de données :
 
 %% Cell type:code id:2259be59-bf54-4884-8f7b-a0429af1dd03 tags:
 
 ``` python
 y = df.label
 X = df.value
 ```
 
 %% Cell type:markdown id:d0556dcb-7766-4bdf-be40-5a27ca791c50 tags:
 
 Nous pouvons maintenant programmer un prédicteur qui, pour chaque observation dans `X`, lui associera systématiquement l’étiquette *dog* :
 
 %% Cell type:code id:02714fdd-a566-4807-a4e2-a127e3eab495 tags:
 
 ``` python
 y_pred = [ "dog" for i in X ]
 ```
 
 %% Cell type:markdown id:2769bc14-464d-45e7-992a-4d880b413f0e tags:
 
 En comparant les prédictions `y_pred` avec la réalité (`y`), on peut calculer le taux d’exactitude :
 
 %% Cell type:code id:46df19b7-8439-4397-9e8f-39262a156882 tags:
 
 ``` python
 accuracy = (y_pred == y).sum()
 
 print(f"Le taux d’exactitude (accuracy) de notre prédicteur est de { accuracy } % !")
 ```
 
 %% Cell type:markdown id:12e88304-31b6-4a85-b8db-7cf2c8584526 tags:
 
 Expliquez pourquoi un algorithme aussi bête que le nôtre a pu obtenir un score aussi étonnant.
 
 %% Cell type:markdown id:61c8d84f-a791-425e-ae70-306f0da93a55 tags:
 
 ## Les relations à distance
 
 %% Cell type:markdown id:057d738a-a8a8-4d38-9dd2-b109d1325308 tags:
 
 Il paraît que l’univers est en expansion et que cette expansion va en s’accélérant. C’est en tout cas ce que l’étude de Wendy Freedman et al. a prouvé ([*Freedman, 2001*](../0.about-datasets.ipynb#Stellar-Objects)). Par conséquent, on s’attend à ce qu’un objet stellaire s’éloigne d’autant plus vite de nous que la distance qui nous sépare de lui est grande.
 
 Chargeons le jeu de données en se concentrant sur des objets proches de nous (entre 30 000 et 100 000 années-lumières) :
 
 %% Cell type:code id:1cf3ab56-418f-46e3-bc3f-36cf0eec0dbf tags:
 
 ``` python
 # load data
 df = pd.read_csv("../files/stellar-objects.csv", sep="\t")
 
 # distance: megaparsec (MPC)
 # velocity: in km/s
 df["velocity"] = df.v_helio.fillna(df.v_flow.fillna(df.v_cmb))
 
 # objects close to earth, but not that close :)
 data = df[(df.distance > 10) & (df.distance < 30)]
 ```
 
 %% Cell type:markdown id:f0a306e1-be3e-4431-84a3-32216340c326 tags:
 
 Affichons un nuage de points afin de vérifier la proposition de ces pontes de la NASA :
 
 %% Cell type:code id:1fb0d73f-62bd-4777-b4e4-276554e2a599 tags:
 
 ``` python
 sns.scatterplot(data=data, x="distance", y="velocity")
 
 sns.despine()
 
 plt.title("Relation between distance and velocity of stellar objects")
 plt.xlabel("Distance (MPC)")
 plt.ylabel("Velocity (km/s)")
 
 plt.show()
 ```
 
 %% Cell type:markdown id:fbb20849-4a22-4870-940b-8067fd06e548 tags:
 
 Euh… rien de bien concluant à première vue, non ? Afin de déterminer visuellement s’il existe bien une relation linéaire entre la distance et la vitesse d’éloignement, affichez une droite de régression :
 
 %% Cell type:code id:125c4241-faf9-4209-b8c6-cfc2c1b07105 tags:
 
 ``` python
-# your code here
+_ = sns.regplot(data=data, x="distance", y="velocity")
 ```
 
 %% Cell type:markdown id:aa3c4eeb-5ce4-44f2-9403-9d50a9e425e9 tags:
 
 Bon, appelez BFM TV, Wendy s’est trompée : 2/3 des points sont en dehors de l’intervalle de confiance à 95 %. Ou alors, peut-être avons-nous fait une erreur de méthodologie ?
 
 %% Cell type:markdown id:220410a9-d71d-4d16-b724-1f31539ed987 tags:
 
 ## Une étude de genre
 
 %% Cell type:markdown id:cfc33885-ca65-4f89-8eac-04d519b8c6ab tags:
 
 L’enquête [*Self-Reports of Height and Weight*](../0.about-datasets.ipynb#Self-Reports-of-Height-and-Weight) (Davis, 1990) compare une auto-évaluation de leurs tailles et poids d’individus engagés dans un programme d’exercices avec les mesures réalisées par l’équipe encadrante.
 
 Imaginons un objectif où, en fonction des valeurs renseignées, on souhaiterait déduire l’étiquette *H* ou *F* qui leur est associée. Chargeons dans un premier temps les données et affichons un résumé :
 
 %% Cell type:code id:2f7609ab-f6d7-459a-bdea-cfab3f255332 tags:
 
 ``` python
 # load data
 df = pd.read_csv("../files/davis.csv", sep="\t")
 
 # select variables
 target = "sex"
 features = ["weight", "height", "repwt", "repht"]
 
 # a copy of the data frame
 data = df.copy()
 data = data[[target] + features]
 
 data.info()
 ```
 
 %% Cell type:markdown id:e3479ed2-ec29-4a05-9554-1691a59f3e4d tags:
 
 Le jeu de données est composée de 200 observations mais comme toutes ne sont pas remplies pour tous les champs, il convient dans un premier temps de s’en occuper. Nous retenons comme stratégie de les combler avec la valeur moyenne de la colonne :
 
 %% Cell type:code id:638eaa6f-d30a-45f3-b888-d727eb00ef53 tags:
 
 ``` python
 # mean value
 repwt_mean = int(data.repwt.mean())
 repht_mean = int(data.repht.mean())
 
 # fill NA
 data.repwt.fillna(repwt_mean, inplace=True)
 data.repht.fillna(repht_mean, inplace=True)
 
 data.info()
 ```
 
 %% Cell type:markdown id:ee52c74a-9e9d-4998-99f6-f370419a7926 tags:
 
 La seconde étape consiste à séparer le *dataset* en deux parties inégales : l’une pour le jeu d’entraînement, constituée de 80 % de l’ensemble ; et l’autre pour le jeu de test.
 
 %% Cell type:code id:cece0234-c72c-4f7f-a0db-4805e0f98f0f tags:
 
 ``` python
 limit = int(len(data) * 0.2)
 
 # split
 train = data[limit:]
 test = data[:limit]
 ```
 
 %% Cell type:markdown id:f3d0c802-2b5f-48bf-a34c-65ad0b30520b tags:
 
 Attachons-nous à étudier le rapport entre le poids et la taille des individus. Intuitivement, on penserait que ces caractéristiques sont globalement liées par une corrélation positive : l’augmentation chez l’une entraîne une augmentation chez l’autre. Si nous affichons une droite de régression sur le jeu de données complet, on observe bien le phénomène attendu :
 
 %% Cell type:code id:312afd57-af0f-4e38-9154-a05c0402715e tags:
 
 ``` python
 _ = sns.regplot(data=data, x="weight", y="height")
 ```
 
 %% Cell type:markdown id:84c8a544-351b-4b47-89ba-abfb9f1f031e tags:
 
 Pour autant, il n’en va pas de même avec les jeux d’entraînement et de test :
 
 %% Cell type:code id:cdc0d499-1ee3-4740-9c9d-2d3b4b0b5f90 tags:
 
 ``` python
 figure, (col_1, col_2)= plt.subplots(ncols=2, figsize=(12,4))
 
 sns.regplot(data=train, x="weight", y="height", ax=col_1)
 sns.regplot(data=test, x="weight", y="height", ax=col_2)
 
 figure.suptitle("Relation entre le poids et la taille des individus", y=1.05)
 
 col_1.set(title="Jeu d’entraînement")
 col_2.set(title="Jeu de test")
 
 sns.despine()
 
 plt.show()
 ```
 
 %% Cell type:markdown id:c500a2fa-07c5-45f4-a8c7-548abd3d0c9e tags:
 
 À votre avis, quelles erreurs peuvent avoir faussé notre interprétation ?