"L’enquête [*Self-Reports of Height and Weight*](../0.about-datasets.ipynb#Self-Reports-of-Height-and-Weight) (Davis, 1990) compare une auto-évaluation de leurs tailles et poids d’individus engagés dans un programme d’exercices avec les mesures réalisées par l’équipe encadrante.\n",
"\n",
"Imaginons un objectif où, en fonction des valeurs renseignées, on souhaiterait déduire l’étiquette *H* ou *F* qui leur est associée. Chargeons dans un premier temps les données et affichons un résumé :"
"Le jeu de données est composée de 200 observations mais comme toutes ne sont pas remplies pour tous les champs, il convient dans un premier temps de s’en occuper. Nous retenons comme stratégie de les combler avec la valeur moyenne de la colonne :"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "638eaa6f-d30a-45f3-b888-d727eb00ef53",
"metadata": {},
"outputs": [],
"source": [
"# mean value\n",
"repwt_mean = int(data.repwt.mean())\n",
"repht_mean = int(data.repht.mean())\n",
"\n",
"# fill NA\n",
"data.repwt.fillna(repwt_mean, inplace=True)\n",
"data.repht.fillna(repht_mean, inplace=True)\n",
"\n",
"data.info()"
]
},
{
"cell_type": "markdown",
"id": "ee52c74a-9e9d-4998-99f6-f370419a7926",
"metadata": {},
"source": [
"La seconde étape consiste à séparer le *dataset* en deux parties inégales : l’une pour le jeu d’entraînement, constituée de 80 % de l’ensemble ; et l’autre pour le jeu de test."
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "cece0234-c72c-4f7f-a0db-4805e0f98f0f",
"metadata": {},
"outputs": [],
"source": [
"limit = int(len(data) * 0.2)\n",
"\n",
"# split\n",
"train = data[limit:]\n",
"test = data[:limit]"
]
},
{
"cell_type": "markdown",
"id": "f3d0c802-2b5f-48bf-a34c-65ad0b30520b",
"metadata": {},
"source": [
"Attachons-nous à étudier le rapport entre le poids et la taille des individus. Intuitivement, on penserait que ces caractéristiques sont globalement liées par une corrélation positive : l’augmentation chez l’une entraîne une augmentation chez l’autre. Si nous affichons une droite de régression sur le jeu de données complet, on observe bien le phénomène attendu :"
"figure.suptitle(\"Relation entre le poids et la taille des individus\", y=1.05)\n",
"\n",
"col_1.set(title=\"Jeu d’entraînement\")\n",
"col_2.set(title=\"Jeu de test\")\n",
"\n",
"sns.despine()\n",
"\n",
"plt.show()"
]
},
{
"cell_type": "markdown",
"id": "c500a2fa-07c5-45f4-a8c7-548abd3d0c9e",
"metadata": {},
"source": [
"À votre avis, quelles erreurs peuvent avoir faussé notre interprétation ?"
]
},
{
"cell_type": "markdown",
"id": "61c8d84f-a791-425e-ae70-306f0da93a55",
"metadata": {
"tags": []
},
"source": [
"source": [
"## Les relations à distance"
"## Les relations à distance"
]
]
...
@@ -97,7 +242,7 @@
...
@@ -97,7 +242,7 @@
"id": "fbb20849-4a22-4870-940b-8067fd06e548",
"id": "fbb20849-4a22-4870-940b-8067fd06e548",
"metadata": {},
"metadata": {},
"source": [
"source": [
"Rien de bien concluant à première vue, non ? Afin de déterminer visuellement s’il existe bien une relation linéaire entre la distance et la vitesse d’éloignement, affichez une droite de régression :"
"Euh… rien de bien concluant à première vue, non ? Afin de déterminer visuellement s’il existe bien une relation linéaire entre la distance et la vitesse d’éloignement, affichez une droite de régression :"
Les exercices suivants sont destinés à vous familiariser avec les concepts appréhendés lors de l’introduction au *machine learning*. Avant toute chose, importez les librairies utiles :
Les exercices suivants sont destinés à vous familiariser avec les concepts appréhendés lors de l’introduction au *machine learning*. Avant toute chose, importez les librairies utiles :
L’enquête [*Self-Reports of Height and Weight*](../0.about-datasets.ipynb#Self-Reports-of-Height-and-Weight)(Davis, 1990) compare une auto-évaluation de leurs tailles et poids d’individus engagés dans un programme d’exercices avec les mesures réalisées par l’équipe encadrante.
Imaginons un objectif où, en fonction des valeurs renseignées, on souhaiterait déduire l’étiquette *H* ou *F* qui leur est associée. Chargeons dans un premier temps les données et affichons un résumé :
Le jeu de données est composée de 200 observations mais comme toutes ne sont pas remplies pour tous les champs, il convient dans un premier temps de s’en occuper. Nous retenons comme stratégie de les combler avec la valeur moyenne de la colonne :
La seconde étape consiste à séparer le *dataset* en deux parties inégales : l’une pour le jeu d’entraînement, constituée de 80 % de l’ensemble ; et l’autre pour le jeu de test.
Attachons-nous à étudier le rapport entre le poids et la taille des individus. Intuitivement, on penserait que ces caractéristiques sont globalement liées par une corrélation positive : l’augmentation chez l’une entraîne une augmentation chez l’autre. Si nous affichons une droite de régression sur le jeu de données complet, on observe bien le phénomène attendu :
Il paraît que l’univers est en expansion et que cette expansion va en s’accélérant. C’est en tout cas ce que l’étude de Wendy Freedman et al. a prouvé ([*Freedman, 2001*](../0.about-datasets.ipynb#Stellar-Objects)). Par conséquent, on s’attend à ce qu’un objet stellaire s’éloigne d’autant plus vite de nous que la distance qui nous sépare de lui est grande.
Il paraît que l’univers est en expansion et que cette expansion va en s’accélérant. C’est en tout cas ce que l’étude de Wendy Freedman et al. a prouvé ([*Freedman, 2001*](../0.about-datasets.ipynb#Stellar-Objects)). Par conséquent, on s’attend à ce qu’un objet stellaire s’éloigne d’autant plus vite de nous que la distance qui nous sépare de lui est grande.
Chargeons le jeu de données en se concentrant sur des objets proches de nous (entre 30 000 et 100 000 années-lumières) :
Chargeons le jeu de données en se concentrant sur des objets proches de nous (entre 30 000 et 100 000 années-lumières) :
Rien de bien concluant à première vue, non ? Afin de déterminer visuellement s’il existe bien une relation linéaire entre la distance et la vitesse d’éloignement, affichez une droite de régression :
Euh… rien de bien concluant à première vue, non ? Afin de déterminer visuellement s’il existe bien une relation linéaire entre la distance et la vitesse d’éloignement, affichez une droite de régression :
Bon, appelez BFM TV, Wendy s’est trompée : 2/3 des points sont en dehors de l’intervalle de confiance à 95 %. Ou alors, peut-être avons-nous fait une erreur de méthodologie ?
Bon, appelez BFM TV, Wendy s’est trompée : 2/3 des points sont en dehors de l’intervalle de confiance à 95 %. Ou alors, peut-être avons-nous fait une erreur de méthodologie ?
