0.bias-and-common-errors.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "411ba7b3-7d56-45fe-b01e-205275e1988a",
   "metadata": {},
   "source": [
    "# Des biais et des erreurs communes"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4e2fcf4b-d8aa-4bb2-8eab-dfe9a3210604",
   "metadata": {},
   "source": [
    "Les exercices suivants sont destinés à vous familiariser avec les concepts appréhendés lors de l’introduction au *machine learning*. Avant toute chose, importez les librairies utiles :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "556f4053-3ccb-497e-bbf3-cf2266df3027",
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "import seaborn as sns\n",
    "from random import random\n",
    "\n",
    "sns.set_context('notebook')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8638d5e5-1093-4f36-b80e-bf6527434b1e",
   "metadata": {
    "tags": []
   },
   "source": [
    "## Une intelligence artificielle drôlement intelligente"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f0f31bdb-dcd7-4fbf-afcf-58e2a5b5eed3",
   "metadata": {},
   "source": [
    "Prenons un jeu de données factice d’une centaine d’observations étiquetées pour les unes *cat*, pour les autres *dog*, avec des valeurs associées que l’on suppose dimensionnées :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0d646d8d-79a7-4710-962c-205d61006b8f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 5, out of an hundred, are cats\n",
    "series = {\n",
    "    \"label\": [ \"cat\" if i < 5 else \"dog\" for i in range(100) ],\n",
    "    \"value\": [ random() for i in range(100) ]\n",
    "}\n",
    "\n",
    "df = pd.DataFrame(series)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9d54a3f7-1230-480c-b861-845c64bb8d79",
   "metadata": {},
   "source": [
    "Afin d’éviter un biais évident relatif aux données non triées, nous les mélangeons grâce à une fonction de randomisation :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b3716192-e089-4615-84d7-35595dcd6f02",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df.sample(frac=1).reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "acf511e2-866d-466a-9660-85173a8fa7e9",
   "metadata": {},
   "source": [
    "Notre objectif étant de programmer une machine qui va, pour une valeur de `X`, deviner si nous sommes en présence d’un chat ou d’un chien, il est temps d’extraire la variable cible du jeu de données :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2259be59-bf54-4884-8f7b-a0429af1dd03",
   "metadata": {},
   "outputs": [],
   "source": [
    "y = df.label\n",
    "X = df.value"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d0556dcb-7766-4bdf-be40-5a27ca791c50",
   "metadata": {},
   "source": [
    "Nous pouvons maintenant programmer un prédicteur qui, pour chaque observation dans `X`, lui associera systématiquement l’étiquette *dog* :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "02714fdd-a566-4807-a4e2-a127e3eab495",
   "metadata": {},
   "outputs": [],
   "source": [
    "y_pred = [ \"dog\" for i in X ]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2769bc14-464d-45e7-992a-4d880b413f0e",
   "metadata": {},
   "source": [
    "En comparant les prédictions `y_pred` avec la réalité (`y`), on peut calculer le taux d’exactitude :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "46df19b7-8439-4397-9e8f-39262a156882",
   "metadata": {},
   "outputs": [],
   "source": [
    "accuracy = (y_pred == y).sum()\n",
    "\n",
    "print(f\"Le taux d’exactitude (accuracy) de notre prédicteur est de { accuracy } % !\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "12e88304-31b6-4a85-b8db-7cf2c8584526",
   "metadata": {},
   "source": [
    "Expliquez pourquoi un algorithme aussi bête que le nôtre a pu obtenir un score aussi étonnant."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61c8d84f-a791-425e-ae70-306f0da93a55",
   "metadata": {
    "tags": []
   },
   "source": [
    "## Les relations à distance"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "057d738a-a8a8-4d38-9dd2-b109d1325308",
   "metadata": {},
   "source": [
    "Il paraît que l’univers est en expansion et que cette expansion va en s’accélérant. C’est en tout cas ce que l’étude de Wendy Freedman et al. a prouvé ([*Freedman, 2001*](../0.about-datasets.ipynb#Stellar-Objects)). Par conséquent, on s’attend à ce qu’un objet stellaire s’éloigne d’autant plus vite de nous que la distance qui nous sépare de lui est grande.\n",
    "\n",
    "Chargeons le jeu de données en se concentrant sur des objets proches de nous (entre 30 000 et 100 000 années-lumières) :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1cf3ab56-418f-46e3-bc3f-36cf0eec0dbf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# load data\n",
    "df = pd.read_csv(\"../files/stellar-objects.csv\", sep=\"\\t\")\n",
    "\n",
    "# distance: megaparsec (MPC)\n",
    "# velocity: in km/s\n",
    "df[\"velocity\"] = df.v_helio.fillna(df.v_flow.fillna(df.v_cmb))\n",
    "\n",
    "# objects close to earth, but not that close :)\n",
    "data = df[(df.distance > 10) & (df.distance < 30)]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f0a306e1-be3e-4431-84a3-32216340c326",
   "metadata": {},
   "source": [
    "Affichons un nuage de points afin de vérifier la proposition de ces pontes de la NASA :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1fb0d73f-62bd-4777-b4e4-276554e2a599",
   "metadata": {},
   "outputs": [],
   "source": [
    "sns.scatterplot(data=data, x=\"distance\", y=\"velocity\")\n",
    "\n",
    "sns.despine()\n",
    "\n",
    "plt.title(\"Relation between distance and velocity of stellar objects\")\n",
    "plt.xlabel(\"Distance (MPC)\")\n",
    "plt.ylabel(\"Velocity (km/s)\")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fbb20849-4a22-4870-940b-8067fd06e548",
   "metadata": {},
   "source": [
    "Euh… rien de bien concluant à première vue, non ? Afin de déterminer visuellement s’il existe bien une relation linéaire entre la distance et la vitesse d’éloignement, affichez une droite de régression :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "125c4241-faf9-4209-b8c6-cfc2c1b07105",
   "metadata": {},
   "outputs": [],
   "source": [
    "# your code here"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aa3c4eeb-5ce4-44f2-9403-9d50a9e425e9",
   "metadata": {},
   "source": [
    "Bon, appelez BFM TV, Wendy s’est trompée : 2/3 des points sont en dehors de l’intervalle de confiance à 95 %. Ou alors, peut-être avons-nous fait une erreur de méthodologie ?"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "220410a9-d71d-4d16-b724-1f31539ed987",
   "metadata": {
    "tags": []
   },
   "source": [
    "## Une étude de genre"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cfc33885-ca65-4f89-8eac-04d519b8c6ab",
   "metadata": {},
   "source": [
    "L’enquête [*Self-Reports of Height and Weight*](../0.about-datasets.ipynb#Self-Reports-of-Height-and-Weight) (Davis, 1990) compare une auto-évaluation de leurs tailles et poids d’individus engagés dans un programme d’exercices avec les mesures réalisées par l’équipe encadrante.\n",
    "\n",
    "Imaginons un objectif où, en fonction des valeurs renseignées, on souhaiterait déduire l’étiquette *H* ou *F* qui leur est associée. Chargeons dans un premier temps les données et affichons un résumé :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2f7609ab-f6d7-459a-bdea-cfab3f255332",
   "metadata": {},
   "outputs": [],
   "source": [
    "# load data\n",
    "df = pd.read_csv(\"../files/davis.csv\", sep=\"\\t\")\n",
    "\n",
    "# select variables\n",
    "target = \"sex\"\n",
    "features = [\"weight\", \"height\", \"repwt\", \"repht\"]\n",
    "\n",
    "# a copy of the data frame\n",
    "data = df.copy()\n",
    "data = data[[target] + features]\n",
    "\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3479ed2-ec29-4a05-9554-1691a59f3e4d",
   "metadata": {},
   "source": [
    "Le jeu de données est composée de 200 observations mais comme toutes ne sont pas remplies pour tous les champs, il convient dans un premier temps de s’en occuper. Nous retenons comme stratégie de les combler avec la valeur moyenne de la colonne :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "638eaa6f-d30a-45f3-b888-d727eb00ef53",
   "metadata": {},
   "outputs": [],
   "source": [
    "# mean value\n",
    "repwt_mean = int(data.repwt.mean())\n",
    "repht_mean = int(data.repht.mean())\n",
    "\n",
    "# fill NA\n",
    "data.repwt.fillna(repwt_mean, inplace=True)\n",
    "data.repht.fillna(repht_mean, inplace=True)\n",
    "\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ee52c74a-9e9d-4998-99f6-f370419a7926",
   "metadata": {},
   "source": [
    "La seconde étape consiste à séparer le *dataset* en deux parties inégales : l’une pour le jeu d’entraînement, constituée de 80 % de l’ensemble ; et l’autre pour le jeu de test."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cece0234-c72c-4f7f-a0db-4805e0f98f0f",
   "metadata": {},
   "outputs": [],
   "source": [
    "limit = int(len(data) * 0.2)\n",
    "\n",
    "# split\n",
    "train = data[limit:]\n",
    "test = data[:limit]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f3d0c802-2b5f-48bf-a34c-65ad0b30520b",
   "metadata": {},
   "source": [
    "Attachons-nous à étudier le rapport entre le poids et la taille des individus. Intuitivement, on penserait que ces caractéristiques sont globalement liées par une corrélation positive : l’augmentation chez l’une entraîne une augmentation chez l’autre. Si nous affichons une droite de régression sur le jeu de données complet, on observe bien le phénomène attendu :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "312afd57-af0f-4e38-9154-a05c0402715e",
   "metadata": {},
   "outputs": [],
   "source": [
    "_ = sns.regplot(data=data, x=\"weight\", y=\"height\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "84c8a544-351b-4b47-89ba-abfb9f1f031e",
   "metadata": {},
   "source": [
    "Pour autant, il n’en va pas de même avec les jeux d’entraînement et de test :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cdc0d499-1ee3-4740-9c9d-2d3b4b0b5f90",
   "metadata": {},
   "outputs": [],
   "source": [
    "figure, (col_1, col_2)= plt.subplots(ncols=2, figsize=(12,4))\n",
    "\n",
    "sns.regplot(data=train, x=\"weight\", y=\"height\", ax=col_1)\n",
    "sns.regplot(data=test, x=\"weight\", y=\"height\", ax=col_2)\n",
    "\n",
    "figure.suptitle(\"Relation entre le poids et la taille des individus\", y=1.05)\n",
    "\n",
    "col_1.set(title=\"Jeu d’entraînement\")\n",
    "col_2.set(title=\"Jeu de test\")\n",
    "\n",
    "sns.despine()\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c500a2fa-07c5-45f4-a8c7-548abd3d0c9e",
   "metadata": {},
   "source": [
    "À votre avis, quelles erreurs peuvent avoir faussé notre interprétation ?"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}