Le perceptron
Ce TP consiste à implanter un perceptron en R et à faire quelques manipulations pour comprendre son fonctionnement.
Le perceptron et la règle d'apprentissage du perceptron
On va implanter l'algorithme d'apprentissage des poids d'un perceptron et l'appliquer à un exemple simple.
On va utiliser le jeu d'exemples disponible ici (jeu1).
Ce jeu contient 19 exemples, 10 de classe -1 (classe négative) et 9 de classe 1 (classe positive). Chaque donnée est décrite par deux attributs numériques.
- faites un graphique représentant ces données dans le plan, les négatifs par des points rouges, les positifs par des points verts.
Puisqu'il y a deux attributs (notés x et y), le perceptron aura trois poids : un pour x, un pour y et un pour le biais.
Ces poids seront dans un vecteur w avec w [1] associé à l'attribut x, w [2] associé à l'attribut y et w [3] associé au biais.
La sortie du perceptron sera -1 ou 1. Celle-ci est obtenue en prenant le signe de : w [1] . x + w [2] . y + w [3]. Soit a un nombre, sign(a) vaut -1 si a est strictement négatif, +1 si a est strictement positif, nul si a est nul.
Le principe de l'apprentissage des poids est le suivant :
- faire les initialisations nécessaires
- tant que le perceptron commet des erreurs de prédiction :
- prendre les exemples un par un, dans un ordre aléatoire et pour chacun :
- calculer la sortie du perceptron pour cet exemple
- calculer l'erreur de prédiction : e <- classe de l'exemple - prédiction
- corriger les poids par la règle d'apprentissage du perceptron.
- prendre les exemples un par un, dans un ordre aléatoire et pour chacun :
Les poids définissent une séparatrice dans le plan des données. Il est intéressant de suivre l'évolution de cette séparatrice au fil des itérations. Aussi est-il judicieux d'afficher à l'issue de chaque itération de la boucle tant-que les exemples et la séparatrice. Par exemple, on aurait la succession :
Quelques trucs pour que ça marche :
- les attributs doivent être projetés dans l'intervalle [0, 1]
- le taux d'apprentissage doit diminuer tranquillement. Par exemple, lors de la i-ième itération du tant-que, α peut valoir 1/sqrt(i).
Implantez la règle d'apprentissage du perceptron sur ce jeu d'exemples comme cela vient d'être décrit.
À chaque itération du tant-que, comptez le nombre d'exemples mal prédits. Stockez ces décomptes dans une liste que vous pourrez afficher ensuite pour voir comment ce nombre d'erreur diminue au fil de l'apprentissage.
Un jeu d'exemples un peu plus gros
Utilisez maintenant le jeu de données construit par la suite de commandes R :
jeu <- iris [, 3:5] jeu [, 3] <- c (rep (-1, 50), rep (1, 100))
qui se trouve dans le data.frame jeu.
Un autre jeu d'exemples
Maintenant, utilisez le jeu de données construit par la commande R :
jeu [, 3] <- c (rep (-1, 100), rep (1, 50))
qui se trouve donc dans le data.frame jeu.
- Que se passe-t-il ? Pourquoi ?
- Comment pourriez-vous modifier la règle d'apprentissage du perceptron pour prendre en compte cette situation ?
- Faites-le.
Encore, un autre jeu d'exemples
Maintenant, utilisez le jeu de données construit par la commande R :
jeu [, 3] <- c (rep (1, 50), rep (-1, 50), rep (1, 50))
qui se trouve donc dans le data.frame jeu.
- Que se passe-t-il ? Pourquoi ?
- Voyez-vous une solution à cette situation en modifiant la règle d'apprentissage du perceptron ?
- Si oui, faites-le. Si non, voyez-vous un autre type de solution ?