Apprentissage Automatique

Cours : 21h / BE : 12h / Examen : 1 EE / 2,5 ECTS

Michel Ianotto, Hervé Frezza-Buet

Ce cours présente les principales méthodes utilisées dans le cadre de l'apprentissage automatique. L'apprentissage automatique vient en complément des techniques du traitement du signal, lors de la mise en oeuvre d'un système qui opère sur des données numériques. Le traitement du signal permet d'extraire des caractéristiques des signaux provenant du monde, et l'apprentissage, abordé ici, permet de prendre des décisions à partir de ces caractéristiques en laissant le système construire cette décision.
A l'issue de ce cours, l'élève saura choisir une des méthodes actuelles d'apprentissage numérique face à un problème industriel spécifique (réseaux de neurones, machine à vecteurs supports, cartes auto-organisatrice) et l'adapter, faire ce choix en fonction des propriétés et des limitations des techniques disponibles, dans les domaines de la classification, de la régression, de l'analyse de distribution et du contrôle optimal et enfin évaluer les performances maximum d'un système d'apprentissage sur une tâche donnée en termes de risque de sur-apprentissage, de risque empirique et de risque réel.

Théorie de l'apprentissage statistique

Risque réel et risque empirique. Principes d'induction. Minimisation du risque empirique. Minimisation du risque structurel. Bornes, apprentissage PAC, dimension VC d'un espace d'hypothèse. Validation croisée.

Machines à vecteurs supports (SVM)

Classification : définition des marges puis position du problème d'optimisation, résolution Lagrangienne : problème dual, principe de résolution SMO. Régression : position d'un autre type de problème d'optimisation, notion de epsilon-loss. Autres SVM. L'utilisation des Noyaux : propriété de Mercer et règles de construction, noyaux gaussiens et polynomiaux, noyaux pour le texte, noyaux pour les données structurées, bornes du risque réel.

Réseaux de neurones à couches

Perceptron monocouche. Perceptron multicouches (back-propagation + gradients conjugués, etc.). Optimal Brain Dammage, OWE. Régularisation. Réseaux RBF.

Quantification vectorielle

La notion d'apprentissage non supervisé désigne les cas d'apprentissage sans consigne externe (sans oracle), pour lesquels l'apprentissage revient à décrire les données. Seront abordées les méthodes de quantification vectorielle à base de réseaux de neurones (cartes auto-organisatrices, réseaux incrémentaux).

Méthode de classification ascendante hiérarchique

Principe. Distance entre groupes. Algorithmes de classification.

Analyse en composantes principales

Notations. Recherche des axes principaux. Inertie expliquée par les axes. Exemples d'application.

Applications

Exemples d'applications.

Bibliographie :
"Apprentissage artificiel, concepts et algorithmes", Antoine Cornuéjols, Laurent Miclet et Yves Kodratoff, Eyrolles, 2002.
"Neural Network for Pattern Recognition", Christopher M. Bishop, Oxford University Press, 1995.
"An Introduction to Support Vector Machines and other kernel-based learning methods", Nello Christianni and John Shawe-Taylor, Cambridge University Press, 2000.