Apprentissage et régression

De nombreux problèmes rencontrés dans diverses disciplines scientifiques peuvent se traduire sous la forme d'un problème d'ajustement d'un modèle paramétrique à des données observées. Ce cours d'apprentissage par moindres carrés, en complément du cours d'estimation, cherche à proposer des solutions efficaces à cette problématique classique. Pour atteindre cet objectif, cet enseignement couvrira les thématiques suivantes :

• description du problème d'apprentissage à partir de données à l'aide de la norme Euclidienne et de la solution par moindres carrés linéaires (rappel du cours d'estimation),
• implémentation de la solution des moindres carrés linéaires à l'aide de la décomposition en valeurs singulières,
• introduction de la régularisation de Tikhonov en présence de matrices mal conditionnées,
• étude des moindres carrés linéaires sous contraintes égalités, des moindres carrés pondérés et des moindres carrés sous déterminés,
• généralisation au cas des moindres carrés non linéaires et présentation de l'algorithme d'optimisation de type Levenberg Marquardt,
• analyse statistique des moindres carrés linéaires et non linéaires en présence d'erreur de mesure de type bruit blanc à moyenne nulle,
• estimation et intervalles de confiance.

• Maîtriser les outils d'algèbre linéaire standards tels que la décomposition en valeurs singulières,
• Savoir régler un paramètre de pénalisation par validation croisée,
• Savoir différencier un problème de type moindres carrés linéaire et non linéaire,
• Savoir résoudre un problème de moindres carrés non linéaires à l'aide de l'algorithme de Levenberg Marquardt,
• Savoir caractériser puis générer un bruit blanc de moyenne nulle et de variance finie,
• Savoir estimer des paramètres de modèles simples avec intervalle de confiance.