The Swiss engineering master's degree

L’apprentissage automatique ou Machine Learning (ML) est le fruit de l’intelligence artificielle et de la science informatique, et se définit comme une discipline universitaire visant à « donner aux ordinateurs la faculté d’apprendre sans avoir été explicitement programmés pour le faire ». (A. Samuel, 1959). A l’heure actuelle, l'apprentissage automatique est le moteur méthodologique des grandes tendances de fond de la digitalisation. Les experts en ML sont très recherchés aussi bien dans le milieu universitaire que dans le monde industriel.

Ce cours s’appuie sur des connaissances de base en mathématiques, programmation et analyses/statistiques telles qu’elles sont dispensées dans les différents cursus bachelor d’ingénieurs. Partant de là, il enseigne les bases des techniques modernes de l’apprentissage automatique par une méthode centrée sur la mise en pratique et l’application à des problèmes de la vie réelle. Le processus de création d’un système d’apprentissage est abordé dans sa globalité:

• formulation de la tâche à l’étude sous forme de problème d’apprentissage ;
• extraction de caractéristiques intéressantes à partir des données disponibles ;
• sélection et paramétrage d’un algorithme d’apprentissage convenant à la situation.

Les sujets abordés englobent des concepts transversaux tels que la conception et le débogage de système ML (comment interpréter les modèles appris et leurs résultats) ainsi que l’ingénierie des caractéristiques (feature engineering) ; les algorithmes abordés comprennent (parmi d’autres) les machines à vecteurs de support (Support Vector Machines) ainsi que les méthodes d’apprentissage ensemblistes.

Compétences préalables

• Mathématiques: calcul de base / algèbre linéaire / calcul des probabilités (c.-à-d. dérivées, multiplication de matrices, distribution normale)
• Statistiques: statistiques descriptives de base (c.-à-d. moyennes, variances et covariances, histogrammes, boîtes à moustaches)
• Programmation: bonne maîtrise d’un langage de programmation structuré (c.-à-d. Python, Matlab, R, Java, C, C++)
• Analyse: méthodes d’analyse des données élémentaires (prétraitement des données, régression linéaire & logistique)

Objectifs d'apprentissage

• Les étudiants connaissent le contexte et la taxonomie des méthodes d’apprentissage automatique ;
• Sur cette base, ils traduisent des problèmes donnés en tâches d’apprentissage et sélectionnent une méthode d’apprentissage adaptée;
• Les étudiants sont capables de convertir un set de données en un set de caractéristiques adapté à la tâche à l’étude ;
• Ils évaluent l’approche choisie de façon structurée en faisant appel à un design d’expérience adapté ;
• Les étudiants savent comment sélectionner des modèles, et «déboguer» des caractéristiques et des algorithmes d’apprentissage si les résultats ne répondent pas aux attentes ;
• Les étudiants sont capables d’utiliser les résultats d’évaluation pour optimiser les paramètres d’un système donné et maximiser ses performances ;
• Les étudiants ont pris connaissance d’exemples de différentes sources de données / types de problèmes et sont capables de consulter la littérature scientifique pour acquérir des connaissances spécialisées additionnelles.

Contenu des modules

• Introduction (ca. 2 semaines): convergence des participants ayant suivi diverses formations
• Apprentissage supervisé (ca. 7 semaines) : méthodes de modélisation à partir de données labellisées
  Sujets transversaux: feature engineering ; ensemble Learning ; débogage des systèmes ML
  Algorithmes: p. ex., kNN, arbre décisionel, SVM, apprentissage ensembliste, modèles graphiques (réseaux bayésiens), méthodes basées sur le gradient
  biais-variance : réglage des hyperparamètres, validation croisée, mesures de performance
• Apprentissage non supervisé (ca. 3 semaines) : méthodes de modélisation à partir de données non-labellisées
  Algorithmes: p.ex., algorithmes de regroupement, réduction de dimensionnalité, détection d’anomalie, analyse de prototype
• Chapitres spéciaux (ca. 2 semaines):
  Algorithmes: p.ex., apprentissage par renforcement, systèmes de recommandation, modèles de Markov / modèles de mélange gaussien

Méthodes d'enseignement et d'apprentissage

Cours en classe; exercices de programmation (p.ex., Python 3, Jupyter notebooks, Orange)

Bibliographie

• Aurélien Géron: "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow", Concepts, Tools, and Techniques to Build Intelligent Systems, O’Reilley Media, 2022
• T. Mitchell, “Machine Learning”, 1997
• C. M. Bishop, “Pattern Recognition and Machine Learning”, 2006
• Simon Rogers, Mark Girolami: “A First Course in Machine Learning”, ISBN-13: 978-0367574642, Chapman and Hall/CRC; 2. Edition, 2016
• G. James et al., “An Introduction to Statistical Learning”, 2014