Fondements Théoriques de l'apprentissage profond

• Formation: Master 2, MVA


• Lieu: distanciel ou ENS Paris Saclay


• Descriptif détaillé (pdf)


• références de tutoriels


• Transparents décrivant le cours superficiellement (pdf)


• Intervenants :
  • Sébastien Gerchinovitz
  • François Malgouyres
  • Edouard Pauwels
  • Nicolas Thome


• Contenu :
  • Modélisation des réseaux de neurones
  • Estimation du risque
  • Optimisation non-convexe
  • Propriétés du paysage de la fonction objectif
  • Conditions de stabilités du minimiseur de la fonction objectif
  • Expressivité
  • Contrôle de l'erreur de généralisation
  • Quantification d'incertitude
  • Robustesse



• Supports des cours (2024-2025):
  • François Malgouyes : Support annoté de la séance 1 , enregistrement du cours 1, supports des séance 1, 2, 3 , Preuve des résultats sur les réseaux linéaires.
    Introduction : - Généralités sur la classification et la régression; Généralités sur les Réseaux de neurones; B-A-BA sur la prédiction faite par le réseau et sur les propriétés de la fonction coût; la retro-propagation; Paysage de la fonction objectif: introduction; cas des réseaux larges; cas des réseaux linéaires (non vu en cours).
    
    
  • Edouard Pauwels : Transparents
    Non-smooth, nonconvex optimization, implications for deep-learning.
    
    
  • Sébastien Gerchinovitz : Transparents 1 et Transparents 2, compléments 1, compléments 2, compléments 3
    Approximation et généralisation : Théorème d'universalité, vitesse d'approximation, borne VC et conséquences en deep learning, double descente.
    
    
  • Nicolas Thome : Transparents et TP
    Robustesse.