Apprentissage Profond Multimodal (APM) - KATI9M05

Objectif(s)

• Comprendre les fondements de l'apprentissage profond appliqués aux données de santé hétérogènes
• Concevoir et entraîner des modèles de deep learning pour données tabulaires
• Appliquer des architectures de traitement du langage naturel (NLP) aux textes médicaux (comptes-rendus, ordonnances, notes cliniques)
• Implémenter des modèles de fusion multimodale combinant images médicales et données tabulaires

Contenu(s)

Introduction et fondamentaux
- Panorama des données de santé : types, sources, défis
- Spécificités des données médicales
- Rappels deep learning

Deep Learning pour données tabulaires
- Architectures adaptées aux données tabulaires : MLP avec embeddings / TabNet

Deep Learning pour données textuelles médicales
- Représentations textuelles, Architecture Transformer et mécanisme d'attention

• Fusion Multimodale : Images + Données Tabulaires
  - Principes de la fusion multimodale : early, late, intermediate fusion
  - Stratégies de fusion : Concaténation de features...

Bases du machine learning
Bases de programmation

Contrôle des connaissances

40% contrôle continu
60% examen terminal :

• rapport sur un mini projet (8h) sous la forme d'un article scientifique (en groupe)
• 20 minutes soutenance sur ce mini projet (en groupe)
  En cas de non validation d’une UE, le jury peut autoriser l’élève ingénieur à passer des épreuves complémentaires pour la valider.

Calendrier

Le cours est programmé dans ces filières :

• Formations d'ingénieur - TIS - Semestre 9

Informations complémentaires

Code de l'enseignement : KATI9M05
Langue(s) d'enseignement :

Vous pouvez retrouver ce cours dans la liste de tous les cours.

Bibliographie

Vaswani et al. (2017) — Attention Is All You Need
Goodfellow et al. — Deep Learning, MIT Press