.webp){kind=logo}
Cette formation intensive permet aux data scientists de maîtriser l’automatisation de la création, de l’évaluation et du déploiement de modèles de Machine Learning avec H2O.ai.
Tensor, DataLoader, Autograd, Module, Optimizer.
Diagnostiquer et optimiser une architecture de Deep Learning instable
Contexte :
Vous venez d'intégrer l'équipe R&D d'une scale-up spécialisée dans l'imagerie médicale en tant qu'AI Engineer. Un modèle PyTorch développé par un prestataire externe montre des signes d'instabilité majeurs lors des entraînements : le gradient s'annule ou explose de manière imprévisible, et le modèle souffre d'un surapprentissage massif sur les données de validation, empêchant sa certification technique.
Votre mission est de :
- Instrumenter le code PyTorch existant avec un outil de tracking (TensorBoard) pour visualiser l'évolution des gradients et des courbes de perte.
- Identifier l'origine de l'instabilité et implémenter des techniques de normalisation (Batch Normalization ou Layer Normalization) ainsi que du Gradient Clipping.
- Intégrer des mécanismes de régularisation (Dropout, Weight Decay) au niveau de l'optimiseur pour endiguer le surapprentissage.
- Ajuster la dynamique de l'entraînement en mettant en place un planificateur de taux d'apprentissage (Learning Rate Scheduler).
- Comparer les métriques avant/après optimisation et valider la stabilisation complète du réseau.
Modalités pédagogiques :
Vous avez 1 jour pour réaliser ce travail d'optimisation et de débogage. Vous réaliserez ce travail en individuel. L'entraide est bienvenue.
Modalités d'évaluation :
- Votre responsable technique validera en individuel la disparition des anomalies de gradients et l'amélioration de la courbe de généralisation.
- Votre responsable technique (formateur) animera une review collective des stratégies d'optimisation adoptées à partir d'un des livrables du groupe, tiré au hasard.
Critères d'évaluation :
- L'infrastructure de logging fonctionne correctement : les courbes de perte (train/val) et les histogrammes de gradients sont visibles et interprétables.
- Le problème d'instabilité des gradients est résolu de manière structurelle dans le code PyTorch. - Le surapprentissage est significativement réduit, prouvé par le rapprochement des courbes de performance de train et de validation.
Livrables :
- Le script Python ou Notebook contenant le modèle PyTorch corrigé, commenté et optimisé. - Les captures d'écran du dashboard de tracking illustrant la stabilisation des métriques et des gradients au fil des époques.
✓ Construire des réseaux de neurones
✓ Entraîner et évaluer des modèles
✓ Optimiser et déboguer les architectures
✓ Déployer des modèles DL
3 jours
Tarif intra-entreprise : sur demande
Data scientists, analystes avancés.
Connaissances en ML de base et Python/R.
70% pratique
Cas d’usage professionnels
Ateliers pratiques
Si vous êtes en situation de handicap, il est possible de mettre en place des aménagements
