Data - Avancé

Apache Spark avancé : traitement Big Data

À l’issue de la formation, le stagiaire sera capable de traiter et optimiser de grands volumes de données.

Programme

  • Introduire les fondamentaux de la formation et la mise en place de la veille technologique
  • Réaliser le travail de veille #1 sur les moteurs natifs et le calcul GPU
  • Réaliser le travail de veille #2 sur l'observabilité cloud native
  • Concevoir des architectures distribuées et paralléliser les flux massifs
  • Optimiser l'allocation des ressources et résoudre les goulots d'étranglement réseau
  • Implémenter la télémétrie et diagnostiquer les pannes
  • Profiler les applications Big Data en production
  • Maîtriser l'abstraction de données distribuées et les graphes d'exécution acycliques
  • Appliquer l'évaluation paresseuse et le partitionnement logique de données
  • Gérer la distribution de charge et les transferts inter-nœuds
  • Configurer les stratégies d'allocation mémoire vive et d'optimisation des plans de requêtes
  • Appliquer les algorithmes de lissage des asymétries de données
  • Collecter les métriques d'exécution distribuée
  • Analyser les goulots d'étranglement physiques et les incohérences de distribution
  • Implémenter les stratégies de mise en cache et de persistance en mémoire
  • Formaliser et analyser les apprentissages réalisés
  • Objectifs pédagogiques

    ✓ Optimiser les traitements Spark.

    ✓ Utiliser les RDD et DataFrame efficacement.

    ✓Gérer les ressources et la parallélisation.

    ✓ Déboguer et profiler des applications Big Data.

    Durée et format

    3 jours

    Formation synchrone en téléprésentiel

    Tarifs

    Tarif inter-entreprises : 2 250 € / participant

    Tarif intra-entreprise : sur demande

    Publics

    Data engineers, data scientists.

    Pré-requis

    Connaissances en Python/Scala, SQL et Big Data.

    Modalités pédagogiques

    • Mises en situation et remédiation
    • Veille et analyse réflexive

    Modalités d'évaluation

    Ateliers pratiques

    Handicap

    Si vous êtes en situation de handicap, il est possible de mettre en place des aménagements.

    Sessions

    Prochaine session le 2 Décembre 2026.

    Cette formation vous intéresse ?
    Contactez-nous pour échanger sur votre projet de formation.

    ‍