Elastic Stack : Elasticsearch, Logstash et Kibana

Modélisation d'indexation et stratégies de recherche distribuée
‍

Contexte :
‍

Vous occupez un poste de Data Engineer au sein de l'équipe Observabilité d'une plateforme de commerce électronique. L'entreprise fait face à une augmentation massive de ses données de catalogue de produits et de logs de recherche, entraînant des lenteurs lors des requêtes d'utilisateurs en ligne. Le modèle de stockage actuel traite les données comme du texte brut non structuré. Votre direction technique vous confie la modélisation de la structure d'indexation afin d'optimiser l'organisation interne du moteur de recherche distribué et de garantir des réponses en temps réel.

Votre mission est de :

• analyser la structure des données brutes au format JSON pour concevoir un schéma de correspondance (mapping) optimisé, en typant de manière stricte chaque champ (numérique, mot-clé, plein texte)
• configurer des analyseurs lexicaux sur mesure (gestion des minuscules, suppression des mots vides, troncature) pour adapter la pertinence du moteur aux recherches des utilisateurs
• développer des requêtes de recherche complexes combinant des filtres stricts, des critères de pertinence flous et des pondérations de champs spécifiques
• implémenter une stratégie d'agrégation imbriquée afin de calculer simultanément des statistiques métiers (prix moyen, répartition par catégorie) sur le résultat de la recherche
• ajuster les paramètres de distribution des données (fragments principaux et répliques) sur un environnement simulé pour valider la tolérance aux pannes du cluster

Compétences

À l’issue de la formation, le stagiaire sera capable d’indexer, transformer et visualiser des données.

Durée

2 jours.

Tarifs

Tarif inter-entreprises : 1 440 € / participant

Tarif intra-entreprise : sur demande

Publics

Data engineers, DevOps, analystes

Connaissances en bases de données et JSON.

- Indexer et rechercher des données avec Elasticsearch.

- Créer des pipelines ETL avec Logstash.

- Visualiser et analyser les données avec Kibana

Vous avez 0,5 jour pour réaliser ce travail de modélisation et d'optimisation de la recherche distribuée. Vous réaliserez ce travail en binôme. L'entraide entre les différents groupes est bienvenue.

Modalités d'évaluation

• votre responsable technique (formateur) validera en binôme la pertinence de votre schéma d'indexation et la précision de vos requêtes de recherche.
• votre responsable technique animera une review collective de la structure de correspondance (mapping) à partir d'un des livrables du groupe, tiré au hasard.
  ‍

Critères d'évaluation

• La structure de stockage est optimisée : les types de données sont correctement attribués, évitant le typage dynamique automatique et la surconsommation de mémoire.
• La recherche est précise : les requêtes retournent les documents pertinents avec un score de correspondance logique correspondant aux attentes du cahier des charges.
• Les agrégations sont exactes : les indicateurs statistiques calculés reflètent fidèlement l'état des données indexées sans altérer les temps de réponse.
  ‍

Livrables

• le fichier de configuration de l'index (.json) contenant la définition explicite de la structure des champs et des analyseurs personnalisés
• le script de requêtage (.json ou .txt) listant les requêtes de recherche et d'agrégation exécutées sur le moteur de recherche distribué

‍

Si vous êtes en situation de handicap, il est possible de mettre en place des aménagements.

Prochaine session le 14 Décembre 2026.