00 Portail de mission
MichelFernandy Data Engineer
Faire circuler une donnée traçable de la source jusqu’à la décision.
Python Kafka Spark Airflow MinIO PostgreSQL 5 familles de sources3 zones RAW · CURATED · DATAMART865 réponses IA évaluées
01 Expérience & preuves
La donnée doit servir une action. En banque, j’ai construit des tableaux de bord de suivi. Sur SIRIUS, j’ai travaillé sur une chaîne complète, de sources publiques jusqu’à la BI.
2 contextes banque + ingénierie
Objets à explorer · 3Cliquez un objet dans la scène ou dans la liste.
01 Power BI banque 02 Données SIRH 03 Sources publiques
Power BI banque Contribution professionnelle · Crédit Coopératif Construction de tableaux de bord Power BI et automatisation de contrôles/workflows avec Power Automate. Des indicateurs plus visibles pour les équipes.
Données SIRH Contribution professionnelle · Crédit Coopératif Préservation des règles métier et sécurisation de la fiabilité des données transmises. Une migration web sans perdre le sens fonctionnel de la donnée.
Sources publiques Projet d’ingénierie · équipe de 3 Collecteurs Python pour Bluesky, Nostr, Hacker News, RSS et Stack Overflow. Cinq familles de sources normalisées vers l’ingestion. 02 Interaction globale
Suivez ma donnée. Lancez un événement. À chaque zone, la scène révèle ce que j’ai mis en place et pourquoi cette étape existe.
6 étapes de la source à la BI
Objets à explorer · 6Cliquez un objet dans la scène ou dans la liste.
01 Collecter 02 Kafka + Redis 03 MinIO RAW 04 Spark + Airflow 05 Servir 06 Visualiser
Collecter Projet d’ingénierie · équipe de 3 Développement de collecteurs Python et normalisation des événements. Un format d’entrée cohérent avant ingestion.
Kafka + Redis Projet d’ingénierie · équipe de 3 Publication Kafka et déduplication avec Redis. Un flux asynchrone plus robuste aux répétitions.
MinIO RAW Projet d’ingénierie · équipe de 3 Stockage des données brutes dans MinIO au format JSONL. Une source conservée avant transformation.
Spark + Airflow Projet d’ingénierie · équipe de 3 Airflow pour l’orchestration et Spark pour les transformations vers Parquet. Des traitements ordonnés et une zone curée exploitable.
Servir Projet d’ingénierie · équipe de 3 Staging ClickHouse puis datamart PostgreSQL. Une couche structurée adaptée à la restitution.
Visualiser Projet d’ingénierie · équipe de 3 Restitution avec Streamlit, Superset et Power BI. Exploration et tableaux de bord sur les données préparées. 03 Architecture Data SIRIUS
Trois zones, une lignée. Le pipeline sépare conservation brute, transformation contrôlée et exposition analytique.
RAW → CURATED → DATAMART pipeline documenté
Objets à explorer · 4Cliquez un objet dans la scène ou dans la liste.
01 RAW 02 CURATED 03 DATAMART 04 Décision
RAW Projet d’ingénierie · équipe de 3 MinIO et fichiers JSONL bruts. Rejouabilité et traçabilité de la source.
CURATED Projet d’ingénierie · équipe de 3 Jobs Spark orchestrés par Airflow, sortie Parquet. Une couche prête pour les usages analytiques.
DATAMART Projet d’ingénierie · équipe de 3 Modélisation et exposition dans PostgreSQL. Une base interrogeable par les outils de restitution.
Décision Projet d’ingénierie · équipe de 3 Dashboards Streamlit, Superset et Power BI. La chaîne aboutit à une lecture, pas seulement à un stockage. 04 Incident S4 & expérimentation
Quand Kafka se tait, où regarder ? Le scénario S4 suit la chaîne producteur–topic–consommateur. Le mémoire prolonge cette rigueur par une campagne où les erreurs ne sont pas masquées.
900 / 865 / 35 prévus · exploitables · erreurs
Objets à explorer · 4Cliquez un objet dans la scène ou dans la liste.
01 Chaîne Kafka 02 Qualité 03 Évaluer 04 Décider
Chaîne Kafka Réalisation personnelle Vérification producteur, topics, consumer lag et logs avant diagnostic. Localiser le point de rupture au lieu de conclure trop tôt.
Qualité Réalisation personnelle 35 erreurs ou sorties vides conservées avec un score nul. Une mesure de fiabilité non embellie.
Évaluer Réalisation personnelle Notation qualité, preuves, stabilité, latence, tokens et hallucinations. Une décision fondée sur plusieurs dimensions.
Décider Réalisation personnelle Comparaison LLM, RAG et agent sur deux modèles. RAG par défaut, agent en escalade sélective. 05 Au-delà du pipeline
Mesurer sans perdre le sens. Les mathématiques, le tutorat et les échecs renforcent ma rigueur analytique — mais aussi ma capacité à expliquer.
Objets à explorer · 3Cliquez un objet dans la scène ou dans la liste.
01 Transmettre 02 Anticiper 03 Relier
Transmettre Réalisation personnelle Adapter une explication au niveau, aux blocages et au rythme de chaque élève. Huit élèves accompagnés et une pratique régulière de la pédagogie.
Anticiper Réalisation personnelle Organiser, animer et transmettre les responsabilités après le diplôme. Les échecs renforcent ma lecture de séquences, de conséquences et de compromis.
Relier Contribution professionnelle · Crédit Coopératif Documenter les décisions, rendre l’avancement compréhensible et partager les risques. Une double culture BUILD/RUN et un langage commun entre acteurs. 06 Prochaine mission
Faisons circuler une donnée que l’on peut expliquer. Cette route privilégie ingestion, orchestration, qualité, datamart et BI ; son CV est construit pour un poste Data.
Explorer une autre trajectoire
Ingénieur DevOps / Production OPS Ingénieur Cloud & Platform Ingénieur Software / Full Stack