Ingénieur de données principal

• Practice Data

• Location London, United Kingdom

Consultant en ingénierie des données (senior/responsable)
Présentation du poste
Nous recherchons un ingénieur Databricks doté d'un esprit pratique et ayant de l'expérience dans la mise en place de plateformes de données modernes sur Databricks. Ce poste nécessite au moins deux ans d'expérience récente avec Databricks (c'est-à-dire des projets actuels ou récents utilisant les fonctionnalités de la plateforme moderne).
Principales responsabilités

• Mise en œuvre technique des solutions « lakehouse » de Databricks, de l'ingestion jusqu'aux couches de diffusion optimisées.
• Définir et mettre en œuvre l'architecture Medallion (Bronze/Argent/Or) ainsi que des modèles d'ingénierie réutilisables.
• Mettez en place des pipelines d'ingestion évolutifs à l'aide d'AutoLoader, de Lakeflow Connect, de traitements par lots ou en continu, ainsi que de modèles incrémentiels.
• Développez des pipelines déclaratifs avec des critères d'attente (DLT) afin de garantir et de contrôler la qualité des données.
  Mettre en œuvre et exploiter Unity Catalog pour assurer la gouvernance, le contrôle d'accès, la traçabilité et la mise en place de modèles de partage sécurisé des données.
• Favoriser la qualité du code et l'excellence opérationnelle (approche CI/CD, stratégie de tests, surveillance, triage des incidents).
• Collaborez avec les architectes, les équipes chargées des plateformes et les parties prenantes afin d'assurer la conformité de la mise en œuvre avec les normes de l'entreprise.
• Accompagner les ingénieurs et servir de point de contact technique en cas d'escalade pendant la phase de livraison.

Expérience minimale (critères de filtrage)

• Une expérience pratique de Databricks acquise ces dernières années (par exemple, au cours des 2 à 3 dernières années), démontrant la maîtrise des fonctionnalités et des pratiques modernes de Databricks.
• Preuve d'une mise en pratique en situation réelle (et non d'une simple formation ou d'une expérience en laboratoire).

Indispensable (non négociable)

• Certification Databricks, au moins l'une des suivantes : Databricks Certified Data Engineer (niveau Associate ou Professional) OU Databricks Certified Machine Learning (niveau Associate ou Professional) OU Databricks Certified Generative AI Engineer (niveau Associate)
• Atelier pratique sur Unity Catalog :

Conception de métastores et de catalogues, subventions, traçabilité et modèles d'accès sécurisé.

• Pipelines déclaratifs avec attentes (DLT) :

Mise en place de pipelines, définition des attentes, gestion des défaillances et des mises en quarantaine, observabilité.

• Ingestion de données à l'aide des approches natives de Databricks :
• AutoLoader et/ou Lakeflow Connect, modèles d'ingestion en continu et incrémentielle.
• Mise en œuvre de Medallion Architecture et bonnes pratiques :
  Conception et mise en œuvre des niveaux Bronze/Argent/Or avec des choix pratiques (évolution du schéma, CDC/upserts, modèles SCD, stratégie de performances).

« Il aurait fallu »

• Une expérience avérée dans l'utilisation des dernières fonctionnalités de Databricks (le candidat doit être capable d'expliquer ce qu'il a utilisé récemment et pourquoi).
• Solides bases en ingénierie Databricks :
• Delta Lake (MERGE, application/évolution du schéma, OPTIMIZE/ZORDER, VACUUM)
• Workflows Databricks / orchestration des tâches
• PySpark/SQL en environnement de production
• Une compréhension claire de la fiabilité des pipelines :
  Observabilité, alertes, stratégies de relecture/rétroactif et guides opérationnels.

À avoir si possible

• Connecteurs d'ingestion Lakeflow (une expérience spécifique avec ces connecteurs serait un atout).
• Mise en œuvre du modèle RBAC et du masquage (sécurité au niveau des lignes, masquage des colonnes, traitement des données sensibles) à l'aide de Unity Catalog.
• L'IA générative sur Databricks : Mosaic AI, recherche vectorielle, mise à disposition de modèles, pipelines RAG, fonctions d'IA.
  Connaissances de base sur Lake ou expérience pratique.
• Optimisation de la charge de travail et des requêtes : utilisation de Photon, dimensionnement du cluster, atténuation des effets de « shuffle » et de « skew », stratégie de mise en cache, partitionnement, dimensionnement des fichiers.
• Maîtrise des coûts et contrôles : Comprendre les facteurs déterminants de la DBU, la différence entre les ressources de calcul dédiées à une tâche spécifique et les ressources polyvalentes, les politiques relatives aux clusters, la surveillance ainsi que les modèles de refacturation et de présentation des coûts.

• share
• 
• 
• 
•