Senior Databricks-consultant

We ondersteunen een grootschalig transformatieprogramma voor financiële systemen en zijn op zoek naar een Senior Databricks-ingenieur Je helpt bij het bouwen en verbeteren van een schaalbaar data-engineering framework dat wordt gebruikt in cruciale rapportageprocessen. Je fungeert als senior, hands-on engineer en geeft vorm aan herbruikbare libraries, optimaliseert PySpark pipelines en begeleidt offshore developers bij het leveren van hoogwaardige, productieklare code.

Je werkt aan de lagen voor data-invoer, validatie, transformatie en mapping binnen een Databricks-op-Azure-omgeving. Je helpt bij het vaststellen van consistente engineeringpatronen en zorgt ervoor dat alle opleveringen voldoen aan hoge eisen op het gebied van prestaties, traceerbaarheid en onderhoudbaarheid.

Wat je zou doen:

• Bouwen en uitbreiden herbruikbare Databricks/PySpark-bibliotheken (opname, validatie, transformatie, mapping).

• Het ontwikkelen van schaalbare, geoptimaliseerde PySpark-pipelines afgestemd op metadata-gestuurde of hybride datamodellen.

• Uitvoering robuuste validatie- en controlelogica geschikt voor gereguleerde financiële omgevingen.

• Toonaangevende technische kwaliteit: code beoordelingenHet begeleiden van offshore teams en het waarborgen van standaarden op het gebied van leesbaarheid, testen en prestaties.

• Ondersteuning bieden bij integratieprocessen met downstream rapportagesystemen en het beheren van retourfeeds.

• Het opstellen van duidelijke documentatie, handleidingen en ontwikkelaarsgidsen.

• Ruime praktijkervaring met Databricks en PySpark (optimalisatie, partitionering, orkestratie).

• Solid Azure-dataplatform ervaring.

• Bewezen vermogen om te bouwen herbruikbare frameworks/bibliotheken met heldere abstracties.

• Ervaring met het begeleiden of aansturen van een team offshore engineering teams.

• Comfortabel kunnen werken met veranderende eisen, met behoud van een sterke technische discipline.

• Bonus: blootstelling aan financiële of wettelijke rapportage, Tagetikof metadata-gestuurde/EAV-modellen.