Data-engineer (Databricks-specialist)

Wij zijn op zoek naar een ervaren Databricks-specialist Je ontwerpt, bouwt en optimaliseert schaalbare datapijplijnen. Je werkt nauw samen met business- en analytics-teams om hoogwaardige, betrouwbare en goed beheerde dataoplossingen te leveren, terwijl je moderne DataOps-praktijken promoot. Deze functie is op afstand, maar je moet wel in het Verenigd Koninkrijk gevestigd zijn.

Belangrijkste verantwoordelijkheden

• Bouwen en onderhouden Op Databricks gebaseerde datapijplijnen (PySpark, Delta Lake, SQL).

• Integreer gegevens uit API's, databases en bestandssystemen.

• Werk samen met belanghebbenden om de eisen te vertalen naar technische oplossingen.

• Verzekeren datakwaliteit, betrouwbaarheid, beveiliging en governance.

• Implementeren GitCI/CD, geautomatiseerd testen en IaC.

• Optimaliseer Databricks-taken, -clusters en -workflows.

• Documenteer processen en beste werkwijzen.

Benodigde vaardigheden

• Sterke ervaring met Databricks, PySpark, Delta meeren SQL.

• Geavanceerd Python en SQL voor datatransformatie.

• Solide begrip van ETL/ELT, datawarehousing en gedistribueerde verwerking.

• Praktische ervaring met DataOps: Git, CI/CD, testen, IaC.

• ervaring met AWS, Azure of GCP.

• Sterke vaardigheden op het gebied van probleemoplossing en prestatieoptimalisatie.

De ideale kandidaat zal:

• Zelfstandig werkende aannemer die comfortabel is met het nemen van technische beslissingen.

• Sterke communicator die goed samenwerkt met business- en analytics-teams.

• Resultaatgericht, pragmatisch en ervaren in dynamische omgevingen.