Senior data-engineer

Senior data-engineer (Contract)
Locatie: Londen (Hybride)

We zoeken een ervaren Senior Data Engineer om leiding te geven aan het ontwerp en de implementatie van een cloudgebaseerd digitaal operationeel systeem ter ondersteuning van diverse grote infrastructuurprojecten. Deze rol is cruciaal voor de integratie van essentiële operationele technologieën in een uniform en robuust dataplatform.

Belangrijkste verantwoordelijkheden

• Ontwerp en implementeer een schaalbaar Azure-dataplatform dat ruwe operationele data omzet in gestructureerde, rapportageklare lagen.

• Ontwikkel dataverwerkingspipelines voor hoogfrequente tijdreeksen en IoT-achtige data afkomstig van essentiële infrastructuursystemen.

• Bouw en onderhoud clouddata-assets met behulp van Azure Databricks, Synapse en Data Lake-technologieën.

• Verwerk gegevens in realtime met behulp van Kafka, Event Hub en Spark Streaming.

• Stel databeheer, kwaliteitskaders en naleving van de regelgeving rondom persoonsgegevens en medische informatie vast en onderhoud deze.

• Werk samen met belanghebbenden om een ​​Power BI-hoofddashboard te ontwerpen en te implementeren met behulp van DAX en semantische modellering.

Vereiste vaardigheden en ervaring

• Ruime ervaring met Azure Databricks, Azure Data Factory, Synapse en Unity Catalog.

• Uitstekende beheersing van Python, PySpark en Spark SQL.

• Aantoonbare ervaring met hoogfrequente tijdreeksgegevens.

• Expertise in Star Schema-, Snowflake Schema- en Lakehouse-architectuur.

• Ervaring met Great Expectations, Grafana of vergelijkbare tools voor observability.

• Ervaring met CI/CD-pipelines met behulp van Azure DevOps of GitHub Actions is vereist.