Databricks SC-gecertificeerde data engineer

contract: Buiten IR35
Locatie: Gevestigd in het VK, hybride/remote werk
Opruiming: Actieve SC-veiligheidsmachtiging vereist (minimaal)
Begin: Juni
Dagtarief: Concurrerende markttarieven

Overzicht

Wij zoeken een contract Databricks Data Engineer voor een grootschalig programma van de Britse overheid Het leveren van cruciale, cloud-native dataplatformen. Dit is een langdurige samenwerking binnen een spraakmakende transformatie in de publieke sector, waarbij gewerkt wordt met gevoelige, bedrijfskritische data op nationaal niveau.

U moet al beschikken over actieve SC-goedkeuring te worden overwogen.

Verantwoordelijkheden

• Ontwerpen, bouwen en onderhouden Databricks-datapijplijnen gebruik Apache Spark (PySpark & ​​Spark SQL)
• Implementeren Delta Lake / Architectuur van huizen aan het meer (Brons, Zilver, Goud)
• Ontwikkel schaalbare ELT/ETL-workflows voor batch- en streaminggegevens
• Optimaliseer de prestaties, betrouwbaarheid en kosten van cloud-dataplatformen.
• Toepassen Gegevenskwaliteit, governance en beveiligingscontroles afgestemd op overheidsnormen
• Werk samen met architecten, analisten en platformteams in een agile ontwikkelomgeving.
• Bijdragen aan CI/CD-pipelines en geautomatiseerde testprocessen

Essentiële vaardigheden en ervaring

• Aantoonbare commerciële ervaring als een Data-engineer bij Databricks
• Zeer sterk PySpark en SQL bekwaamheid
• Praktische levering binnen AWS, Azure of GCP
• ervaring met Delta meer, data lakes en data warehouses
• Een goed begrip van gegevensmodellering en schaalbaar pijplijnontwerp
• ervaring met GitCI/CD en agile werkwijzen
• Actieve SC-beveiligingsmachtiging (verplicht)

Gewenste ervaring

• Vorige Britse overheids- of publieke sectorcontracten
• ervaring met Airflow, Azure Data Factory, AWS Glue of Kafka
• Blootstelling aan Sneeuwvlok of hybride data-architecturen
• Kennis van veilige, gereguleerde dataomgevingen