Senior data-engineer

• Senior data-engineer
• Locatie – Londen
• Hybride – 3 dagen op kantoor
• SC-veiligheidsmachtiging – ESSENTIEEL
• Tarief 550-600 per dag
• Ervaring – 8+ jaar

We zijn op zoek naar een Zeer bekwame en ervaren SC-gecertificeerde senior data engineer om bij onze klant aan de slag te gaan en een sleutelrol te spelen in de ontwikkeling en het onderhoud van hun Azure Databricks-platform voor economische gegevensDit platform vormt de basis voor cruciale Monetaire analyse, prognoses en modellering activiteiten, waardoor deze functie essentieel is voor hun missie.

Belangrijkste verantwoordelijkheden

Ontwikkeling en optimalisatie van datapijplijnen

• Ontwerpen, ontwikkelen en onderhouden robuuste, schaalbare datapijplijnen voor het importeren, transformeren en laden van data uit diverse bronnen (API's, databases, financiële data-aanbieders) in Azure Databricks.
• Optimaliseer pijplijnen voor prestatie, efficiëntie en kosteneffectiviteit.
• Implementeren regels voor gegevenskwaliteitscontroles en validatie binnen pijpleidingen.

Gegevenstransformatie en -verwerking

• Voer complexe transformaties uit met behulp van Spark (PySpark of Scala) en aanverwante technologieën.
• Ontwikkel logica voor Gegevens opschonen, verrijken en aggregeren.
• Verzekeren consistentie en nauwkeurigheid van de gegevens gedurende de gehele levenscyclus.

Azure Databricks-implementatie

• Werk intensief samen met Unity Catalog, Delta Lake, Spark SQLen andere Databricks-diensten.
• Toepassen beste werkwijzen voor ontwikkeling en implementatie.
• Optimaliseer de werkbelasting voor prestaties en kosten.
• Programma in SQL, Python, R, YAML en JavaScript.

Gegevens integratie

• Integreer gegevens van relationele databases, API's en streamingbronnen.
• Implementeren Patronen en best practices voor data-integratie.
• Werk samen met API-ontwikkelaars voor een naadloze gegevensuitwisseling.

Gegevenskwaliteit en -beheer

• Praktijkervaring met Azure Purview voor bestuur en kwaliteit.
• Implementeren monitoring, waarschuwingen, herkomsttracering en metadata-beheer.
• Zorg voor naleving van Beleid en normen voor gegevensbeheer.

Samenwerking & Communicatie

• Werk nauw samen met datawetenschappers, economen en technische teams Het vertalen van eisen naar oplossingen.
• Technische concepten communiceren aan technisch en niet-technisch publiek.
• Doe mee aan codebeoordelingen en kennisdelingssessies.

Automatisering en DevOps

• Automatiseren pipeline-implementaties en data-engineeringtaken.
• Bouw CI / CD-pijpleidingen met DevOps-teams.
• Bevorderen en implementeren DevOps-best practices.

Essentiële vaardigheden en ervaring

• 10 + jaar in data-engineering, met Meer dan 3 jaar praktijkervaring met Azure Databricks. ervaring.
• Sterke vaardigheid in Python en Spark (PySpark of Scala).
• Diep begrip van Patronen voor datawarehousing, -modellering en -integratie.
• Uitgebreide ervaring met Azure-services (Data Factory, Blob Storage, SQL-database).
• Expertise in grote datasets en complexe pipelines.
• Onze partners Ervaring met Databricks-implementaties en bijbehorende certificeringen..
• Vaardig in SQL- en NoSQL-databases.
• ervaring met datakwaliteit, governance en versiebeheer (Git).
• Bekendheid met Agile methodologieën.
• Uitstekend communicatie- en probleemoplossingsvaardigheden.
• ervaring met streamingtechnologieën (Kafka, Azure Event Hubs).
• Kennis van visualisatietools (Tableau, PowerBI).
• ervaring met DevOps-tools (Azure DevOps, Jenkins, Docker, Kubernetes).
• Achtergrond in financiële dienstverlening of economische dataomgevingen.
• Relevant Azure-certificeringen (bijv. Azure Data Engineer Associate).