Data Engineer

Wij zoeken een ervaren Senior data-engineer ter ondersteuning van de levering van cloudgebaseerde data- en analyseoplossingen. De succesvolle kandidaat zal blijk geven van sterke technische vaardigheden op diverse gebieden. Microsoft Azure, Databricksen opkomende AI-ondersteunde tools zoals Databricks Genie.

Belangrijkste verantwoordelijkheden

• Ontwerp en ontwikkel schaalbare datapijplijnen met behulp van Azuur en Databricks.

• Toepassen Databricks Genie Om de ontwikkelingsefficiëntie en de codekwaliteit te verbeteren.

• Implementeer ELT-processen die aansluiten bij de normen voor datamodellering, governance en beveiliging.

• Gegevens voorbereiden en omzetten naar verschillende formaten ter ondersteuning van analytische werkzaamheden.

• Draag bij aan het ontwerp en de werking van op Azure gebaseerde analyseplatformen.

• Werk samen binnen Agile-teams en zorg ervoor dat de beste engineeringpraktijken worden nageleefd.

Vereiste vaardigheden en ervaring

• Python/PySpark en SQL expertise.

• Onze partners Databricks ervaring, waaronder Delta Lake en Unity Catalog.

• Begrip van Databricks Genie en de toepassing ervan binnen technische werkprocessen.

• Sterke kennis van Azure-gegevensfabriek en gerelateerde Azure-gegevensservices.

• ervaring met Streamlit of een vergelijkbaar product gereedschap.

• Solide basiskennis van datamodellering, ELT-patronen, governance en beveiliging.

• Ervaring met het leveren van oplossingen met behulp van Azure DevOps en Agile-methodologieën.

• Achtergrond in het ontwerpen en beheren van analyseoplossingen op Microsoft Azure.