AI-data-engineer (RAG- en Lakehouse-specialist)

We werven namens een toonaangevend data-adviesbureau dat gespecialiseerd is in logistieke oplossingen voor het Duitse MKB. Help mee met het bouwen van betrouwbare AI-pipelines voor voorspellend onderhoud, optimalisatie van de toeleveringsketen en GenAI-applicaties die voldoen aan de EU-wetgeving inzake kunstmatige intelligentie.

Belangrijkste verantwoordelijkheden

Ontwerp en implementeer Retrieval-Augmented Generation (RAG)-pipelines om AI-illusies te elimineren door LLM's te baseren op bedrijfsdata. Implementeer vectordatabases en beheerde dataproducten met behulp van Unity Catalog, Delta Lake-vectoren en observatietools voor schaalbare, auditklare lakehouses op Azure Databricks.

Benodigde vaardigheden

• Aantoonbare ervaring met het bouwen van complete RAG-systemen: data chunking, embedding generation (Hugging Face), hybride zoekfunctionaliteit en orchestratie met LangChain/LlamaIndex.

• Expertise in vectordatabases (Pinecone, Weaviate of Databricks Vector Search) geïntegreerd met PySpark/SQL ETL-pipelines.

• Sterke governancevaardigheden: Unity Catalog-volumes, data-herkomst, kwaliteitscontroles (Great Expectations) en MLflow voor de implementatie van model-/dataproducten.

Kwalificaties

• Meer dan 3 jaar ervaring in data engineering, met een Databricks Certified Data Engineer Associate/Professional certificering.

• Vaardigheid in Python, Delta Live Tables, streaming (Kafka) en cloud (Azure/AWS).

• Ervaring in gereguleerde Duitse sectoren (productie, energie, financiën) is een pré.

Locatie en salaris

München (hybride). Contracttarief van €100 per uur.