Databricks Data Engineer (AI & Governance)

Ik werk samen met een klant die hun Databricks-platform opschaalt om AI- en GenAI-toepassingen te ondersteunen. Ze hebben mensen nodig die ervoor kunnen zorgen dat het platform vanaf het begin goed beheerd wordt. Het gaat hier om praktische Databricks-implementatie, niet alleen om certificeringen. Dit is een contract waarbij je in eerste instantie op afstand werkt, maar je moet wel in het Verenigd Koninkrijk gevestigd zijn. Deze functie valt buiten de IR35-regeling. 

Wat ze aan het bouwen zijn

• Unity Catalog als de centrale beheerslaag voor data, ML-modellen en AI-componenten.
• Gereguleerde GenAI- en agentworkloads met behulp van Mosaic AI en Agent Bricks
• Beveiligde, traceerbare AI-pipelines, van data-invoer tot modelimplementatie, allemaal binnen het Databricks-platform.

Ervaring met Databricks-projecten waar we naar op zoek zijn.

• Implementaties van Unity Catalog of migraties vanuit Hive metastore, inclusief metastore-ontwerp, catalogus- en schemastructuur en scheiding van werkruimtes en omgevingen.
• Gedetailleerde toegangscontrole in Unity Catalog: rijfilters, kolommaskers en op attributen gebaseerde toegangscontrole (ABAC) met beheerde tags.
• Unity Catalog-herkomst en systeemtabellen worden gebruikt voor auditing, gebruiksmonitoring en compliance-rapportage.
• Gegevensclassificatie en het labelen van gevoelige gegevens in Unity Catalog voor persoonsgegevens en gereguleerde datasets.
• Mosaic AI-modelserver en AI-gateway, inclusief toegangscontrole, snelheidsbeperking, beveiligingsmechanismen en gebruiksregistratie.
• Modellen in Unity Catalog via MLflow: registratie, versiebeheer, herkomst en machtigingen, plus MLflow-tracering en -evaluatie voor GenAI-toepassingen.
• Agent Bricks of het Mosaic AI Agent Framework in productie, met beheer over de gegevens en tools waartoe agents toegang hebben.
• Databricks Lakehouse Monitoring en verwachtingen ten aanzien van datakwaliteit in Lakeflow Spark Declarative Pipelines ter ondersteuning van AI-betrouwbaarheid
• Delta Sharing of Databricks Clean Rooms voor gecontroleerde gegevenssamenwerking
• Databricks Asset Bundles en CI/CD met governancebeleid ingebouwd in de implementatie.

Ideale achtergrond

• Praktische ervaring met Databricks-engineering of -architectuur op Azure, AWS of GCP.
• Levering in gereguleerde of risicogevoelige omgevingen zoals financiële dienstverlening, de publieke sector of de gezondheidszorg.
• Je moet kunnen uitleggen wat je in Databricks hebt gebouwd, welke governancebeslissingen je hebt genomen en waarom.

Waarom deze?

• Werk aan concrete AI-projecten met echte governance-vereisten, niet aan proof-of-concepts.
• Ervaring opdoen met de nieuwste Databricks-functionaliteiten in een productieomgeving.
• Een klant die governance beschouwt als een kerndiscipline binnen de engineering.

Heb je ervaring met Unity Catalog of AI-governance bij Databricks, of ken je iemand die dat heeft? Solliciteer dan nu!