SC-gecertificeerde data engineer

AWS Data Engineer (Vereist een geldige SC-veiligheidsmachtiging)

Overzicht:
Wij zoeken een zeer bekwame AWS Data Engineer voor een toonaangevend technologieadviesbureau dat oplossingen levert in het Verenigd Koninkrijk en Europa. Deze functie is ideaal voor iemand met ruime ervaring in het bouwen van schaalbare datapipelines en het werken in veilige, cloudomgevingen.

Je werkt samen met datawetenschappers, analisten en software-engineers om efficiënte en betrouwbare dataoplossingen te leveren die analyses, rapportages en AI/ML-initiatieven ondersteunen.

Verantwoordelijkheden:

• Ontwerp, ontwikkel en onderhoud schaalbare ETL/ELT-pipelines met behulp van AWS-services zoals Glue, Lambda, Step Functions en Kinesis.

• Werk met gestructureerde en ongestructureerde data uit meerdere bronnen en zorg voor efficiënte verwerking, transformatie en opslag.

• Bouw en optimaliseer data lake- en data warehouse-oplossingen met behulp van S3, Redshift, Athena en Lake Formation.

• Implementeer best practices voor gegevensbeheer, beveiliging en compliance, waaronder IAM, encryptie en toegangscontrole.

• Monitor en optimaliseer de prestaties van dataworkflows met behulp van CloudWatch en andere AWS-native tools.

• Automatiseer dataprocessen met Python, PySpark, SQL en AWS SDK's.

• Werk samen met multidisciplinaire teams ter ondersteuning van analyses, business intelligence (BI) en AI/ML-toepassingen.

• Onderhoud en verbeter CI/CD-pipelines voor data-infrastructuur met behulp van Terraform, CloudFormation of CDK.

• Problemen met data-integratie, prestaties en betrouwbaarheid opsporen en verhelpen.

Vereiste vaardigheden en ervaring:

• Meer dan 5 jaar ervaring in data engineering, met een sterke focus op AWS.

• Uitstekende beheersing van Python, PySpark, SQL en AWS Glue.

• Praktische ervaring met AWS-datadiensten zoals Redshift, Athena, Glue, EMR en Kinesis.

• Grondige kennis van datamodellering, datawarehousing en schemaontwerp.

• Ervaring met streaming- en event-driven architecturen (bijv. Kafka of Kinesis).

• Expertise in Infrastructure as Code (Terraform, CloudFormation of CDK).

• Bekendheid met DevOps-praktijken en CI/CD-pipelines.

• Sterke probleemoplossende vaardigheden en ervaring met werken in Agile-omgevingen.

Wenselijk:

• AWS-certificeringen (Data Analytics Specialty of Solutions Architect Associate).

• Ervaring met Airflow voor orkestratie.

• Ervaring met big data-frameworks zoals Spark, Hadoop of Presto.

• Ervaring met het ondersteunen van AI/ML-datapipelines.