Senior-Dateningenieur bei Databricks

Senior Data Engineer (m/w/d) – Azure Databricks & Plattformarchitektur
Standort: Frankfurt | Vollzeit | Hybrid / Remote möglich

Unser Kunde ist ein etabliertes Unternehmen im Raum Frankfurt, das datengetriebene Innovationen vorantreibt und moderne Cloud-Technologien in den Mittelpunkt seiner IT-Strategie stellt. Zur Verstärkung des Data-Teams wird ein erfahrener Senior Data Engineer (m/w/d) mit Schwerpunkt auf Azure und Databricks gesucht.

Deine Aufgaben:

- Entwicklung, Aufbau und Optimierung skalierbarer Datenpipelines in einer modernen Cloud-Umgebung
- Verantwortung für die Architektur und Weiterentwicklung der Azure Databricks-Plattform
- Entwurf und Implementierung von Data Lakes und Data Warehouses
Integration und Verarbeitung großer Datenmengen (Batch & Streaming)
- Enge Zusammenarbeit mit Data Scientists, Analysten und Fachabteilungen
- Automatisierung von Bereitstellungen und Infrastrukturprozessen mithilfe von „Infrastructure as Code“
- Gewährleistung von Datenqualität, Governance und Sicherheit
- Mitgestaltung von Best Practices im Bereich Data Engineering und Cloud-Architektur

Dein Profil:

- Mehrjährige Erfahrung im Bereich Data Engineering, idealerweise in Cloud-Umgebungen
- Fundierte Kenntnisse in Azure Databricks (zwingend erforderlich)
- Sehr gute Programmierkenntnisse in Python
- Erfahrung mit Azure DevOps (CI/CD-Pipelines, Repositorys)
- Fachkenntnisse in Terraform und Infrastructure as Code
- Erfahrung mit Kubernetes und containerisierten Anwendungen
- Kenntnisse in Azure Blob Storage, Data Lake Storage und weiteren Azure-Diensten
- Erfahrung mit Apache Spark, Delta Lake und modernen Datenarchitekturen (z. B. Lakehouse)
- Gute Kenntnisse in SQL und Datenmodellierung
- Erfahrung mit ETL-/ELT-Prozessen und Workflow-Orchestrierung (z. B. Airflow)
- Verständnis von Microservices-Architekturen und API-Design
- Idealerweise Kenntnisse in Streaming-Technologien (z. B. Kafka, Event Hubs)
- Sehr gute Deutsch- und Englischkenntnisse

Das wird geboten:

- Spannende Projekte mit modernen Technologien im Cloud-Umfeld
- Großer Gestaltungsspielraum und Verantwortung für architektonische Themen
- Flexible Arbeitsmodelle (Hybrid / Remote)
- Attraktives Gehaltspaket und Zusatzleistungen
- Individuelle Weiterbildungs- und Entwicklungsmöglichkeiten

Habe ich Ihr Interesse geweckt?
Dann freuen wir uns auf deine Bewerbung oder einen ersten Austausch!