(Senior) Data Engineer
Visable GmbH
Hamburg, Germany
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Shift work Languages
German, English Experience level
SeniorJob location
Remote
Hamburg, Germany
Tech stack
Artificial Intelligence
Airflow
Amazon Web Services (AWS)
Data analysis
Databases
Data Warehousing
Relational Databases
Linux
Python
NoSQL
Shell Script
SQL Databases
Data Streaming
Unstructured Data
Data Processing
Backend
PySpark
Apache Flink
Kafka
Spark Streaming
Job description
Als Data Engineer spielst Du eine zentrale Rolle beim Aufbau, der Wartung und der Weiterentwicklung unserer AWS-basierten Datenplattform. Du arbeitest eng mit Data-, Produkt- und Engineering-Teams zusammen, um hochwertige Datenmodelle bereitzustellen und Analysen, Reporting sowie KI-getriebene Anwendungsfälle im gesamten Unternehmen zu ermöglichen.
Forme mit uns die Zukunft des B2B
- Du arbeitest gemeinsam mit Deinem Team an der Betreuung und Weiterentwicklung unserer AWS-basierten Core-Datenebene, einschließlich Datenmodellierung, -integration und -aggregation für Analytics und Reporting
- Du konzipierst und implementierst AWS-basierte Datenverarbeitungslösungen und integrierst dabei Daten aus internen Backend-Services sowie aus Drittanbieterquellen
- Du bereitest strukturierte und unstrukturierte Daten auf, bereinigst und transformierst sie und entwickelst hochwertige Datenmodelle für Reporting, Advanced Analytics und KI-Anwendungsfälle
- Du arbeitest eng mit kompetenten und ambitionierten Kolleg:innen aus den Bereichen Data, Product, Sales und Engineering zusammen, um datengetriebene Produktfeatures bereitzustellen
- Du stellst eine hohe Datenqualität und -konsistenz im Data Warehouse sicher, indem Du Best Practices, Validierungen und Monitoring anwendest
- Du konzipierst und entwickelst skalierbare und zuverlässige Datenpipelines zur Unterstützung neuer Use Cases und optimierst bestehende Lösungen kontinuierlich
Requirements
- 4+ Jahre praktische Erfahrung im Bereich Data Engineering
- Nachgewiesene Erfahrung im Design und Betrieb von Datenpipelines auf AWS unter Einsatz von Services wie S3, Lambda, Batch und Glue
- Sehr gute Kenntnisse in Amazon Redshift und dbt
- Fundierte Programmierkenntnisse in Python, idealerweise inklusive Erfahrung mit Apache Airflow und Datenverarbeitungs-Frameworks wie PySpark
- Erfahrung mit Data-Streaming-Technologien wie Kafka, Kinesis, Flink oder Spark Streaming
- Starker Hintergrund in relationalen Datenbanken, einschließlich Datenmodellierung sowie dem Schreiben effizienter und optimierter SQL-Abfragen
- Erfahrung mit Frameworks und Methoden zur Datenqualität, einschließlich der Implementierung von Datenvalidierungen und Monitoring-Mechanismen
- Fließende Englischkenntnisse
Nice to have
- Kenntnisse in Shell-Scripting und Linux.
- Erfahrung mit NoSQL-Datenbanken.
Benefits & conditions
- Die Möglichkeit, die Zukunft des Online-B2B-Geschäfts aktiv mitzugestalten und einen European Champion aufzubauen
- Bei uns erwartet Dich ein etabliertes Traditionsunternehmen mit den Vorzügen einer dynamischen Start-up-Kultur: flache Hierarchien, Duz-Kultur und ein großartiger Teamspirit
- Ein agiles und unterstützendes Umfeld, in dem Erfolg immer eine Teamleistung ist
- Profitiere von unserer Fitnesskooperation mit Urban Sports Club und trainiere flexibel in über 7.500 Studios deutschlandweit
- Optimale Work-Life-Balance durch 30 Urlaubstage (+ Heiligabend & Silvester) und flexible Arbeitszeiten
- Wir glauben an das Beste aus beiden Welten: Flexibilität und Zusammenarbeit. Daher genießt Du die Vorteile des Homeoffices, wirst aber auch mindestens zu 50% den Teamspirit in unseren Büros erleben
- Wir fördern Deine fachlichen und persönlichen Skills mithilfe individueller Weiterbildungsmöglichkeiten (z.B. Visable Online-Academy & Trainings), regelmäßigen Feedback-Gesprächen und Teambuilding-Maßnahmen