Data Engineer

NETCONOMY GmbH
Berlin, Germany
2 days ago
Apply on www.stepstone.de
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Experienced
Experience required
3 years minimum
Working hours
Regular working hours
Languages
English

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Airflow BigQuery Cloud Computing Cloud Storage Cluster Analysis Databases Continuous Integration Information Engineering Extract Transform Load (ETL) Data Warehousing
+20 more
Python (Programming Language) Machine Learning Metadata Microsoft Office Power BI SQL Databases Data Streaming Unstructured Data Data Logging Data Processing Google Cloud Cloud Monitoring Google Data Studio Pandas Pyspark Infrastructure Automation Frameworks Terraform Looker Analytics Software Version Control Apache Beam

Job description

In den letzten 20 Jahren ist NETCONOMY von einem Startup zu einem 500-köpfigen Team herangewachsen, welches an 10 Standorten in Europa zusammenarbeitet. AgilitĂ€t und interdisziplinĂ€re Zusammenarbeit sind Grundpfeiler unserer Arbeitskultur. In einem kreativen Miteinander erschaffen Menschen mit vielfĂ€ltigen HintergrĂŒnden einzigartige digitale Lösungen.

Deine Aufgaben

Als Data Engineer ĂŒbernimmst du eine zentrale Rolle bei der Entwicklung moderner, skalierbarer und leistungsstarker Datenlösungen auf der Google Cloud Platform (GCP). In diesem Job wirst du Teil unseres wachsenden Data & AI Teams und arbeitest hands-on mit fĂŒhrenden Daten-Plattformen, um unseren Kunden dabei zu helfen komplexe Herausforderungen rund um das Thema Daten zu lösen.

Dein Aufgabenbereich beinhaltet:

  • Aufbau effizienter und skalierbarer ETL-/ELT-Prozesse zum Einlesen, Transformieren und Laden von Daten aus unterschiedlichen strukturierten und unstrukturierten Quellen (Datenbanken, APIs, Streaming-Plattformen) in BigQuery und Cloud Storage
  • Implementierung von Daten-Ingestion und Echtzeitverarbeitung mit Dataflow (Apache Beam) und Pub/Sub fĂŒr Batch- und Streaming-Workflows
  • Entwicklung von SQL-Transformations-Workflows mit Dataform, einschließlich Versionskontrolle, Tests und automatisierter Planung mit integrierten QualitĂ€tsprĂŒfungen
  • Erstellung effizienter, kostenoptimierter BigQuery Abfragen unter BerĂŒcksichtigung von Partitionierung, Clustering und Denormalisierungsstrategien
  • Orchestrierung komplexer Workflows mit Cloud Composer (Apache Airflow) und Cloud Functions fĂŒr ereignisgesteuerte Datenverarbeitung
  • Implementierung zentraler Daten Governance und Metadatenverwaltung mit Dataplex, inklusive automatischer Katalogisierung und Nachverfolgung der Datenherkunft
  • Überwachung und Optimierung von Datenpipelines hinsichtlich Leistung, Skalierbarkeit und Kosten mithilfe von Cloud Monitoring und Cloud Logging
  • Zusammenarbeit mit Data Scientists und Analysten zur Erfassung von Datenanforderungen und Bereitstellung verwertbarer Insights
  • Kontinuierliche Weiterbildung in den Bereichen GCP-Datenservices, BigQuery-Funktionen und Best Practices im Data Engineering

Deine Skills

Essential Skills

  • 3+ Jahre praktische Erfahrung als Data Engineer mit nachgewiesener Expertise in der Google Cloud Platform (GCP)
  • Fundierte Erfahrung mit BigQuery (SQL, Partitionierung, Clustering, Optimierung) und Dataflow (Apache Beam)
  • Starke Programmierkenntnisse in Python mit Erfahrung in Datenmanipulationsbibliotheken wie PySpark und pandas
  • Starke Kenntnisse in SQL fĂŒr komplexe Transformationen, Optimierung und Analyse
  • Versiert im Umgang mit Dataform fĂŒr modulare SQL basierte Daten Transformationen und Pipeline-Management
  • Solides VerstĂ€ndnis von Data-Warehousing-Prinzipien, ETL-/ELT-Prozessen, dimensionalem Modellieren und Daten Governance
  • Erfahrung in der Integration von Daten aus unterschiedlichen APIs und Streaming-Systemen (Pub/Sub)
  • Erfahrung mit Cloud Composer zur Orchestrierung von Workflows
  • Hervorragende Kommunikations- und KollaborationsfĂ€higkeiten in Englisch
  • FĂ€higkeit, sowohl selbststĂ€ndig als auch im agilen Team zu arbeiten

Beneficial Skills

  • Google Professional Data Engineer-Zertifizierung
  • Kenntnisse in BigLake fĂŒr den einheitlichen Zugriff auf und die Verwaltung von strukturierten und unstrukturierten Daten
  • Erfahrung mit Dataplex zur Verwaltung von Metadaten, Datenherkunft (Lineage) und Daten-Governance
  • Vertrautheit mit Infrastructure-as-Code (Terraform) zur Automatisierung der Bereitstellung von GCP-Ressourcen und CI/CD-Pipelines
  • Erfahrung mit Datenvisualisierungstools wie Looker, Looker Studio oder Power BI
  • Interesse an bzw. Erfahrung mit Machine-Learning-Workflows unter Verwendung von Vertex AI oder Ă€hnlichen Plattformen

Unser Angebot

Obwohl wir ein zusammengehöriges Unternehmen sind, hat jeder Standort seine eigenen Besonderheiten und Benefits. Hier ein kleiner Einblick, was du erwarten kannst:

  • Flexible Working Models: FrĂŒhaufsteher oder Nachteule? Dank unserer flexiblen Arbeitsmodelle beginnst du deinen Arbeitstag wann und wo es fĂŒr dich am besten passt. Wir bieten dir die Möglichkeit, hybrid zu arbeiten - du kannst selbst entscheiden, ob du mehr im BĂŒro oder im Home Office arbeiten möchtest.
  • Career Development and Onboarding: Starte deine Reise bei NETCONOMY mit einem strukturierten Onboarding und Mentoring und setze sie mit individuellen Schulungsmöglichkeiten fort. Unser People Enablement Team hilft dir die beste Lösung fĂŒr dich zu finden! Mehr Infos findest du hier!
  • Company Summit: Tausche berufliche und persönliche Erfahrungen auf unserem jĂ€hrlichen firmeninternen NETCONOMY Summit aus! Ein Highlight des Events ist die lockere AtmosphĂ€re und der Austausch mit dem internationalen Team.
  • Social Events: KnĂŒpfe Kontakte bei Social Events wie Pizza Partys, SportaktivitĂ€ten, Weihnachtsfeiern oder Milestone Events.
  • Snacks und Wohlbefinden: Nutze unsere Lunch Benefits, wie EssenszuschĂŒsse oder Rabatte in Partnerrestaurants, um dich in den Pausen zu stĂ€rken.
  • Mobility Support: Lass doch mal das Auto stehen! Da wir unsere Verantwortung fĂŒr die Umwelt ernst nehmen, unterstĂŒtzen wir deine klimafreundlichen Transportkosten.

Ansprechperson

Deine Recruiterin Victoria freut sich auf deine Online-Bewerbung!

Requirements

  • 3+ Jahre praktische Erfahrung als Data Engineer mit nachgewiesener Expertise in der Google Cloud Platform (GCP)
  • Fundierte Erfahrung mit BigQuery (SQL, Partitionierung, Clustering, Optimierung) und Dataflow (Apache Beam)
  • Starke Programmierkenntnisse in Python mit Erfahrung in Datenmanipulationsbibliotheken wie PySpark und pandas
  • Starke Kenntnisse in SQL fĂŒr komplexe Transformationen, Optimierung und Analyse
  • Versiert im Umgang mit Dataform fĂŒr modulare SQL basierte Daten Transformationen und Pipeline-Management
  • Solides VerstĂ€ndnis von Data-Warehousing-Prinzipien, ETL-/ELT-Prozessen, dimensionalem Modellieren und Daten Governance
  • Erfahrung in der Integration von Daten aus unterschiedlichen APIs und Streaming-Systemen (Pub/Sub)
  • Erfahrung mit Cloud Composer zur Orchestrierung von Workflows
  • Hervorragende Kommunikations- und KollaborationsfĂ€higkeiten in Englisch
  • FĂ€higkeit, sowohl selbststĂ€ndig als auch im agilen Team zu arbeiten

Beneficial Skills

  • Google Professional Data Engineer-Zertifizierung
  • Kenntnisse in BigLake fĂŒr den einheitlichen Zugriff auf und die Verwaltung von strukturierten und unstrukturierten Daten
  • Erfahrung mit Dataplex zur Verwaltung von Metadaten, Datenherkunft (Lineage) und Daten-Governance
  • Vertrautheit mit Infrastructure-as-Code (Terraform) zur Automatisierung der Bereitstellung von GCP-Ressourcen und CI/CD-Pipelines
  • Erfahrung mit Datenvisualisierungstools wie Looker, Looker Studio oder Power BI
  • Interesse an bzw. Erfahrung mit Machine-Learning-Workflows unter Verwendung von Vertex AI oder Ă€hnlichen Plattformen

Benefits & conditions

Obwohl wir ein zusammengehöriges Unternehmen sind, hat jeder Standort seine eigenen Besonderheiten und Benefits. Hier ein kleiner Einblick, was du erwarten kannst

About the company

FULL_TIME FULL_TIME

In den letzten 20 Jahren ist NETCONOMY von einem Startup zu einem 500-köpfigen Team herangewachsen, welches an 10 Standorten in Europa zusammenarbeitet. AgilitĂ€t und interdisziplinĂ€re Zusammenarbeit sind Grundpfeiler unserer Arbeitskultur. In einem kreativen Miteinander erschaffen Menschen mit vielfĂ€ltigen HintergrĂŒnden einzigartige digitale Lösungen., * Career Development and Onboarding: Starte deine Reise bei NETCONOMY mit einem strukturierten Onboarding und Mentoring und setze sie mit individuellen Schulungsmöglichkeiten fort. Unser People Enablement Team hilft dir die beste Lösung fĂŒr dich zu finden! Mehr Infos findest du hier!

  • Company Summit: Tausche berufliche und persönliche Erfahrungen auf unserem jĂ€hrlichen firmeninternen NETCONOMY Summit aus! Ein Highlight des Events ist die lockere AtmosphĂ€re und der Austausch mit dem internationalen Team.
  • Social Events: KnĂŒpfe Kontakte bei Social Events wie Pizza Partys, SportaktivitĂ€ten, Weihnachtsfeiern oder Milestone Events.
  • Snacks und Wohlbefinden: Nutze unsere Lunch Benefits, wie EssenszuschĂŒsse oder Rabatte in Partnerrestaurants, um dich in den Pausen zu stĂ€rken.
  • Mobility Support: Lass doch mal das Auto stehen! Da wir unsere Verantwortung fĂŒr die Umwelt ernst nehmen, unterstĂŒtzen wir deine klimafreundlichen Transportkosten.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.stepstone.de
Prepare application

Good distractions

Loading talks and stories from around this role