(Senior) Data Integration Engineer at Project A Ventures - Bielefeld, Nordrhein-Westfalen, Deutschland

Startup Insider

Berlin, Germany

12 days ago

Apply on jobs.meinestadt.de

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Expert

Compensation

€60,000.0 - €85,000.0

Working hours

Regular working hours

Job source

jobs.meinestadt.de

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Airflow Amazon Web Services BigQuery Cloud Computing Continuous Integration Data Integration Extract Transform Load (ETL) Relational Databases Cursor (Graphical User Interface Elements) Github

+13 more

Python (Programming Language) PostgreSQL Queueing Systems SQL Databases Data Processing Large Language Models AWS Lambda Firebase Build Server Git Event Driven Architecture Restful APIs Terraform

Job description

AWS Lambda CRM-System Batch-Verarbeitung ERP-System Event-Driven Architecture REST START Cloud Datenaufbereitung Praktikumserfahrung Beschaffung Datenmodellierung AWS Python PostgreSQL Optimierung GIT GitHub Continuous Integration ETL Engineering Eigenmotivation, Als Wachstumstreiber verbindet A11 die ambitioniertesten europäischen Start-ups, Scale-ups und KMUs mit Top-Talenten, die bereit sind, echten Impact zu erzielen.

Tritt dem A11 Ecosystem bei - unser Partnerunternehmen ist ein Technologieunternehmen, das die Beschaffung von Spezialverbindungselementen für den deutschen Mittelstand neu denkt. Mit einer KI-nativen Plattform kombiniert das Unternehmen tiefes Branchenwissen mit modernster Software und macht manuelle, fehleranfällige Einkaufsprozesse effizienter und skalierbarer., * ERP-, CRM- und Lieferanten-APIs integrieren, Python-Module für ETL/ELT-Prozesse entwickeln sowie Datentransformationen mit dbt modellieren, testen und dokumentieren

Datenmodellierung und Performance-Optimierung in PostgreSQL, Firestore und BigQuery durchführen sowie GCP Cloud Functions entwickeln und deployen
Event-driven Systeme mit GCP Pub/Sub aufbauen und je nach Use Case zwischen Echtzeit- und Batch-Verarbeitung entscheiden
Workflow-Orchestrierung mit n8n oder Airflow implementieren sowie robustes Error Handling, Retry-Logik und Monitoring sicherstellen
LLM-APIs (OpenAI, Anthropic) in Datenpipelines integrieren und RAG-Workflows aufbauen: Daten aufbereiten, chunken, vektorisieren und in Vector DBs laden
CI/CD-Pipelines mit GitHub Actions / Cloud Build und Infrastructure as Code mit Terraform verwalten sowie AI-Tools (Cursor, Claude Code) effektiv einsetzen

Requirements

Python
Praxiserfahrung mit dbt (Modellierung, Tests, Dokumentation)
Erfahrung mit Serverless-Architekturen (Cloud Functions, AWS Lambda o. Ä.) und solides Verständnis von Event-driven Architecture (Pub/Sub, Message Queues, Events)
Sicheres Urteilsvermögen bei der Wahl zwischen Batch- und Event-driven Verarbeitung je nach Use Case
Erfahrung mit SQL und relationalen Datenbanken ( PostgreSQL o. Ä.) sowie sicherer Umgang mit REST-APIs, Git und CI/CD-Pipelines
Pragmatismus: MVP vor Perfektion, Geschwindigkeit vor Over-Engineering