Data Engineer (all genders)

Tech Solutions Gmbh

Köln, Germany

3 days ago

Apply on startup.jobs

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Starter

Working hours

Regular working hours

Job source

startup.jobs

Tech stack

Artificial Intelligence Data Analysis Confluence JIRA Microsoft Azure C Sharp (Programming Language) Cloud Computing Data Transmissions Information Engineering Extract Transform Load (ETL) Python (Programming Language) SQL Azure

+11 more

SQL Databases Data Processing Azure Data Factory Data Lakes Pyspark Cosmos DB Laptops Restful APIs Api Management Serverless Computing Databricks

Job description

In einem interdisziplinären Projektteam übernimmst Du den Part der technischen Umsetzung von Datenverarbeitungsstrecken in Batch und Realtime. Als Experte für das Data Engineering bist Du im Projekt Ansprechpartner für Kollegen und Kunden. Mit modernen cloud-basierten Technologien generierst Du - KI-unterstützt - innovative Lösungen rund um unsere Produkte., * Weitere Komponenten aus dem Azure Stack wie Log Analytics, KeyVault, API Management

Azure Portal
Unternehmenseigener OpenAI-basierter KI-Assistent
Projektverwaltung in JIRA und Confluence, * Entwicklung von Azure Functions in .NET C# zur Abbildung von Datentransformationen in Realtime. REST API
Erstellung und Pflege von Azure Data Factory Pipelines zur Automatisierung von Datentransfers.
Entwicklung von Azure Databricks Notebooks, insbesondere zur Implementierung von ETL-Prozessen mit PySpark - dabei sind erste Programmierkenntnisse und ein gutes Verständnis für Datenverarbeitung gefragt.
Arbeiten mit SQL, inklusive der Durchführung von Qualitätssicherungen, Datenanalysen und gezielten Performanceoptimierungen auf Speichertechnologien wie Cosmos DB, Azure SQL DB und Data Lake Storage
Optimierung und Feintuning der Prozesse durch Detailanalysen u. a. mit Log Analytics

Requirements

Erste Kenntnisse Programmierkenntnisse (idealerweise in C#, Python und Pyspark).
SQL-Kenntnisse zur Datenanalyse und Qualitätssicherung
Verständnis für Cloud-Architekturen und Datenverarbeitungsprozesse
Interesse an konzeptionellen Themen rund um Datenmodellierung und ETL-Design
Bereitschaft zur Weiterentwicklung in Technologien wie Databricks und Data Factory

About the company

Modernes Setup - Ergonomische Arbeitsplätze, aktuelle Hard- und Software, Cloudtechnologien und agile Methoden u. a. mit Partnern wie Microsoft und Databricks
Interne und externe Schulungen, transparente Karrierepfade (Fach-, Führungs- und Projektlaufbahn) und echte Entwicklungsperspektive
Legendäre Teamevents (Ischgl, Sommerfest, Weihnachtsfeier & mehr)
Zuschuss zum Wellpass und zum Deutschlandticket
Selbstverständlich für uns: Obst, Kaffee, Softdrinks: Vegan, vegetarisch, von Hafer bis Mandel - Alles gratis, alles lecker!
Möglichkeit zur Workation im europäischen Ausland
Spannende Projekte mit vielfältigen Kunden aus Fashion, E-Commerce, Telekommunikation und Touristik - vom Mittelstand bis zum DAX-Konzern
Zentrale Standorte in Stuttgart, München, Köln, Hamburg, Karlsruhe und Berlin