Data Engineer Senior Architect
Role details
Job location
Tech stack
Job description
aplicación Diseñar y Desarrollar modelos de datos a nivel lógico y a nivel físico en diferentes industrias y en diferentes blueprints tecnológicos con las mejores metodologías de trabajo para cada caso además de las estrategias de datos más adecuadas como Kimball, Data Vault, Data Mesh o Big Tables Conocer, gestionar y utilizar las diferentes herramientas y plataformas disponibles en las distintas nubes para el desarrollo de soluciones de data management: Azure Data Factory y Azure Synapse, AWS Redshift, GCP Data Fusion, GCP Dataform y Google Bigquery, y otros servicios del ecosistema de data de las diferentes nubes Conocer, gestionar y utilizar las diferentes herramientas y plataformas disponibles en ambientes más legacy para el desarrollo de soluciones de data management principalmente: Talend Cloud, Oracle Exadata, Informatica Cloud, etc. Aplicar nuevas prácticas y tecnológicas emergentes del desarrollo del software más tradicional o del mundo SaaS o K8s native, a la dimensión de data mangement: Python, Docker, Airflow, Great Expectations, DBT Cloud, FiveTran, Argo, etc. Participar en la elección de nuevas plataformas de datos, nuevas estrategias de desarrollos, nuevas metodologías, nuevos partnership con los Lead de la compañía y el departamento de innovación. Participar junto en el departamento de impulso y los diferentes equipos de cliente y expertos en industria en el desarrollo de propuestas comerciales desde el papel de desarrollo de negocio definiendo la solución, la arquitectura funcional lógica y física y la estimación de esfuerzos y costes de operación. Co-trabajar con el departamento de innovación en la labor de perfeccionar y aumentar el portfolio mediante el desarrollo de artefactos de ingeniería aplicables al ecosistema de data y analytics. ¿Qué formación y conocimientos te llevarán a conseguir esta posición? Ingeniería Informática, Ingeniería de
Requirements
Telecomunicación u otra salida academia que te haya dotado de capacidad de desarrollo y pensamiento crítico en este ambiente. Se valora de forma muy positiva tener formación a través de un Master u otras alternativas que aumenten tus skills, por ejemplo, un Máster en Big Data y Analytics Conocimiento de arquitectura y ciclo de vida de los datos en ambientes de Data Lake, Data Warehouse u otras plataformas de Datos. Conocimiento de diferentes estrategias de modelado de datos: modelados relacionales, modelado Kimball, modelado Data Vault, modelado de tablones, modelado de datos híbrido, etc. Conocimiento de las diferentes estrategias de mover datos hacia o desde un repositorio de datos central, esto es Data Collection y Data Delivery y las diferentes técnicas asociadas a cada una de ellas: Change Data Capture, Ingesta de ficheros (Parquet, Avro, Text-File, etc.) en modo batch o microbatch, tratamiento de eventos y sus esquemas, Ingesta desde APIs, Data Sharing, etc. ¿Qué experiencia y conocimientos técnicos te llevará a ser un Senior? A partir de 4 años trabajando en equipo para disponer soluciones productivas de ingeniería de datos en contextos empresariales e industriales. A partir de 4 años desarrollando la actividad de Data Engineer en el ámbito técnico que se propone posteriormente o en ambientes técnicos semejantes que te hayan proporcionado de las mismas habilidades de ingeniería y pensamiento crítico y constructivo. A partir de 4 años trabajando en el modelo de datos de ambientes operacionales o informacionales, con diferentes aproximaciones en términos de estrategias de datos: modelados relacionales, modelado Kimball, modelado Data Vault, modelado de tablones, modelado de datos híbrido, etc. A partir de 2 años cuidando la calidad de datos aplicando las mejores técnicas, productos, frameworks y estrategias para ello. A partir de 1 año trabajando en data-products que se conforman mediante soluciones dirigidas por metadatos y en ambientes ligados a dataops o semejante. Lenguajes: Dominio alto de SQL, además se valorará otras variantes y experiencias como puede ser PL/SQL Dominio básico de Python Dominio medio de Bash u otro paradigma de scripting en Unix Conocimiento de un porcentaje medio de herramientas específicas ligadas a la Data Enginering Moderno, algunas que consideramos interesantes: dbt Cloud / CLI, Azure Data Factory, Apache Airflow, Matillion, Fivetran, Stitch, Talend Cloud Data Integration / Data Integration, Informatica Cloud Data Integration / PowerCenter, ODI, PDI / Kettle / Apache Hop,Apache Nifi, Apache Beam, Otras herramientas de integración de datos y orquestación Conocimiento de al menos una plataforma de datos con profundidad: Snowflake, BigQuery, Synapse, Redshift, Firebolt, Yellowbrick, Oracle Exadata, etc. Conocimiento y experiencia en el uso de sistemas de control de versiones (SCM), esencialmente Git. Conocimiento de herramientas de automatización bajo un paradigma DataOps: Azure DevOps, Jenkins, AWS CodePipeline, Bitbucket Pipelines, GitHub Actions… Conocimiento básico con respecto a tecnologías y herramientas de contenerización, esencialmente Docker y Kubernetes. Experiencia en la utilización de al menos una de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos ¿Qué experiencia y conocimientos técnicos te llevará a ser un Architect? A partir de 10 años trabajando en equipo para disponer soluciones productivas de ingeniería de datos en contextos empresariales e industriales. A partir de 6 años desarrollando la actividad de Data Engineer en el ámbito técnico que se propone posteriormente o en ambientes técnicos semejantes que te hayan proporcionado de las mismas habilidades de ingeniería y pensamiento crítico y constructivo. A partir de 4 años trabajando en el modelo de datos de ambientes operacionales o informacionales, con diferentes aproximaciones en términos de estrategias de datos: modelados relacionales, modelado Kimball, modelado Data Vault, modelado de tablones, modelado de datos híbrido, etc. A partir de 4 años cuidando la calidad de datos aplicando las mejores técnicas, productos, frameworks y estrategias para ello. A partir de 3 año trabajando en data-products que se conforman mediante soluciones dirigidas por metadatos y en ambientes ligados a dataops o semejante. A partir de 2 años realizando la labor de desarrollo de negocio desde la perspectiva de diseño de soluciones de analítica y estimación de esfuerzos. Se valoran certificaciones profesionales en Cloud y/o productos del ecosistema de data & analytics. Conocimiento de diferentes formas de confeccionar Data Platforms, ya sea Cloud Native o no. Lenguajes: Dominio alto de SQL, además se valorará otras variantes y experiencias como puede ser PL/SQL Dominio medio de Python Dominio medio de Bash u otro paradigma de scripting en Unix Conocimiento de un porcentaje medio de herramientas específicas ligadas a la Data Enginering Moderno, algunas que consideramos interesantes: dbt Cloud / CLI, Azure Data Factory, Apache Airflow, Matillion, Fivetran, Stitch, Talend Cloud Data Integration / Data Integration, Informatica Cloud Data Integration / PowerCenter, ODI, PDI / Kettle / Apache Hop,Apache Nifi, Apache Beam, Otras herramientas de integración de datos y orquestación Conocimiento de al menos una plataforma de datos con profundidad: Snowflake, BigQuery, Synapse, Redshift, Firebolt, Yellowbrick, Oracle Exadata, etc. Conocimiento y experiencia en el uso de sistemas de control de versiones (SCM), esencialmente Git. Conocimiento de herramientas de automatización bajo un paradigma DataOps: Azure DevOps, Jenkins, AWS CodePipeline, Bitbucket Pipelines, GitHub Actions… Conocimiento básico con respecto a tecnologías y herramientas de contenerización, esencialmente Docker y Kubernetes. Experiencia en la utilización de al menos dos de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos. ¿Qué Soft Skills nos gusta encontrar? Fuertes habilidades de comunicación y organización con la capacidad de lidiar con la ambigüedad mientras se hacen malabares con múltiples prioridades. Ganas de innovar y perseguir la excelencia profesional desde la perspectiva de la técnica. Inquietud por la evolución y el desarrollo profesional constante. Capacidad de desenvolverse inglés en el entorno profesional