DESCRIPCIóN
Responsable de diseñar, desarrollar y mantener la arquitectura de datos de la empresa. Su función principal es asegurar que los datos fluyan de manera eficiente y confiable desde diversas fuentes hasta los sistemas de almacenamiento y procesamiento, como un lago de datos (data lake), para que puedan ser utilizados para análisis y generación de reportes .
REQUISITOS
-
Experiencia en la interpretación de requerimientos de negocio y su traducción a tareas técnicas para el equipo de ingeniería.
-
Capacidad para trabajar de forma colaborativa en equipos de desarrollo, utilizando metodologías ágiles como Scrum.
-
Conocimiento sólido en procesos de ETL (Extracción, Transformación y Carga) y ELT (Extracción, Carga y Transformación).
-
Experiencia demostrable en el análisis de grandes volúmenes de datos.
Habilidades técnicas
-
SQL: Nivel avanzado para consultas complejas y optimización.
-
Python: Dominio del lenguaje, incluyendo librerías para manipulación de datos como Pandas y Polars
- Google Cloud Platform (GCP): Experiencia específica con servicios como BigQuery, Dataflow y Storage
- Herramientas de orquestación: Conocimiento en la creación y mantenimiento de flujos de trabajo con herramientas como Airflow
- Procesamiento de datos: Experiencia con motores de procesamiento distribuido como Spark y su API en Python (pyspark)
-
Conocimiento en otras plataformas de datos como Databricks y Hadoop
- Experiencia con sistemas de mensajería en tiempo real como Kafka .
-
Habilidad en Shell scripting para automatización de tareas
-
Familiaridad con prácticas de Integración Continua y Despliegue Continuo (CI/CD)
- Manejo de herramientas de gestión de proyectos y colaboración como Jira y Confluence
Actividades a Realizar
-
Diseñar, crear, implementar y optimizar pipelines de datos para la integración y procesamiento de información
-
Modelar tablas y estructuras de datos dentro del lago de datos de la compañía
-
Validar las fuentes de datos para asegurar su calidad y consistencia
- Crear y mantener flujos de datos que alimenten la generación de reportes y dashboards
- Colaborar con el equipo utilizando la metodología Scrum para el desarrollo de proyectos
- Realizar análisis sobre grandes volúmenes de datos para extraer información de valor
