¿Hacia dónde se dirige la Ingeniería de Datos?

La Ingeniería de Datos o Data Engineering es un gran reto hoy en día, pero es un tema importante en el mundo de la tecnología. Con el mercado creciendo exponencialmente y la demanda de ingenieros de datos también aumentando, ¿cuál será el próximo capítulo de esta historia? Para discutir esto, el Director de Arquitectura de Datos, Advanced Analytics y Automatización de Keyrus, Luis Gustavo Scalise, comparte su perspectiva.

«La industria de datos está todavía en su infancia y tratando de definirse a sí misma. No está claro qué caminos y tamaños alcanzará este mercado, pero podemos decir con certeza que está creciendo a un ritmo rápido. Mientras que la ingeniería de datos con su conjunto de herramientas existe desde hace mucho tiempo (Talend e Informatica se están convirtiendo ya en adultos, por ejemplo), las arquitecturas «modernas» en la nube son todavía relativamente nuevas, lo que constituye una de las fuentes de entusiasmo en el sector. Algunas de las herramientas más populares que se utilizan hoy en día se crearon hace menos de 5 años.

Conociendo estos hechos, Luis Gustavo Scalise identifica tres cambios en las responsabilidades de un ingeniero de datos:

1. Los ingenieros de datos utilizarán aún más tecnologías propietarias en la nube y productos SaaS

2. Pasarán menos tiempo codificando y más tiempo supervisando (el código bajo está volviendo)

3. Cambiaran de «equipos de características» a «equipos centrales» o Core teams.

Los roles de datos y la estructura de los equipos se están convirtiendo en ventajas competitivas.

En cuanto a las tendencias del mercado, a pesar de tantas nuevas herramientas y técnicas disponibles, el Director de Keyrus, también identifica tres para que las empresas tengan éxito: ML for Advanced Analytics, Reverse ETL (ET inverso) y Data Observability.

Le puede Interesar: Que el Bluetooth no se convierta en su hueco de información