AI and data engineering are so similar it's painful!
- Agent workflows = data pipelines
- Chunking text = data modeling
- Embeddings = dimensionality reduction
- Retrieval = indexing and partitioning
- Vector search = join optimization
- Prompt engineering = query tuning
- Guardrails = data quality checks
If you don't see how these parallels mean data engineers are going to take over the world, you're blind!
Los influencers de LinkedIn que jamás han tocado Python reinventaron el CSV.
Ahora lo llaman TOON como si fuera una revolución para LLMs… pero es básicamente un CSV con storyline.
Cada cierto tiempo alguien renombra lo simple y lo vende como “nueva tecnología”.
Mientras tanto, los que sí construimos cosas sabemos que nada reemplaza datos limpios, formatos sencillos y código que no dé pena leer.
Pero bueno… reinventar la rueda siempre da buen engagement.
Si te preguntás a qué se dedica un Data Engineer, te lo resuelvo en dos patadas: procesar datos mediante pipelines (entre muchas otras cosas).
¿Qué significa "procesar datos"?
¿Una pipeline? ¿Con qué se come?
Te dejo las respuestas en este blog post que salió del horno ayer a la noche.
Te hablo brevemente de:
⚙ Qué es el procesamiento de datos y qué implica
🔧Qué es una pipeline
⏰Qué es scheduling y su importancia (con ejemplo real)
🆚Batch vs Streaming
Link en siguiente tweet!
Enfócate en dominar lo que no cambia:
- Algoritmos
- Arquitectura
- Patrones de diseño
- Comunicación efectiva
- Saber leer y entender código
Los frameworks cambian. Los paradigmas permanecen.
le tuve que enseñar a mis compañeros veinteañeros que ctrl+ C es copiar y ctrl V es pegar JAJAJAJ creo es momento de admitir que los verdaderos nativos digitales somos los millennials jajajaja
2 de marzo
Esfuérzate y sé valiente.
Tú puedes lograrlo,
diga lo que diga la gente.
El Universo está contigo.
Así que, confía y sé fuerte
porque esa es la actitud
que permite que todo
se conecte.
Big Data...modernidad o reliquia del pasado?
De acuerdo con los autores del libro Fundamentals of Data Engineering, el término Big Data es una reliquia que describe una época particular y una manera de gestionar grandes cantidades de datos:
“Hoy, los datos se mueven más rápido que nunca y crecen aún más, pero el procesamiento de grandes cantidades de datos se ha vuelto tan accesible que ya no amerita un término aparte.
Cada compañía apunta a resolver sus problemas de datos, independientemente del tamaño de estos.
Los Ingenieros de Big Data, ahora simplemente son Ingenieros de Datos".
Es increíble lo que está sucediendo en el mundo. Justo cuando creemos que nada puede sorprendernos, aparece algo nuevo que nos hace replantearnos todo.
Veo mucha gente que comenzo en la programación en 2020+, y se siente abrumada, y cansada, pero el problema creo que les vendieron una idea erronea de lo que es hacer Software.
Cuando hablo de que deben saber estructuras de datos, algoritmia, y conceptos como concurrencia, inmutabilidad, función pura, interface etc. La gente me dice que es mucha información. Pero, esas cosas uno cuando las aprendio, duro varios semestres en verlas.
Es algo normal que se tome su tiempo para aprender todas estas cosas, sobre todo, el abstraerlas y saber su uso real y útil.
La programación es una profesión donde lo minimo es escribir código. La idea fue vendida mal, y hoy en día vemos las consecuencias.
A las personas cansadas y que les vendieron esta idea solo les recomiendo que se tomen el tiempo de ir aprendiendo esos conceptos que no les enseñaron; y es normal, que sea un proceso tardado. No se desesperen. Al final, la curva de aprendizaje se aligera.
Aprendan una cosa a la vez, y que sea regularmente eso con lo que tienen debilidad.
He creado un video de la base fundamental de la que parte la mayoría de cosas, puede ir a verlo si gusta: https://t.co/ombNUy2HFZ
@_nasch_ Vivimos de la nostalgia, cuando programabamos en VB, Delphi y Visual FoxPro. Además nos volvemos adictos al café y descubrimos una pasión por la naturaleza y la necesidad de cultivar algo.
La realidad en la Programación, es que la curva de aprendizaje inicial es amplia, posteriormente de va haciendo más ligero el aprendizaje.
Aprendan lo que los lleve a conseguir el primer trabajo, después, la cosa ya está menos difícil.
Saber inglés te da ventaja.
SQL es un lenguaje enorme, y su standar va obteniendo nuevas características con los años, las cuales nos facilitan la tarea a la hora de hacer consultas complejas.
El poder obtener una tabla junto a su tabla relacionada en la misma consulta, siempre es tema de complejidad
1/2