Que hermosa y util es el algebra lineal y los subespacios vectoriales tan injustamente odiados por los estudiantes
Explicado simple, uno de los cuellos de botella de los LLMs es la memoria necesaria para almacenar en cache el resultado de varios productos de matrices, por eso no podemos correr grandes LLMs en un solo GPU casero, no le alcanza la vRAM
Hay metodos de "quantizado" que comprimen (redondean) los pesos originales del LLM, justamente para que ocupen menos vRAM o memoria, pero terminan reduciendo la calidad del output
TutboQuant plantea un esquema en 4 pasos sin tocar los pesos originales del LLM, o sea sin perder precision
Paso 1, luego de calcular los K.V que es la primera multiplicaicon de matrices q hacen los LLMs, hacen una rotacion ortogonal (cambio de base), manteniendo el producto interno
Paso 2, ahi si comprimen reduciendo de 16bit hasta 2 o 3bit
Paso 3, durante la atencion Q.K, que es el segundo paso de multiplicacion de matrices que hacen los LLMs, se usan estas versiones comprimidas ahorrando muchisima vRAM
Paso 4, reconstruyen el sesgo del resultado del paso 3, usando un corrector que solo ocupa 1bit
Reduce mucho necesidad de vRAM, no reduce cómputo base, incluso agrega un peuqeño overhead, pero puede mejorar mucho la velocidad si estabas limitado por la RAM porq permite compresiones mucho mas agresivas (2bit) sin perder precision
O sea, podrian correrse los modelos chinos top TIER en "solo" 128 gb de RAM al tope de su calidad
🔴 SEMANA QUE VIENE SE PICA EL #DEVENGADO, NOS VISITA EDU TAPIA, FUNDADOR DE LATIN SECURITIES Y LEYENDA DEL MERCADO ARGENTINO. VA A ESTAR MUY MUY DIVERTIDO!
Bayes’ theorem is probably the single most important thing any rational person can learn.
So many of our debates and disagreements that we shout about are because we don’t understand Bayes’ theorem or how human rationality often works.
Bayes’ theorem is named after the 18th-century Thomas Bayes, and essentially it’s a formula that asks: when you are presented with all of the evidence for something, how much should you believe it?
Bayes’ theorem teaches us that our beliefs are not fixed; they are probabilities. Our beliefs change as we weigh new evidence against our assumptions, or our priors. In other words, we all carry certain ideas about how the world works, and new evidence can challenge them.
For example, somebody might believe that smoking is safe, that stress causes mouth ulcers, or that human activity is unrelated to climate change. These are their priors, their starting points. They can be formed by our culture, our biases, or even incomplete information.
Now imagine a new study comes along that challenges one of your priors. A single study might not carry enough weight to overturn your existing beliefs. But as studies accumulate, eventually the scales may tip. At some point, your prior will become less and less plausible.
Bayes’ theorem argues that being rational is not about black and white. It’s not even about true or false. It’s about what is most reasonable based on the best available evidence. But for this to work, we need to be presented with as much high-quality data as possible. Without evidence—without belief-forming data—we are left only with our priors and biases. And those aren’t all that rational.
Talleres de Práctica Profesional para Economistas, una preparación para los desafíos del mundo laboral.
El Taller de Finanzas a cargo de @Rodri_Corvalan brindó una inmersión práctica en las herramientas y habilidades técnicas requeridas en el sector financiero. 📉💲
Desde este año, el Departamento de Economía incorpora talleres de práctica profesional para estudiantes avanzados de la carrera. Una excelente forma de preparar la transición de la vida universitaria al mundo laboral.
@constant_hevia Excelente iniciativa!! Tambien fue un placer haber participado. En el taller vimos cálculos de tasas (de bonos reales+) y spreads, (btw en el taller nro 2 se habló de un tema de finanzas que se tocó en X hace unas semanas, el EMBI+ Arg)
¡Encantados de arrancar las charlas sobre la práctica profesional para 4° año de la Lic. en Economía! Ayer, genial sesión en Finanzas. ¡Gracias Rodrigo!
Y cuando el equipo de @EconomiaDiTella organiza se nota su dedicación (esos detalles que hacen todo mejor, como los snacks)🙏
Con el nuevo esquema monetario/cambiario, y la expectativa de baja de TCN en el corto plazo, vuelven los fantasmas del “carry que siempre termina mal.” Pero creo que hay varias diferencias relevantes con el pasado, que matizan esa preocupación. Van algunos argumentos 🧵 1/