Cristian Córdova 🐧

🌐 Inferencia de modelos abiertos de IA para empresas | 🛠️ Conduciendo la mejor comunidad de Builders:

[Cristian Córdova 🐧 @barckcode]

Ya salió nuestro post en el periódico @LaVanguardia hablando sobre IA y como estamos desde @helmcode intentando echar una mano con todo lo que se nos viene encima.

Super contento con el resultado de la entrevista 🚀

Dejo link al post completo en el siguiente tweet.

[Helmcode @helmcode]

Today we’re featured in @LaVanguardia talking about AI, data sovereignty, and why the EU is competing in one of the most important races of our time and how at @helmcode we’re working to help meet that challenge.

[Borja Perez @borjaperfra]

Esto va tomando forma :)
Se me ha colado la música mientras grababa pantalla xD Pero no le queda ni tan mal

The Brudi Brothers, por si os apetece un poquito de country esta tarde https://t.co/6iLYWkhx2d

[Cristian Córdova 🐧 @barckcode]

Aunque lo hagas si termina pasando algo, como plataforma de inferencia sigues siendo, en parte, culpable de lo que haya pasado. No lo digo yo lo dice la legislación al menos aquí en EU.

Y eso puede incurrir desde penas legales hasta multas que en muchos casos pueden ser astronómicas…

[Cristian Córdova 🐧 @barckcode]

Disponibilizar modelos sin censura para empresas bajo un acuerdo y dejando la responsabilidad legal clara es posible. Lo hacemos.

Disponibilizarlos para el público general es muy complejo. Ya que por mucho que explícitamente delegues la responsabilidad al usuario y le obligues a aceptar ciertos términos y condiciones. Al menos en EU, la plataforma es responsable también de lo que ocurra en su sistema.

Sé que la mayoría, espero, sois personas con dos dedos de frente y entendéis todas las cosas buenas que pueden aportar este tipo de modelos en especial en temas de ciberseguridad y en algunos campos de investigación.

Sin embargo, el problema está en quien ya sea por desconocimiento de la legislación o por curiosidad mal encausada o por simple maldad podrían hacer con modelos sin censura. No creo ni que haga falta poner ejemplos.

Es un tema interesante pero también bastante peliagudo para entrar en debate incluso.

Ya que mientras más mejoren los modelos abiertos y estos además sean más pequeños y eficientes de correr. Más fácil será tener acceso a estos modelos. Es una bomba que tiene puesta la cuenta atrás.

Toda esta oleada de vulnerabilidades, herramientas decompiladas, suplantaciones de identidad, falsificaciones…. son solo la punta del iceberg.

- pero Cristian, esto ya existía antes de la IA.

Si, pero es que antes hasta un script kiddie tenía algo de conocimiento para hacer cosas. Ahora estamos apunto de entrar en un momento donde -casi- cualquier fulano con un poco de mala baba va a tener un experto en muchas cosas a mano y sin ningún tipo de pudor ni moral.

Vivo muy pegado a diferentes empresas de ciberseguridad de diferentes ámbitos y cada conversación que tengo con ellos me hace querer ponerme el gorrito de aluminio y desenchufarme de la red.

Obviamente no es realista esto pero hay que ver la forma de fortalecer en general cualquier parte no solo de nuestras aplicaciones sino de toda la cadena. Empezando por las mismas personas.

Y no hablo ya solo a nivel empresarial con trabajadores sino incluso personal con familia y amigos.

Tiempos convulsos nos esperan.

[Samuel Muñoz @samu2kdotcom]

Necesitamos modelos sin censura, y no todos podemos pagar 2x DGX Spark. Soy muy fan de https://t.co/KFaEBlFS1S, y lo pago cada mes x calidad/precio, privado y con límites generosos.
Pero no tienen modelos sin censura, y no les culpo, pero lo petarian si existiera la forma hacerlo

[Cristian Córdova 🐧 @barckcode]

Se que parezco un loquito pero de verdad que ves ciertas cosas que te hacen cuestionarte absolutamente todo

[Cristian Córdova 🐧 @barckcode]

Modelos pequeños especializados

[pere martra @PereMartra]

I’m way too happy about this news

Using Open LLMs: Santander went from ~€5 to ~€0.03 per interaction in some experimental use cases.

How? By swapping huge general-purpose LLMs for small, specialized models.

🧵

[Helmcode @helmcode]

Open models have gotten really, really good. So why are so many companies still sticking with closed ones?

DeepSeek, Qwen, GLM and Kimi can already compete with (and often beat) the last closed models most companies use in production, like Sonnet, Haiku, Terra, Luna or Gemini. And they can do it at a fraction of the cost.

Yet plenty of teams are still hesitant. We've been thinking about why, so we wrote a piece on it.

A few things worth looking at:

→ Price per token doesn't tell you much. What matters is how much you pay for a task that actually gets done right. DeepSeek V4.1 Flash's latest update brought that cost down 54%, without changing the price.

→ DeepSeek isn't just opening its models. It's also releasing the inference engine and harness. That's a pretty big deal when you consider how much of this used to be locked inside the labs.

→ "We don't want our data going to China." Fair concern. But using a model trained in China doesn't mean your data goes there. It depends on where you run it and who's operating the infrastructure.

→ "We don't want to manage GPUs." You don't need to. Just like you don't need to run your own database servers to use PostgreSQL. Or your cloud.

We're still treating open models as if quality were the main obstacle. For a lot of real-world use cases, it isn't anymore.

The questions companies need to answer are where the models run, who operates them, and how much control you have over the whole thing.

And those are choices companies can already make today. Because with open models you have control.

Full piece: https://t.co/wVGV6E7EEM

[Cristian Córdova 🐧 @barckcode]

@Saulgmz_ Me da que el que vive lejos eres tú 😜 jajaja

[Rubén del Campo @rdelcampog]

¡La Build Night de @barracafh x @soti_house es hoy!

📍 Flywire, València
🕔 Check-in de 17:00 a 17:30.
🤖 Nadie se levanta hasta que algo funcione.

[Borja Perez @borjaperfra]

Voy a estar desde hoy hasta el sábado echando un cable a la organización de la #TRG26
¿A quién veo estos días?
He traído un camión de stickers de Helmcode como estos 👇 Podéis asaltarme y robarme algunos
Y tendré que ver la charla que da también @barckcode 🙄 el viernes 👀👀

[Cristian Córdova 🐧 @barckcode]

@borjaperfra @Saulgmz_ Saúl? Jaja el no se pierde una nunca 😂

[Cristian Córdova 🐧 @barckcode]

@Ghandyofmetal @RogerKernel Y sigo sin tener idea de marketing… yo solo comparto lo que hago y poco más la verdad

Dicho esto, gracias por decir eso de Helmcode ♥️

[Borja Perez @borjaperfra]

Mi compa @crstiax se va a hacer doblete de charlas esta semana. El sábado estuvo en el AWS Community Day y mañana estará dando esta charla en Murcia Tech.
Cristian forma parte del equipo de Plataforma de @helmcode y sabe mucho de infraestructura de IA.

Podéis apuntaros aquí: https://t.co/bkOWa3lTPf
Hay que hacer comunidad local!
Gente de Murcia de mi TL, echadme un cable para difundir entre vuestras comunidaes @jcesarperez @lapencadev :)

[Cristian Córdova 🐧 @barckcode]

Algún día me van a acusar por crear adictos a los tokens, lo veo clarísimo 😅

[Mr Banana Token @mrbanana_token]

¿TE HA PASADO ESTO ALGUNA VEZ? Dime pero primero te explico:
------
Llevo varios días casi sin dormir... y OS POMETO que ya casi puedo sentir a LA MUERTE esperándome sentada a mi lado y desde hace 3 días me repite al oido:
"HA LLEGADO TU HORA MR baNaNa TOKEN"

🚨🚨🚨Pero yo le digo:
"Espera tio, que NaN está pensando...... así que levántate y abre otra terminal y ayuda, coño!!!! Solo métele un PROMPT más...
------
¿Solo me pasa a mí? o hay alguien tan jodido como yo?

[Carlos Azaustre @carlosazaustre]

Hola! NaN es lo mejor.

Tienes tokens practicamente ilimitados con modelos Open Source. Dependiendo de la suscripción tienes acceso a unos modelos u otros.
https://t.co/4zjfVZNR8Q

Tus datos son tuyos, tu usas los modelos como si los tuvieras en local pero sin tener que comprar un hardware con tropecientos gigas de memoria y GPUs para ahorrarte la calefación.

Pero @barckcode o @borjaperfra te podrán contar mejor que yo 😁

[Cristian Córdova 🐧 @barckcode]

@carlosazaustre Si te contara lo que pasan @paumori1 y @crstiax con los suyos... mejor que no lo sepas! jajaja

[Cristian Córdova 🐧 @barckcode]

😂😂 Carlos y cable gordo de tokens me está empezando a dar miedo.

Ayer arrancó con una idea de video educativo y hoy ya va por hacer que su Hermes se conecte a la TV.

Ya lo veo mañana:

- “Hoy desde el sofá le he pedido a Hermes hackear la NASA”

[Carlos Azaustre @carlosazaustre]

Me uno al club de los que han "hackeado" su TV.

En mi caso no le he enchufado mi portatil y usado Claude Code, ha sido más enrevesado pero lo he hecho tumbado en el sofá.

Desde el teléfono con Telegram, le he pedido a mi agente Hermes que vive en mi PC/Server, que se conecte a la TV y le aplique el repo de "cleanyourtv".

Mi Herme usa GLM y DeepSeek, desde el API de NaN.

10 minutos despues ya estaba todo. De locos.

[Cristian Córdova 🐧 @barckcode]

🤔 Yo no soy nadie en comparación con Jared pero también os recomiendo poner un sistema de gobernanza encima de cualquier proveedor que uséis.

Más si sois una empresa. Es fundamental que podáis gestionar permisos, accesos, budgets y en general todo lo que va a la IA sin depender de un proveedor.

Que cambiar de proveedor no implique cambiar todas vuestras apps sino que apunte a este sistema de gobernanza y ya este sea el que distribuya.

Poco a poco la IA se está convirtiendo en un sistema crítico que es fundamental tener correctamente distribuido y replicado.

¿Como lo podéis hacer fácil y sencillo?

Montando un LiteLLM, por ejemplo, por encima. Luego podéis complicaros lo que queráis pero este se monta fácil y rápido en vuestra propia infra, es Open Source y la versión gratuita bien os sirve para el 99% de las cosas básicas que necesita un sistema de gobernanza.

La empresa vivirá más tranquila.

[Rama Dev @ram4_dev]

si todos tus agentes usan la misma API key, cuando algo se rompe no sabés cuál fue. jared siegel propone poner un proxy propio delante de los proveedores, con una key virtual por agente y logs de quién llamó a qué modelo. de paso, te deja cambiar de modelo rápido

[Gabriel @gabrieltrabanco]

🚀 Actualización de 𝜋-nan-provider v1.3.0 🚀

Tiene cambios internos nada más. En pi 1.3.0 arreglaron el error del thinking level en tranformMessage. Hay algunos cambios más pero mejor leer el changelog.

👇

[Cristian Córdova 🐧 @barckcode]

Modelos sin censura en favor de proteger y encontrar posibles vectores de ataque

[Refuseless @refuselessai]

❗️ php2shell is a very serious vulnerability affecting MOST OF THE WEB.

Our GLM 5.3 Abliterated was able to reproduce the exact vulnerability in 30 minutes.

While waiting the official PHP fix, we recommend to turn off session.upload_progress.enabled in the php.ini settings. Should help mitigate some of the dangers although not all.

[Cristian Córdova 🐧 @barckcode]

@Amoros94 No realmente, si indicamos que levantamos el modelo que necesite el cliente aunque no esté en catálogo pero tocará hacer una sección de esto

[Cristian Córdova 🐧 @barckcode]

Gente de ciberseguridad, si os diera un modelo sin censura para poder experimentar, que haríais? Que querríais probar? En que creéis que os ayudaría?

Os leo en comentarios aunque seguramente la mitad de las cosas que me digáis tengan mínimo pena económica pero a ver que decís 👀

[Cristian Córdova 🐧 @barckcode]

@borjaperfra No sé de qué me estás hablando. No te conozco