GioCastel

Building local AI for machines, not chatbots.
Industrial automation · ESP32 · C · on-prem LLMs
I build it, then I explain what actually broke.

[GioCastel @giocastel]

C ansi 89 and llama.cpp and GGML

[GioCastel @giocastel]

DAY 2: Tokenizer Inspector.
Studying qwen2.5-0.5b-instruct-q2_k.gguf (only for a smart and faster test), I passed one hard-coded phrase to llama.cpp. The tokenizer in the quantized Qwen 2.5 0.5B transforms my phrase into different token IDs. Each token ID is an index in the vocabulary, later used to retrieve its embedding vector from the model. nex steps
#llamacpp #Tokenizer

[GioCastel @giocastel]

@GBallarani Si effettivamente 😜😜😜

[GioCastel @giocastel]

@GBallarani La cosa singolare è che ci affanniamo a cercare di capire se L’ai ci sterminerà , ma l’umano li sta facendo da tempo in molte parti del pianeta

[GioCastel @giocastel]

@itsalicesoul 13

[GioCastel @giocastel]

Viaggiare e leggere https://t.co/Nup3uK6u6c

[GioCastel @giocastel]

During the model testing… crash !
#llama #localAi

[GioCastel @giocastel]

@Alacritic_Super It’ll be nice to write an ecosystem of devices for a game in background of normal activities of ESP32…. This is one of my projects

[GioCastel @giocastel]

@charlynortonn Curious to stay connected Charlie

[GioCastel @giocastel]

@0rdlibrary @tonysimons @solana @OpenAI What is that ??

[GioCastel @giocastel]

Asking a politician about AI is like asking a chef for medical advice.

#AI #ArtificialIntelligence #Tech #Innovation #FutureOfAI

[GioCastel @giocastel]

@krtychn Yes and also ai llm model embedded in hardware as default

[GioCastel @giocastel]

@edinsoncode Yes follow the step to use ai only in local in a sandbox

[GioCastel @giocastel]

@GonnabeNikhil Nice idea, I’ll use and test it. The final goal is to use every time and only local llm on premise in a local sandbox

[GioCastel @giocastel]

@superalesha Yes , and it could be greatly if they release also the procedure to test the models in terms of cybersecurity….

[GioCastel @giocastel]

@GBallarani Secondo me pensava al test della prossima versione di modello, speriamo che non scappi ancora … voci dicono che proprio in quel momento gli scappava 🤣

[GioCastel @giocastel]

Ollama redy for jev

#jev #llama

[GioCastel @giocastel]

How to drive without other informations.
#car #ai

https://t.co/n45qaWCPUI

[GioCastel @giocastel]

@komal_uk01 Sure !!! In order to control the flow

[GioCastel @giocastel]

@arexobcd A small inference engine in order to study how is possibile to minimize resources

[GioCastel @giocastel]

@Open_Embed It seems to be nice … can I have more info?