TomQ

We help get the stuff done BETTER, FASTER and CHEAPER… Even IF you are just getting started or … you’re burnt out PRO

[TomQ @eBlueWebDesign]

BrowserAct Open-Sources Two AI-Agent Skills, Giving Agents the Power to Use the Real Web https://t.co/nDnekgGM4E

[Andrej Karpathy @karpathy]

LLM Knowledge Bases

Something I'm finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating knowledge (stored as markdown and images). The latest LLMs are quite good at it. So:

Data ingest:
I index source documents (articles, papers, repos, datasets, images, etc.) into a raw/ directory, then I use an LLM to incrementally "compile" a wiki, which is just a collection of .md files in a directory structure. The wiki includes summaries of all the data in raw/, backlinks, and then it categorizes data into concepts, writes articles for them, and links them all. To convert web articles into .md files I like to use the Obsidian Web Clipper extension, and then I also use a hotkey to download all the related images to local so that my LLM can easily reference them.

IDE:
I use Obsidian as the IDE "frontend" where I can view the raw data, the the compiled wiki, and the derived visualizations. Important to note that the LLM writes and maintains all of the data of the wiki, I rarely touch it directly. I've played with a few Obsidian plugins to render and view data in other ways (e.g. Marp for slides).

Q&A:
Where things get interesting is that once your wiki is big enough (e.g. mine on some recent research is ~100 articles and ~400K words), you can ask your LLM agent all kinds of complex questions against the wiki, and it will go off, research the answers, etc. I thought I had to reach for fancy RAG, but the LLM has been pretty good about auto-maintaining index files and brief summaries of all the documents and it reads all the important related data fairly easily at this ~small scale.

Output:
Instead of getting answers in text/terminal, I like to have it render markdown files for me, or slide shows (Marp format), or matplotlib images, all of which I then view again in Obsidian. You can imagine many other visual output formats depending on the query. Often, I end up "filing" the outputs back into the wiki to enhance it for further queries. So my own explorations and queries always "add up" in the knowledge base.

Linting:
I've run some LLM "health checks" over the wiki to e.g. find inconsistent data, impute missing data (with web searchers), find interesting connections for new article candidates, etc., to incrementally clean up the wiki and enhance its overall data integrity. The LLMs are quite good at suggesting further questions to ask and look into.

Extra tools:
I find myself developing additional tools to process the data, e.g. I vibe coded a small and naive search engine over the wiki, which I both use directly (in a web ui), but more often I want to hand it off to an LLM via CLI as a tool for larger queries.

Further explorations:
As the repo grows, the natural desire is to also think about synthetic data generation + finetuning to have your LLM "know" the data in its weights instead of just context windows.

TLDR: raw data from a given number of sources is collected, then compiled by an LLM into a .md wiki, then operated on by various CLIs by the LLM to do Q&A and to incrementally enhance the wiki, and all of it viewable in Obsidian. You rarely ever write or edit the wiki manually, it's the domain of the LLM. I think there is room here for an incredible new product instead of a hacky collection of scripts.

[Google Research @GoogleResearch]

Introducing TurboQuant: Our new compression algorithm that reduces LLM key-value cache memory by at least 6x and delivers up to 8x speedup, all with zero accuracy loss, redefining AI efficiency. Read the blog to learn how it achieves these results: https://t.co/CDSQ8HpZoc

[Tommaso Gritti @TommasoGritti]

If you are on a Mac and you use different LLM model providers, this tiny app from @steipete is quite useful 🤩

[TomQ @eBlueWebDesign]

Thanks to Knopka Ivy for making this photo available on @unsplash 🎁 https://t.co/rG0ZxYdMUm

[TomQ @eBlueWebDesign]

Szczyt w Dosze: Powstrzymaj ONZ przed przejęciem władzy w ramach Agendy 2030 – Broń swojej wolności! - Kliknij tutaj: https://t.co/1kfXr3UejM

[TomQ @eBlueWebDesign]

Check it out 👉 Photoshop killer https://t.co/KzKh3CrffS

[Świat AI @swiat_ai]

Język polski uznano za najlepszy do promptowania.

Najnowsze badania naukowców z University of Maryland oraz Microsoftu wskazują, że język polski jest najbardziej precyzyjny w komunikacji z modelami językowymi, szczególnie przy długich i złożonych badaniach.

W ramach testu "OneRuler" sprawdzono 26 języków na różnych modelach językowych, w tym Gemini 1.5 i ChatGPT o3-mini-high. Zadania polegały głównie na wyszukiwaniu i agregacji danych.

A co z tego wyszło?
🟢Polski zajął pierwsze miejsce i osiągnął 88% skuteczności w zadaniach o najdłuższym kontekście
🟢Angielski został trochę w tyle, bo zajął dopiero szóstą pozycję z wynikiem 83,9%
🟢Chiński wypadł słabo, pomimo ogromnych zasobów danych - 23 miejsce z wynikiem 62,1%

Pierwsze miejsce naszego języka może trochę dziwić, bo jednak do trenowania modeli językowych nie użyto tak wielkich zasobów, jak np. do języka angielskiego.

A tak wyglądają wszystkie wyniki:
polski 88%
francuski 87%
włoski 86%
hiszpański 85%
rosyjski 84%
angielski 83.9%
ukraiński 83.5%
portugalski 82%
niemiecki 81%
holenderski 80%
norweski 79%
szwedzki 78%
duński 77%
węgierski 76%
fiński 75%
czeski 73%
japoński 72%
wietnamski 71%
perski 70%
serbski 69%
koreański 66%
hindi 65%
chiński 62.1%
tamilski 61%
swahili 55%
sesotho 45%

[Why you should have a cat @ShouldHaveCat]

Orange Cat malfunctioning 🤣

[TomQ @eBlueWebDesign]

@NVIDIAGeForce GeForce Day

[TomQ @eBlueWebDesign]

PE Energy anunció recientemente un comunicado de prensa destacando su compromiso con la expansión del mercado latinoamericano y la mejora continua en la cadena de suministro industrial.
La empresa reafirmó su posición como distribuidor líder de marcas internacionales como Jet-Lube, Caterpillar y 3M, ofreciendo soluciones integrales para los sectores de energía, petróleo, gas y construcción.
Con nuevas operaciones fortalecidas en México, PE Energy busca seguir impulsando la eficiencia y la confiabilidad en el suministro de equipos industriales a nivel regional. https://t.co/cbYnNhavYA

[Stu thats all you get🇺🇸🏴󠁧󠁢󠁥󠁮󠁧󠁿 @Boldyboy1975]

I ❤️all the Jeff’s🤣🤣🤣🤣

[Wiejski Organista @MarekWojtaszek]

O, i ten Pan zrobił to jak trzeba. Link zapisany i będzie kupowane :))

[Damian Żurawski @damian_zurawski]

Zostawię to tu, bo może ktoś akurat ma ochotę na prawdziwe, polskie pomidory.🍅 Proszę o RT

W Niewirkowie, w gminie Miączyn, dojrzewają pomidory, które jeszcze kilka dni temu mogły skończyć na ziemi.
Pole Pani Anny i Pana Tomasza Saganów pełne jest czerwonych, pachnących owoców - polskich, zdrowych, wyhodowanych własnymi rękami.

Nie proszą o wiele. Wystarczy, że ktoś przyjedzie, nazbiera, weźmie dla siebie, dla sąsiadów, dla rodziny.
Żeby się nie zmarnowały.
Bo tak właśnie działa dobro.
Zaczyna się od jednej historii, a kończy na ludziach, którzy nie potrafią przejść obojętnie.

Kontakt do Pani Anny: 513 121 597

Źródło: Jadwiga Hereta

Do tych, którym przeszkadza, że pomagamy rolnikom, nie musicie tego oglądać.
Nie każdy musi pomagać, ale wystarczy nie przeszkadzać tym, którzy chcą zrobić coś dobrego. Każdą osobę proszę zaobserwujcie mój profil tutaj zwiększamy zasięgi, żeby jeszcze bardziej pomagać.

[TomQ @eBlueWebDesign]

https://t.co/6mhTJHCflJ

[TomQ @eBlueWebDesign]

@SwiadomyWodnik @grok fakty czy mity? Przytocz źródła

[TomQ @eBlueWebDesign]

@ZssBecker HJUHkwYfNWtnLpt1ovX7xS2Ekj5jDLGiN3pUBp9avHXm

[TomQ @eBlueWebDesign]

Spotware releases cTrader 5.4 with native Python support, Webview plugin... https://t.co/zoAXvH62dm via @YouTube

[TomQ @eBlueWebDesign]

Kraken buys auto trading platform provider https://t.co/XuRkEXqGff https://t.co/qXdzIwMZK0