Michał Kardyś

👀

[Remek Kinas @KinasRemek]

basal inference engine 2.5 🇵🇱 już dostępny

Dwa tygodnie intensywnej pracy. Ogromne podziękowania dla kontrybutorów - 7 osób i 20 pull requestów: Miłosz Kucharski, Paweł Kiszczak, Marcin Brzeżański, Dariusz Koryto, Grzegorz Stark, Michał Kardyś, Grzegorz Brzezinka.

Bilans tej wersji: 65 obszarów zmian - 28 nowych funkcji, 28 usprawnień i 9 grup poprawek. Sporo implementacji, testów. Dajcie znać czy wszystko działa (na chwilę zatrzymam implementację kolejnej wersji by wygrzać tą, usunąć jakieś problemy jeśli się pojawią).

Co to daje Twojemu systemowi, aplikacji?

🔸 Skalowanie przez jeden endpoint. basal-router kieruje żądania dotyczące tego samego dokumentu do tej samej repliki, wykorzystując jednocześnie współdzielony cache. Dwie karty H100 osiągnęły 1,58× przepustowości jednej, przy dwukrotnie większej liczbie klientów.

🔸 Większy model wtedy, gdy mniejszy nie jest pewien. Wielopoziomowa kaskada. Mini -> ultra dało około 1,5× przepustowości samego ultra, przy różnicy trafności do 0,5 punktu procentowego na zbiorze testowym.

🔸 Kontrola niepewności. Zestawy odpowiedzi, certyfikowane progi z możliwością wstrzymania decyzji, ponowny odczyt i kontrola kolejności opcji.

🔸 Większy wybór sprzętu. Ultra mieści się na karcie 48 GB. Na MacBooku Air M4 cache dokumentu o długości 2,1 tys. tokenów skrócił czas żądania z 13,7 s do 0,9 s. Obecnie trwają też prace nad portem do GPU AMD (i optymalizacja).

🔸 Integracja z Twoim środowiskiem. Decisions API, TypeScript, Python, LM Studio, MCP oraz narzędzia dla LangChain, LlamaIndex i CrewAI. Możesz też podłączyć model czatowy i skalibrować go na oznaczonych przykładach.

Kolejna wersja to 2.5.2 - state cache dla Ultra FP8, lepsze skalowanie routera na wielu GPU, dalsze dopracowanie MLX i Strix Halo (precyzja obliczeń nie przechodzi moich bramek), grupowanie żądań multimodalnych w vLLM, dostosowanie do omni 2.0 (tutaj muszę rozszerzyć formaty odpowiedzi).

[Michał Kardyś @kardysm]

@MgShelby Widzę, że licznik poszedł do przodu.
Dzięki, na pewno im będzie mega miło!

[Michał Kardyś @kardysm]

@MgShelby Dziewczynka z zespołem WHS (wycięta część genów) zbiera na rehabilitację, a zbiórka straciła impet
https://t.co/6BAxVHNI0u

[Jakub Mrugalski 🔥 @uwteam]

"Projekty" w Claude AI mają przewagę nad projektami w ChatGPT.
Oferują obsługę dynamicznych treści, z której korzystam niemal codziennie.

Co to jest i po co Ci to? 🧵 ↓

[Michał Kardyś @kardysm]

@tomasz_ducin @matjan_dev Gniazdo było u mnie ciężko dostępne. Jak już ustaliłem dokładne miejsce gniazda (i nieźle rozsierdziłem osy)

to takie cacko sporo ułatwiło i ochroniło przed kolejnymi użądleniami

[Michał Kardyś @kardysm]

@tomasz_ducin @matjan_dev takie coś:
https://t.co/IQ7hFPLaYd

ma wężyk w zestawie + hak
po odpaleniu ma blokadę, że opróżnia puszkę do 0

[Michał Kardyś @kardysm]

@tomasz_ducin @matjan_dev gaśnica na osy też daje radę ( testowane tylko na osach zadomowionych w szczelinie: wężyk i blokada + potem zapiankowanie otworu )

[Michał Kardyś @kardysm]

@levelsio @Jaaneek On top of UCITS,
accumulating etf is more tax friendly in PL (dividends are invested without additional tax)

VUAA in this case

[Michał Kardyś @kardysm]

@tomasz_ducin @DanielGlejzner @brechtbilliet VLC (or other player) and displaying it in the OBS might be an option 🙃

btw, free https://t.co/VWCOAsgKhY nicely boost OBS by leveraging browser + webRTC capabilities

[Tomasz Ducin @tomasz_ducin]

👉 creating input array itself is not measured
👉 each test ends with console.log(item) to make sure there's no dead-code JIT optimization

🚀 test #1
📦 small data set: array(50)
🔨 no operations
👉 ~400 ops (iter) vs ~400 ops (arr)
no clear winner, results are NON reproducible

[Tomasz Ducin @tomasz_ducin]

🤔 why should we all focus on #ECMAScript/#javascript iterators very much?
⚡️ and how does that impact performance?

The Ultimate Guide to PERFORMANT DATA PROCESSING (via iterators) - future #javascript - in the thread below 🧵

[Stripe Press @stripepress]

“Spend each day trying to be a little wiser than you were when you woke up.” —Charlie Munger

Poor Charlie’s Almanack is out today. You can read and listen to the new edition online, for free, at https://t.co/UaMFvvvTMH

[Jacek Lempart @J_Lempart]

Szukasz rzetelnej wiedzy o inwestowaniu z wykorzystaniem ETF-ów. Zapraszam do odwiedzenia https://t.co/b3MReupCzz:

✅Katalog >3 tys. ETF
✅Dostępność ETF u brokerów
✅Rankingi ETF
✅Rankingi brokerów
✅Kilkadziesiąt artykułów edukacyjnych

Będę wdzięczny za podanie dalej. 🙂🙏

[Michał Kardyś @kardysm]

@acemarke @YustoYmc the good part is the toolkit approach mixes well with legacy codebases 🙌

It's a breeze to gradually refactor and use a new slice within old reducer

[Michał Kardyś @kardysm]

want to see more on making frontend legacy painless?

follow me: https://t.co/vGRHJhgRj9

[Michał Kardyś @kardysm]

How to handle breaking change as a frontend developer

3 simple steps

[Michał Kardyś @kardysm]

benefit of this approach?

you can easily fall back into legacy if new code has a bug