Jan Kocoń

15 years in AI | PhD in AI | Scientific Director @ PLLuM | Lead Data Scientist @ CLARIN | AI Lead Data Scientist & Assistant Professor @ Wroclaw Tech

[Jan Kocoń @kocon_jan]

@bryan_johnson Wishing you strength and good luck. I hope this brings you answers, healing, and helps others too!

[Jan Kocoń @kocon_jan]

YouTube: https://t.co/xINoA82pTm

[Jan Kocoń @kocon_jan]

KĄCIK WAKACYJNY...
... ale trochę naukowo też będzie ;)

Dawno, dawno temu (15 lat temu) tworzyłem hobbystycznie muzykę elektroniczną. Głównym narzędziem był program Fruity Loops - wielki kombajn z mnóstwem opcji, zrobienie czegoś sensownego to były tygodnie pracy.

Ponad 2 lata temu bawiłem się chwilę platformą AI do tworzenia muzyki o nazwie Suno. W skrócie: wpisujesz prompt, styl, własny tekst piosenki, a system generuje gotowy utwór. Efekty były ciekawe, chociaż jakość pozostawiała wiele do życzenia.

Ostatnio zajrzałem tam ponownie i ta technologia bardzo się rozwinęła. Spędziłem kilka godzin testując różne opcje. Wykupiłem też subskrypcję Pro, bo jakościowo model dawał lepszy efekt, niż bezpłatny. Model świetnie "rozumie" prompty i łatwo można osiągnąć przyzwoity efekt.

Ponieważ sporo korzystam z platformy Vast AI do różnych obliczeń, wpadł mi tam ostatnio w oko gotowy obraz z modelem LTX2.3, służący do generowania wideo. Jest to model open weight, z dość otwartą licencją, tj. można używać komercyjnie, pod warunkiem, że podmiot wykorzystujący zarabia mniej niż 10M $ rocznie. Jest to model dyfuzyjny audio-wideo, który generuje wideo na podstawie wejściowego obrazu, promptu oraz dostarczonego audio.

Chciałem sprawdzić, czy do utworu z Suno będę w stanie zrobić teledysk.

Pociąłem utwór na kawałki max. 20 sekund, następnie dla przygotowanej wcześniej historii stworzyłem obrazy wzajemnie warunkowane przy użyciu ChatGPT (Plus), tj. chodziło o uzyskanie efektu, by ta sama postać była na wszystkich obrazach. Udało się to średnio, być może są lepsze narzędzia do tego, ale akceptowalnie, by kontynuować zabawę ;)

Najwięcej trudności było z obsługą samego modelu dyfuzyjnego. Finalnie zrobiłem własny mini-system do zarządzania generowaniem scen. Znacznie poprawiło to stopień wykorzystania klastra, ale nie ułatwiło istotnie kontroli nad samym modelem. Około 90% wygenerowanych scen poszło do kosza. Porównałbym to do wczesnego ChatGPT3.5, gdzie liczyła się nie tylko idea, ale wstrzelenie się w oczekiwany format zapytania.

LTX2.3 produkuje wyjście w formacie 720p. Nie zorientowałem się, że można użyć dedykowanego modelu do upscale x2 od razu. Próbowałem zatem upscale innymi modelami open source (w tym SeedVR2), niestety model halucynował np. dodatkowe zęby ;) Finalnie wygrzebałem starszy model ST-AVSR, który nie daje aż tak ładnego efektu końcowego jeśli chodzi o tekstury, ale za to nie halucynuje. Na końcu jeszcze RIFE do interpolacji z 24 na 48 klatek na sekundę.

Wrzucam zajawkę tutaj, pełny utwór z teledyskiem jest dostępny na YouTube w linku w komentarzu. Utwór jest oznaczony jako AI, pełny opis dostępny pod filmem na YouTube.

Łączny koszt: ok. 100$ i ok. 25h zabawy. Gdyby nie nauka i błędy, dałoby się ok. 2-3x taniej/krócej.

Czy było warto? Nie wiem, ale bawiłem się całkiem dobrze i przynajmniej na chwilę wyszedłem z bańki LLMowej. W kwestii promptowania był to powrót do roku 2023, czyli kapryśne modele i wciąż potrzebny człowiek.

[Evals-Consensus.ai @EvalConsensusAI]

Last week, @davidmanheim argued that AI evaluation results are becoming load-bearing.

But that creates a problem:
How do we arrive at better common practices without first deciding who is in charge, or trying to dictate it ourselves? 🧵
https://t.co/Tn6ITF8Shv

[BlinkDL @BlinkDL_AI]

Now 204 papers training RWKV models, and RWKV-LM trains 12% faster by fusing more ops. Check https://t.co/yzEb3mjBf2 🙂

[Jan Kocoń @kocon_jan]

https://t.co/dodL4loe3T

[Jan Kocoń @kocon_jan]

Czy Polska potrzebuje własnej sztucznej inteligencji? 🤖🇵🇱

Miałem okazję podzielić się swoją perspektywą w najnowszej rozmowie, bazując na doświadczeniach z pracy nad PLLuM i budową modeli językowych w praktyce.

Temat dotyczy bardzo konkretnych kwestii: suwerenności technologicznej, kontroli nad danymi, rozwoju kompetencji i długofalowego wpływu na gospodarkę.

W rozmowie poruszam takie wątki jak:
👉 znaczenie strategiczne własnych modeli,
👉 wyzwania stojące dziś przed Polską,
👉 aktualny stan ekosystemu i możliwe kierunki rozwoju.

Link do rozmowy wrzucam w komentarzu 👇

Jestem ciekaw, jak Wy to widzicie.

[anna wittenberg @annawitten]

– Porównanie gotowych usług globalnych korporacji z dużo mniejszymi modelami rozwijanymi lokalnie daje efekt widowiskowy, ale słabiej pokazuje realną wartość tych narzędzi.

– Modele [...] mają oferować wysoką jakość języka polskiego w swojej klasie, rozsądny koszt wdrożenia, większą kontrolę nad danymi i możliwość działania na własnej infrastrukturze. Dla wielu firm i instytucji właśnie te cechy mają największe znaczenie.

Dzisiaj na @portalzeropl wracamy do sprawy polskiego modelu językowego Bielik i porównywania go z wielkimi zachodnimi modelami.

O tym, do czego używać polskiej AI pisze dla Was @kocon_jan:

https://t.co/wFYt3hYkxN

[Jan Kocoń @kocon_jan]

Artykuł: https://t.co/gRXjSkk0il

[Jan Kocoń @kocon_jan]

Gdy AI mówi "sprawdźmy to jeszcze raz", to jeszcze nie znaczy, że naprawdę to robi.

Artykuł "Can Aha Moments Be Fake? ..." (link w komentarzu) dotyka ważnego problemu: model AI może generować przekonujący tok rozumowania, ale nie każdy jego krok rzeczywiście wpływa na końcową odpowiedź. Autorzy rozróżniają więc kroki "prawdziwego myślenia", które realnie uczestniczą w wyliczeniu wyniku, oraz "dekoracyjnego myślenia", które wyglądają sensownie, ale mają znikomy wpływ na predykcję.

W jednym z przykładów model dostaje pytanie: "Jaka jest najmniejsza możliwa średnia czterech różnych dodatnich liczb parzystych?". Najpierw idzie złą ścieżką i dochodzi do wyniku 6, a potem sam zauważa poprawkę: jeśli wziąć 2, 4, 6 i 8, to średnia wynosi 5. Mimo to na końcu nadal odpowiada 6. Poprawna korekta pojawia się w tekście, ale nie zostaje realnie użyta przez model do wyznaczenia odpowiedzi. To przykład "myślenia dekoracyjnego".

Inny przykład z artykułu: "Jaka jest maksymalna liczba losów, które Jillian może wyciągnąć, nie otrzymując iloczynu będącego kwadratem liczby całkowitej?" Tu model również najpierw popełnia błąd i dochodzi do 12, ale potem sam siebie koryguje i wyprowadza 11. Tym razem końcowa odpowiedź też wynosi 11. Czyli korekta nie jest już tylko wiarygodnie brzmiącym komentarzem, ale faktycznie staje się częścią procesu dochodzenia do wyniku. To jest z kolei "myślenie prawdziwe".

Oba przypadki wyglądają podobnie: model mówi: "chwila, sprawdźmy to jeszcze raz". Różnica polega na tym, że w jednym przypadku to "samosprawdzenie" jest tylko narracją, a w drugim rzeczywiście steruje odpowiedzią. I właśnie tę różnicę autorzy próbują mierzyć za pomocą True Thinking Score (TTS). Miara ma pokazać, czy dany krok rozumowania naprawdę uczestniczy w dojściu do odpowiedzi. Autorzy najpierw patrzą, czy po zepsuciu tego kroku model zaczyna gorzej odpowiadać, a potem testują, czy ten krok nadal pomaga nawet wtedy, gdy wcześniejszy kontekst zostanie zmodyfikowany. Jeśli w obu przypadkach krok wyraźnie wpływa na wynik, dostaje wysoki TTS, inaczej jest "dekoracją".

Autorzy testowali różne modele językowe między innymi na zbiorze AIME (American Invitational Mathematics Examination) zawierającym trudne zadania matematyczne. Dla Qwen-2.5 średni TTS wynosi około 0,03; tylko 6,4 proc. kroków przekracza 0,3, a zaledwie 2,3 proc. przekracza 0,7. Innymi słowy, model może generować długi i przekonujący tok rozumowania, ale tylko niewielka część tych kroków rzeczywiście wpływa na końcową odpowiedź. Podobny sygnał widać też szerzej: w krokach "samosprawdzenia" niemal zerowy TTS ma około 12 proc. takich kroków w Qwen-2.5 i 21 proc. w Nemotronie.

Artykuł dobrze pokazuje, że płynne wyjaśnienie nie jest jeszcze dowodem dobrego rozumowania. Model może brzmieć tak, jakby sprawdzał własny tok myślenia, a mimo to wewnętrznie z niego nie korzystać. Dlatego w ocenie AI trzeba analizować nie tylko jakość odpowiedzi i wyjaśnień, ale też ich rzeczywistą rolę w procesie decyzyjnym.

[BlinkDL @BlinkDL_AI]

RWKV-8 "Heron" preview (1) - DeepEmbed. Seems Gemma3n is trying similar tricks (Per-Layer Embedding), so I will discuss it first 🪶 It's essentially free performance - lots of params, but can be offloaded to RAM/SSD, and simple to train and deploy🚀

[Jan Kocoń @kocon_jan]

@bryan_johnson Next time with ice on the boys - for the integrity of the study, you know 😉

[BlinkDL @BlinkDL_AI]

RWKV8 ROSA training demo - the first serious neurosymbolic LM? for a new era in AI 🌌 Code: https://t.co/j0eFQDISvu

[BlinkDL @BlinkDL_AI]

RWKV-8 ROSA: How to Train It? (Oct 13, 2025)

[BlinkDL @BlinkDL_AI]

RWKV-8 ROSA 🌹 mechanism: neurosymbolic infinite-range lossless information propagator beyond attention, enabling LLMs to invent their own inner monologue languages. First step towards scalable post-neural methods, for a new era in AI 🌌

[BlinkDL @BlinkDL_AI]

Glimpse of RWKV-8 "Heron" : solving RNN long ctx, no attention, no KV cache, new paradigm. A 100M RNN can efficiently do multi-hop ctx 1M tasks. Could named it RWKV-∞ ♾ and the first step to go beyond NN/DL 🙂

[Jan Kocoń @kocon_jan]

✨ I'm grateful to share two recent recognitions in my academic journey:
- Listed among the top 2% most cited researchers worldwide in 2024.
- Reached over 5,000 citations on Google Scholar.

These milestones reflect the invaluable collaborations with colleagues, students, and mentors who have shaped and enriched my work. Thank you all for the continued support and inspiration.

This would not have been possible without the support from the following projects:
- CLARIN-PL (POIR.04.02.00-00C002/19, FENG.02.04-IP.04-001/24)
- DARIAH-PL (POIR.04.02.00-00-D006/20, KPOD.01.18-IW.03-0013/23)

Onward to new ideas and discoveries! 🚀

[Jan Kocoń @kocon_jan]

It's been almost four months since our paper Improving LLM-Based Recommender Systems with User-Controllable Profiles was published at The Web Conference (WWW).

The serious part:
We explored how Large Language Models can make recommender systems more user-centered by letting people actively control their profiles, instead of being defined only by past clicks. Our results show that these user-controllable profiles can improve recommendation quality by up to 50% compared to historical baselines.

The not-so-serious part:
WWW required us to submit a short "promo video" for the paper. Naturally, we thought: why not go full 90s infomercial? Cue over-the-top acting, questionable camera work, and some intentional cringe — starring me and our first author Stanisław Woźniak. 🎬

Now that some time has passed, I'm still wondering:
👉 Does adding humor make scientific work more approachable and memorable?
👉 Or does it risk making the research look less serious?

What do you think? Curious to hear your perspective!
#LLM #RecommenderSystems #Research #TheWebConf

[BlinkDL @BlinkDL_AI]

RWKV7-G0a-7.2B fp16 decoding @ 5850 token/s on 5090 (bsz 320) Demo: https://t.co/4eOQaV1p8G and 10000t/s might be possible after optimizations🙂

[CyberDefence24 @CyberDefence24]

To ogromna szansa dla milionów chorych❗

🤖Sztuczna inteligencja daje ogromne możliwości w walce z rakiem. Już teraz mówi się o przełomie, który pozwala ratować ludzkie życie. I nie są to puste słowa👇

🗣"Bez technologii w ogóle nie istniejemy. Jest ona potrzebna pacjentom".

📎 Ważny materiał: https://t.co/ANfEehCMMi

@Economic_Forum_ @PWr_Wroclaw @Napieralski_G @kocon_jan