Szymon Antoniak

head of allium and brassica consumption for Eastern Europe | will not discuss ginger OR anethole flavours | IA @MistralAI

[Szymon Antoniak @Simontwice2]

🐍🐍🐍
Rental snake innit

[Mistral AI @MistralAI]

https://t.co/fOJD03yfDR
https://t.co/4eBiFdOrJe

[Piotr Miłoś @PiotrRMilos]

This is a great news! My faculty has a great track record in producing alumni which turned into top-notch AI researchers.

At the same time, it did not have that much AI researchers, ... until recently!

Proud of the faculty, and proud of my students who have been contributing to this effort

[Szymon Antoniak @Simontwice2]

@marek_a_cygan Congratulations!

[Michał Podlewski @trajektoriePL]

https://t.co/VYiPOs64Sb

[Szymon Antoniak @Simontwice2]

@dchaplot gl Devendra!

[Szymon Antoniak @Simontwice2]

MoE seal of approval 100% free-range organic certified

[Jan Ludziejewski @jahulas]

(1/n) Introducing Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient

We show that MoE is so compute-efficient that, under the same memory budget, it can beat a dense alternative!

[Szymon Antoniak @Simontwice2]

@KinasRemek Super! Na jakim datasecie trenowane?

[Mistral AI @MistralAI]

magnet:?xt=urn:btih:11f2d1ca613ccf5a5c60104db9f3babdfa2e6003&dn=Mistral-Small-3-Instruct&tr=udp%3A%2F%https://t.co/OdtBUsbeV5%3A1337%2Fannounce&tr=http%3A%2F%https://t.co/ua2yzvEYLu%3A1337%2Fannounce

[Baptiste Rozière @b_roziere]

The new codestral is tied #1 on the copilot arena! The other models tied for #1 are DeepSeek 2.5 (236B total params, 21B active) and Claude 3.5 Sonnet. They are both much larger than Codestral 25.01.

[Szymon Antoniak @Simontwice2]

Being an alumnus of said LLM group (fantastic time doing research and becoming friends) I wholeheartedly recommend both Sebastian and Jan!

[Marek Cygan @marek_a_cygan]

Let me advertise the results of the LLM group at the University of Warsaw & IDEAS. I was happy to see the growing strength of the group, both in terms of the number of people engaged but also the quality of the project results. With the focus on Mixture of Experts in LLMs, this year resulted in two publications:

* First at ICML’24 Scaling Laws for Fine-Grained Mixture of Experts: https://t.co/SHHP4Shf2e
* And the upcoming Neurips’24:
Mixture of Tokens: Continuous MoE through Cross-Example Aggregation https://t.co/RQezzJ7jre

Two most experienced group members: Sebastian Jaszczur (@S_Jaszczur) and Jan Ludziejewski (@jahulas) are wrapping up their PhDs and are currently on the job market!

[Marek Cygan @marek_a_cygan]

Let me advertise the results of the LLM group at the University of Warsaw & IDEAS. I was happy to see the growing strength of the group, both in terms of the number of people engaged but also the quality of the project results. With the focus on Mixture of Experts in LLMs, this year resulted in two publications:

* First at ICML’24 Scaling Laws for Fine-Grained Mixture of Experts: https://t.co/SHHP4Shf2e
* And the upcoming Neurips’24:
Mixture of Tokens: Continuous MoE through Cross-Example Aggregation https://t.co/RQezzJ7jre

Two most experienced group members: Sebastian Jaszczur (@S_Jaszczur) and Jan Ludziejewski (@jahulas) are wrapping up their PhDs and are currently on the job market!

[Szymon Antoniak @Simontwice2]

@TheGregYang Nicki Minaj over Megan Thee Stallion? Idk man idk I say double check the pretraining data...

[Michał Podlewski @trajektoriePL]

Sukces polskich badaczy z IDEAS NCBR!
Aż sześć publikacji naukowych oraz jeden poster, których są współautorami, zostało przyjętych na prestiżową i niezwykle popularną konferencję NeurIPS 2024. Jedna z prac otrzymała specjalne wyróżnienie jako Spotlight Paper.
Serdeczne gratulacje dla wszystkich autorów!

Cała lista:

1. ‘Repurposing Language Models into Embedding Models: Finding the Compute-Optimal Recipe’

https://t.co/s50BNYcs7i

Autorzy: Alicja Ziarko, Albert Q. Jiang, Bartosz Piotrowski, Wenda Li, Mateja Jamnik, Piotr Miłoś

2. ‘Bigger, Regularized, Optimistic: scaling for compute and sample-efficient continuous control’ [spotlight paper]

https://t.co/cuoJ2V1TNV

Autorzy: Michal Nauman, Mateusz Ostaszewski, Krzysztof Jankowski, Piotr Miłoś, Marek Cygan

3. ‘Mixture of Tokens: Continuous MoE through Cross-Example Aggregation’

https://t.co/uqP5ozpQmg

Autorzy: Szymon Antoniak, Michał Krutul, Maciej Pióro, Jakub Krajewski, Jan Ludziejewski, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Marek Cygan, Sebastian Jaszczur

4. ‘Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion’

https://t.co/BNZB8Xb7ML

Autorzy: Filip Szatkowski, Bartosz Wójcik, Mikołaj Piórczyński, Simone Scardapane

5. ‘D-MiSo: Editing Dynamic 3D Scenes using Multi-Gaussians Soup’

https://t.co/bWCT4Lq8Ri

Autorzy: Joanna Waczyńska, Piotr Borycki, Joanna Kaleta, Sławomir Tadeja, Przemysław Spurek

6. ‘Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning’

https://t.co/a0cJHy2KAj

Autorzy: Grzegorz Rypeść, Sebastian Cygert, Tomasz Trzciński, Bartłomiej Twardowski

7. Benchmarking Structural Inference Methods for Interacting Dynamical Systems with Synthetic Data

https://t.co/hnaQFaDyDh

Aoran Wang, Tsz Pan Tong, Andrzej Mizera, Jun Pang

Poza tym, 6 publikacji zostało przyjętych jako workshop posters:

1. Different Rates for Different Weights: Decoupled Relative Learning Rate Schedules

Autorzy: Jan Ludziejewski, Maciej Pióro, Kamil Ciebiera, Michał Krutul, Jakub Krajewski

2. Wait, that’s not an option: LLMs Robustness with Incorrect Multiple-Choice Options

Autor: Gracjan Góral

3. Seeing Through Their Eyes: Evaluating Visual Perspective Taking in Vision Language Models

Autorzy: Gracjan Góral, Alicja Ziarko, Michał Nauman, Maciej Wołczyk

4. AI for Accelerated Materials Design – NeurIPS 2024

Autor: Grzegorz Kaszuba

5. Transfer Learning in Materials Informatics: structure-property relationships through minimal but highly informative multimodal input

Autor: Grzegorz Kaszuba

6. Since Faithfulness Fails: The Performance Limits of Neural Causal Discovery

Autorzy: Mateusz Olko, Mateusz Gajewski, Łukasz Kuciński, Piotr Miłoś

Raz jeszcze gratulacje dla wszystkich autorów!

#TakDlaNauki
#TakDlaAI

[Piotr Miłoś @PiotrRMilos]

It's fun!

[Szymon Antoniak @Simontwice2]

@AlbertQJiang one of them is more fun than the other

[Szymon Antoniak @Simontwice2]

@f_szatkowski @WojcikBar @AjPiorczynski @s_scardapane Looks great, would love to see the performance retention on language benchmarks!

[Piotr Sankowski @piotrsankowski]

Przede wszystkim chcę zacząć od słowa: dziękuję. Tym, którzy tak licznie zaangażowali się we wsparcie dla mnie, mojego zespołu, tego co robiliśmy i bardzo chcemy robić nadal.

@IDEAS_NCBR to projekt, w który zaangażowałem się aby budować AI w Polsce. Po to aby kluczowe dla rozwoju nauki rzeczy działy się tutaj, a nie za “wielką wodą” i przy udziale wszystkich osób, mogących realnie wspierać aspiracje Polski w tym zakresie. Założeniem IDEAS było i jest tworzenie wspólnej płaszczyzny dla tych, którzy chcieli tworzyć polskie rozwiązania w obszarze AI i uczenia maszynowego oraz wspierać badaczy w tym obszarze. IDEAS wspólne z uczelniami kształci młodych naukowców: w uczelniach robią oni doktoraty, jednocześnie w ramach IDEAS pracują w zespołach nad dodatkowymi projektami badawczymi umotywanymi zastosowaniami, co miało ich zachęcić do pozostania w Polsce. IDEAS zachęciło i zachęca czołowe polskie i zagraniczne nazwiska do prowadzenia i pracowania w tych zespołach w Polsce, tworząc wzorowany na najlepszych wzorcach model komercjalizacji, przez spółki spin-off, z aktywnym udziałem twórców. Z biznesem rozpoczęło wzorcową pracę nad projektami zmieniającymi całe branże. Założenia te były wynikiem szerokich konsultacji, zaś ich realizacja spotykała się z aprobatą naszych interesariuszy: nauki i biznesu w kraju i za granicą.

Zawsze o tym mówiłem, że bardzo bym chciał, aby naukowcy mieli szansę pracować w Polsce nad pionierskimi badaniami i także przyjeżdżali do Polski w tym celu. Ten cel nigdy nie był łatwy, a nasza organizacja od początku mierzyła się z wieloma wyzwaniami. Mimo to udawało nam się żeglować w taki sposób, aby ten nasz wspólny okręt nie dał się sztormom i szkwałom. Przede wszystkim dlatego, że wspólnie wierzyliśmy i realizowaliśmy idee IDEAS. To ogromna praca, wiele nieprzespanych nocy oraz niezliczona liczba rozmów, a przede wszystkim zapewnień partnerów, że organizacja, którą tworzymy jest stabilna. Bez tego nie byłaby w ogóle możliwa współpraca badawcza z wiodącymi firmami technologicznymi, takimi jak Amazon, Snowflake, xAI, ani konstruktywnej współpracy edukacyjnej z 11 polskimi ośrodkami naukowymi.

IDEAS to naprawdę nie był łatwy projekt, ale się udało i osiągnęliśmy bardzo wiele. Przede wszystkim nasza instytucja została trwale wpisana w międzynarodową tkankę badawczą skupiającą najlepsze instytucje na świecie i w Europie, np. ELLIS, ADRA, projekt ELIAS, a także liczne inne projekty badawcze, np. NCN, czy ERC i to wszystko w zaledwie trzy lata od początku tej instytucji. Spływające ze świata głosy wsparcia nie są przypadkowe i wyraźnie potwierdzają jakość wykonywanej przez nas pracy.

Właśnie dlatego tak doskonali naukowcy zajmujący się AI i uczeniem maszynowym jak Marcin Moskalewicz, Bartłomiej Twardowski, czy Przemysław Musialski wrócili po wieloletnich pobytach za granicą do Polski wierząc, że jest długofalowa szansa na budowanie swojej kariery naukowej właśnie tutaj. Dla mnie osobiście najsmutniejszym momentem jest ten, gdy usłyszałem od nich, że ponownie rozważają wyjazd z Polski. Ostatnie miesiące naszej działalności nie należały do najłatwiejszych, choćby uniemożliwianie nam podpisana okupionych wielomiesięczną pracą i wynegocjowanych umów z wybitnymi badaczami zagranicznymi, posiadaczami prestiżowych grantów Europejskiej Rady Naukowej (ERC), którzy byli gotowi przyjechać do Polski.

Dlaczego poprzez niezrozumiałe i nagłe odchodzenie od działających strategii tak efektywnie zniechęcamy najlepszych badaczy do pracy w naszym kraju, który w tym samym czasie odnosi tak ogromne sukcesy ekonomiczne? Czy naprawdę w momencie gdy staliśmy się krajem wysoko rozwiniętym, nie stać nas na zatrudnianie najlepszych naukowców na świecie aby prowadzili badania dla nas? Tylko dzięki globalnym innowacjom, właśnie takim jakie robiliśmy w IDEAS NCBR, polska gospodarka będzie się dalej szybko rozwijać.

Wszystko w IDEAS NCBR robiliśmy zgodnie z przepisami, cała nasza działalność jest od samego początku transparentna i przemyślana. Przedsięwzięcie zostało przygotowane w uzgodnieniu z Narodowym Centrum Badań i Rozwoju przy aktywnym głosie Ministerstwa Nauki i Szkolnictwa Wyższego. Zostało zaplanowane w perspektywie wieloletniej, a strategia została pozytywnie zaopiniowana przez Radę Narodowego Centrum Badań i Rozwoju, w której skład wchodzą przedstawiciele ministerstw i świata nauki. Realizacja i aktualizacja strategii oraz działania taktyczne były przygotowywane i realizowane pod nadzorem Narodowego Centrum Badań i Rozwoju i członków wybitnej Rady Naukowej IDEAS. Realizowane przez nas prace były zgodne z tymi planami i ramami, co widać po wynikach audytu przeprowadzonego na początku roku w spółce, czy wynikach innych zewnętrznych corocznych kontroli, jak również z corocznie udzielanymi absolutoriami z naszej działalności. Dbaliśmy o najwyższe standardy komunikacji, współpracy międzynarodowej i promocji nauki poprzez organizację wysokiej jakości eventów takich jak chociażby spotkanie z Samem Altmanem. Wszystko to robiliśmy z troską o Polską naukę i potencjał pracujących tu naukowców. Staraliśmy się również współtworzyć i wspierać scenę startupową. I pomimo trudności, czasem nawet wpadek, działaliśmy i zmienialiśmy oblicze polskiej nauki. To wszystko działo się dzięki niezwykłemu zaangażowaniu wszystkich pracowników, elastyczności organizacji i naszej wierze w to, że można zbudować w Polsce instytucję naukową na światowym poziomie. Jedyne czego potrzebujemy, to móc ten projekt kontynuować.

[Christian Szegedy @ChrSzegedy]

IDEAS has been a great partner at pushing AI for sciences and it has developed into an exceptional powerhouse of European innovation.

Now, I find it very quite troubling that there was no transparency about the recent leadership selection process and I have mostly heared concerned voices.

[Marek Cygan @marek_a_cygan]

Im więcej wiem na temat procesu wyboru nowego prezesa IDEAS NCBR, tym bardziej uważam, że w interesie publicznym jest transparentne wyjaśnienie kryteriów wyboru nowego prezesa. Poniższy list wysłałem do Premiera Donalda Tuska @donaldtuskEPP

[Piotr Miłoś @PiotrRMilos]

Co 'zabawne' dwa dni temu mieliśmy wieści z NeurIPS - najlepszej światowej konferencji AI.

6 publikacji z Ideas, najwięcej w PL (i to z dużym marginesem). Dużo wciąż do zrobienia oczywiście, ale marzenie o liczącym się _na świecie_ ośrodku AI już się zaczęło spełniać i .... :(

[Piotr Sankowski @piotrsankowski]

Niniejszym, chciałbym poinformować, że z dniem 2ego października kończę pracę w IDEAS NCBR na stanowisku lidera grupy badawczej. Tego dnia odbywa się także ostatnie wydarzenie organizowane przez IDEAS NCBR, które współtworzyłem.

Jest to wydarzenie, które akcentuje to, że my Polacy, możemy osiągnąć międzynarodowy sukces: https://t.co/pXFpERqrDP. Niestety, będzie ono także moim pożegnaniem z działalnością IDEAS NCBR. Mam nadzieję, że uda mi się także wielu z Was tam spotkać.