How would you evaluate a causal discovery method? A new paper by Brouillard et al. challenges the common approaches and suggests a rethink. Here’s what they found 🧵👇
https://t.co/ntX5kSnVOv
#causaldiscovery
Tired of saturated benchmarks? Want scope for a significant leap in capabilities?
🔥 Introducing BALROG: a Benchmark for Agentic LLM and VLM Reasoning On Games!
BALROG is a challenging benchmark for LLM agentic capabilities, designed to stay relevant for years to come.
1/🧵
Polska musi koniecznie w najbliższych latach stworzyć instytucje akademickie na najwyższym światowym poziomie. Dla naszej technologicznej niepodległości musimy doprowadzić do tego aby nasze uczelnie znalazły się na szczytach rankingów, oraz stworzyć nowe instytucje badawcze, które zawalczą o prym w wybranych krytycznych technologiach. Dla przykładu celem nowo powstającego Instytutu Ideas jest bycie globalnym liderem w dziedzinie SI.
To właśnie instytucje naukowe 4tej generacji, tzn. globalnie konkurencyjne, ale lokalnie funkcjonujące, odegrają kluczową rolę w najbliższych latach w walce o talenty. Mimo, że koncepcja uczelni 4tej generacji nie pojawia się wprost w Raporcie Banku Światowego o Rozwoju Świata: https://t.co/gS2ClJU2tL, to dla mnie nadal ten dokument pozostaje najważniejszym dokumentem pro-rozwojowym. Wyróżnia się on spośród innych dokumentów, włączając w to Raport Draghiego, tym, że pokazuje bardzo wyraźnie procesy ekonomiczne i społeczne odpowiedzialne za powstawanie innowacji. Wielokrotnie powtarzaną koncepcją przez cały ten dokument jest aspekt "nagradzania osiągnięć" (ang. rewarding merit), co jest kluczowe we wszystkich procesach transformacji, także tym jaki czeka naszą akademię, bo jak mówią autorzy "Sukces zależy od tego, jak dobrze społeczeństwa potrafią balansować siły tworzenia, zachowania i destrukcji. Mogą to osiągnąć poprzez dyscyplinowanie istniejących podmiotów, nagradzanie osiągnięć i wykorzystywanie kryzysów".
Kryzysy to właśnie ogromna szansa dla nowych instytucji, a kryzys w polskiej nauce jest obecny od miesięcy, bo polska nauka jak tonęła tak chyba nadal tonie. Wyjdziemy z niego przede wszystkim opierając nasze decyzje na merytorycznych przesłankach, bo jak pisze Bank Światowy "wzmacnianie podstawowych umiejętności nie zawsze wymaga większych nakładów finansowych, ale wymaga efektywnego wydatkowania środków". Tylko silniejsze instytucje naukowe w Polsce będą w stanie generować globalne innowacje, a tylko na takich innowacjach mogą wyrosnąć globalne start-upy, a jak mówi Bank Światowy "talent jest marnowany wszędzie tam, gdzie zdobyte dzięki edukacji, szkoleniom i doświadczeniu zawodowemu umiejętności są przydzielane nie na podstawie zasług, lecz według innych czynników niezależnych od jednostek".
Winter is coming, so it is time for typical NeurIPS rush. For us here in Poland, it started with very cold IDEAS-storm, and registration struggle for my students, but now the conference itself has added a new chill-spirit by starting a new game of registrations, i.e., due to high number of attendees the non-speakers will need to take part in the lottery.
I plan to come and I plan to register this week. I hope that the three Workshop papers I have with my co-authors will help:
- Transfer Learning in Materials Informatics: structure-property relationships through minimal but highly informative multimodal input, with DarioMassa, Grzegorz Kaszuba and Stefanos Papanikolaou -- NeurIPS 2024 Workshop: Machine Learning and the Physical Sciences,
- Efficient Autoencoder Pipeline for Discovering High Entropy Alloys with Molecular Dynamics Data, with Grzegorz Kaszuba, Amirhossein D. Naghdi, Stefanos Papanikolaou and Andrzej Jaszkiewicz -- AI4Mat-2024: NeurIPS 2024 Workshop on AI for Accelerated Materials Design,
- Since Faithfulness Fails: The Performance Limits of Neural Causal Discovery , with @OlkoMateusz, Mateusz Gajewski, Joanna Wojciechowska, @LukeKucinski, Mikołaj Morzy and @PiotrRMilos -- Workshop NeurIPS'24 Workshop on Causal Representation Learning.
Nie powiemy, kto nam powiedział, że w konkursie na prezesa @IDEAS_NCBR nie ma konfliktu interesów.
Czyli tak się kończy moja saga o tym konkursie. Game Over. Podsumujmy:
✅członek rady nadzorczej wybierającej prezesa i nowy prezes kierują katedrami na tej samej uczelni
✅NCBR miał dostać opinię prawną o tym, że nie ma konfliktu interesów
✅Poprosiliśmy o udostępnienie. "Opinia została wyrażona w formie ustnej, stąd nie ma możliwości jej udostępnienia" - pisze NCBR.
✅Poprosiliśmy o nazwisko autora. NCBR zasłania się jednak prywatnością.
If you are attending @ecai2024 and are interested in #machine_learning safety or Graph NNs please check out our work "Efficient Model-Stealing Attacks Against Inductive GNNs"!
📜 https://t.co/0n6qk6TQCn
🗓️ October 21, 2024
⏰ 12:15 PM – 12:30 PM
🎤 M87 talk by M. Podhajski
New paper:
Are LLMs capable of introspection, i.e. special access to their own inner states?
Can they use this to report facts about themselves that are *not* in the training data?
Yes — in simple tasks at least! This has implications for interpretability + moral status of AI 🧵
Excited to share that our work, "Robotic Control via Embodied Chain-of-Thought Reasoning," has been recognized as one of this year's top contributions and featured in the State of AI Report. Proud to see our research making an impact in the field!
Niedawno obroniłem doktorat ze sztucznej inteligencji. Gdyby nie IDEAS z dużym prawdopodobieństwem pracowałbym już za granicą i wielokrotnie podobne historie słyszałem od swoich rówieśników. To miejsce daje szansę dla rozwoju nie tylko polskiej nauki, ale też polskich naukowców.
Przyjęłam dzisiaj zaproszenie Roberta Mazurka i @OficjalneZero do debaty o AI o 20 (w kontekście fatalnej sytuacji powstałej w @IDEAS_NCBR, którego dorobek jest zaprzepaszczany). W debacie uczestniczyć będzie @jarokrolewski oraz Minister @m_gdula - do zobaczenia. @piotrsankowski - społeczność AI jest z Tobą!
Owacje dla @piotrsankowski na inauguracji roku Uniwersytetu Warszawskiego. W obecności wicemarszałka Sejmu RP, Rzecznika Praw Obywatelskich, wiceministrów nauki, cyfryzacji, rektorów wszystkich najlepszych uczelni kraju, zwierzchników kościołów, ambasadorów, osób jak prof. Jan Madey mistrz największych polskich talentów programistycznych prof. Piotr Sankowski powiedział odważnie: AI to symulacja procesów ludzkiej inteligencji. Regresja, to najważniejszy element AI. Rozmiar sieci neuronowych rośnie wykładniczo. Aktualne sieci mają 1T parametrów. Za 10 lat nas prześcigną. Dążymy do ogólnej AI. Ona zmieni świat.
Piotr stał się w ciągu ostatnich dni liderem potrzeby zmian w polskiej nauce. Coś się wydarzyło. Solidarność całego środowiska jest w ciągu ostatnich dni czymś zjawiskowym. To nie jest tylko gest osób, którym AI leży na sercu. To gest wszystkich, którym na sercu leży Polska nauka oraz przyszłość w tym przyszłości najmłodszych.
Milczenie władzy, brak reakcji, próby dialogu porusza. Budujące, że to od milionów ludzi wyszła potrzeba zmiany. Piotr, bycie na tej inauguracji było dla mnie bardzo ważne. Wiem, ile ten wykład dziś Cię kosztował.
- Zostawiłem (spółkę- red.) w stanie dobrym, zgodnym z założeniami, które były stawiane przez Narodowe Centrum Badań i Rozwoju - prof. Piotr Sankowski w #GośćWydarzeń
https://t.co/DUPDKuHend