It will also be extremely important to analyze the strengths and limitations of the new system. Here are some examples of tasks that o3 couldn't solve on high-compute settings (even as it was generating millions of CoT search tokens and consuming thousands of dollars of compute in the process).
Interestingly this first task was the one we had in our university tour presentation to illustrate "it's easy for humans, hard for AI"
Want to claim SOTA result on ARC-AGI, even better than o3 High (which sits at 87.5%)?
For test case e681b708 o3 High gets it wrong but o3 Low solves it.
There you go!
@ChengshuEricLi Just checking, isn't the improvement even more impressive? Single-task davinci from CoT 72% to CoC 84% is 16.6% gain!
(Or 12 percentage *points* https://t.co/vLDVIOdKKI.)
@francoisfleuret Tested your bug with a couple of LLMs.
Zephyr 7B, ChatGPT 3.5 fail. Phind v7 required "skip" but found! GPT4 found!
Using Rephrase,Expand & Respond nor Chain of Thought prompting didn't help.
GPT3.5 and Zephyr helped by encouraging to ensure same dimensions.Would catch the bug.
@osulop Se tavallinen tarina. Vierailtiin Conconilla, ihan vain testeissä, syötiin ramenia ja seuraavaksi voitettiinkin jo viisi ranskankiertuetta. Vois käydä kelle vain. Varovasti siellä!
😂 omg JH Kim just takes a giant 💩 on physicists and posts this on his LinkedIn.
Didn’t find room temperature superconductors? It’s a skill issue bro, you just needed to be a chemist and do 1000 experiments over 19 years.
Anyone can do it.
@altryne@altryne interesting to see how many decades of AI research is needed for it to help and accelerate discovery of room temperature super conductor. As outlined in this teet, there is the step to choose which experiment test next, which might benefit if one is able to choose better
Lehdet ovat uutisoineet erään uuden tutkimustuloksen otsikoiden näyttävästi, että "Golfvirta voi pysähtyä jo 2025!" Moni on jo korjannut, että oikeasti kyse ei ole koko Golfvirrasta, mutta katsotaanpa vähän tarkemmin, mistä on kyse ja pitääkö olla huolissaan?
Tutkimuksen kohteena oli Atlantin termohaliininen kierto (Amoc). Norjan ja Grönlannin väliselle alueelle tuleva Golfvirran pieni pohjoinen haara on osa sitä. Pääosa Golfvirrasta kääntyy Euroopan edustalta etelään. Tätä Golfvirran pääosaa pitävät yllä keskileveysasteiden länsituulet, ja se ei ole pysähtymässä.
Tutkimuksen mukaan Amoc pysähtyisi todennäköisimmin vuoden 2050 kieppeillä. Ajoitus on tällaisissa mallinnuksissa epävarma, ja niinpä oli laskettu myös väli, jonka aikana pysähtyminen tapahtuu 95 % todennäköisyydellä. Se väli oli 2025 - 2095. Tästä lehdet repivät otsikoihinsa "jo 2025!", vaikka tosiasiassa tuolle vuodelle saatu todennäköisyys on alle 1 %.
Kyseessä oli yksi mallinnus. Vastaavia mallinnuksia on tehty useita ja tulosten yksityiskohdat vaihtelevat. Konsensus kuitenkin on, että Amoc heikkenee ja voi pysähtyä kokonaan joskus, ehkä hyvinkin tällä vuosisadalla. Niin on tapahtunut ennenkin ilmaston lämpenemisen yhteydessä.
Onko sillä väliä? On. Pohjois-Eurooppaa lämmittää nimenomaan Amoc, ei niinkään Golfvirta, jolle tämä kunnia yleistajuisessa puheessa usein virheellisesti annetaan. Amocin täysi pysähtyminen voisi johtaa merkittävään kylmenemiseen Britanniassa, Skandinaviassa ja jossain määrin Suomessakin.
Mikä sitten missäkin muodostuu nettovaikutukseksi, kun ilmasto muuten lämpenee ja Amocin heikkeneminen viilentää Pohjois-Eurooppaa, se jää nähtäväksi. Ilmastonmuutoksella voi olla alueellisesti yllättäviäkin seurauksia. Suomessa on syytä varautua erilaisiin skenaarioihin.
Mitä asialle voi tehdä? Lopettaa fossiilisten polttoaineiden käyttö ja ilmaston lämmittäminen tietysti, noin periaatteessa. Mutta jos tämän uuden tutkimuksen tulos Amocin herkkyydestä pitää paikkansa, niin taitaa olla myöhäistä jo sen osalta. Niin nopeasti ilmastonmuutosta ei enää pysäytetä minkään realistisin toimin eikä varsinkaan Suomen voimin.
Meidän on siis sopeuduttava maailman muutokseen, kuten monessa muussakin asiassa. Ja viisas toki myös varautuu ennalta muutokseen, josta on selvä varoitus tiedossa. Muutoksen hidastamiseksi ja lieventämiseksi pitää tehdä mitä voimme, mutta on hölmöä vajota epätoivoon tai paniikkiin sellaisen takia, mitä emme pysty estämään.
Lopuksi hieman asian vierestä kielipohdintaa. Osasyy sekoiluun Golfvirran ja Amocin kesken lienee se, että Suomenkin ilmastoon keskeisesti vaikuttavalle ilmiölle ei ole suomenkielistä nimeä. Tai no, voisihan suomeksi sanoa: "Atlantin termohaliinisen kierron Norjanmerellä kulkeva pintavirtaus". Kuka tuollaista termihirviötä jaksaa raahata mukana? Itse olen paremman puutteessa yllä kirjoittanut "Amoc", mutta tuollainen englanninkielinen lyhenne ei ole hyvää kielenkäyttöä sekään, ja sitä paitsi Amoc on paljon laajempi kokonaisuus kuin se lämpövirta, joka meitä täällä Pohjolassa etupäässä kiinnostaa. Ehkä sitä voisi kutsua "Golfvirran pohjoishaaraksi", mutta tämä on sikäli harhaanjohtava nimitys, että se yhdistää asian Golfvirran pääosaan, joka ei ole kyseisen virran dynamiikkaa määräävä ilmiö (Amoc on).
Ehdotankin, että Skandinaviaa ja Suomea lämmittävästä merivirrasta aletaan puhua Norjanvirtana. Se kulkee (Britannian ohitettuaan) Norjanmerellä Norjan rannikon edustalla. Ja englanninkielisessä termistössä on jo "Norwegian current". Nyt siis Norjanvirta on vaarassa, ei Golfvirta.
Tässä vielä tarkempaa asiantuntijatekstiä Amocista:
https://t.co/Lm3pnkTWqX
@samposm@TieraLaitinen@MikkolaHarry Lisäksi tutkimuksen Supplementary materiaaleissa oli RCP 8.5 (ja 2.6) skenaarioiden mallinnukset. RCP 8.5:ssä Suomea likeisin sadealue on siirtynyt etelämmäksi väliin. Suomi on miltei yhtä helakan keltainen kuin muu maailma. Sadannan muutosta en uskaltaisi arvuutella. @samposm
@samposm@TieraLaitinen@MikkolaHarry Lapin nykyiseen n. 475mm/v sadantaan esimerkiksi puolet Pohjois-Norjan Jäämeren mallin ennustamasta sadannasta eli 160mm/100 vuodessa olisi kolmannes lisää. Se olisi hurja muutos!
@hkeskiva Millainen vastuu on nähdäksesi "lisäarvoa" tuovalla VC:llä, jonka neuvosta pankkia, johon varat juuttuvat, käytetään? Entä systeeminen vastuu koko VC-kentällä?
Vaihdellee näkökulmasta riippuen "ei mitään, täysin ennakoimaton yksittäistapaus" ja "erittäin merkittävän" välillä.
@JoniKamarainen@jnkka En ole Roos, mutta liippaa riittävän läheltä, joten voin vilkaista.
Miten olisi:
1) porukkaoppiminen
2) yhteisoppiminen
3) kokoelmaoppi
4) yhdistelmämalli
5) koosteoppi
Muodostettu synonyymisanastolla ja chatgpt:llä.
Oisko niin, ettei vakiintunutta ole, joten vakiinnutat!