Teemu Kurppa

Software Fellow at Oura Health ( Background in Jaiku, Nokia, Google. Interested in Big Waves; Climate Change; AI

[Mashable @mashable]

Oura Ring gets an 'AI advisor' right before Samsung Galaxy Ring launch https://t.co/9YauRGOdwY

[Andrew Côté @Andercot]

It's hard to overstate how important this result is - a neural network trained on physical simulation data accurately predicted an emergent phenomenon completely out of distribution. In this case, a crystal structure.

Material science can be revolutionized 🧵

[Pekka Virkki @Virkki5]

1/ Tämänpäiväinen @jliski n @Suojelupoliisi-artikkeli paljastaa melkoisia, hyvin tärkeitä tietoja ”tietolähde Sashasta”, joka näyttäisi olleen #FSB:n kaksoisagentti ja päässeen #supo-eläkeläisen koneelle.

Ketju 👇

#Lustraatio #Tiedustelu #Turpo

https://t.co/wlCqjXvFkH

[Jarno Liski @jliski]

Supon virkarikostutkintaan liittyvä ”Sasha” on opiskellut MGIMO:ssa ja saanut palkkaa Vympel-veteraanien firmasta. Hänen isänsä on korkea-arvoinen diplomaatti. Hän oli mahdollisesti FSB:n kaksoisagentti supon ”vakoojaringissä”.

IL Plus -juttu (€).

https://t.co/AkZ4it185B

[Jared Friedman @snowmaker]

One of the mega trends in this YC batch is the wave of consumer AI companies.

Consumer was stuck in the doldrums for years, but AI has brought it back in a big way.

Here are the 21 consumer AI companies that launched today. 🧵

[Andrej Karpathy @karpathy]

# automating software engineering

In my mind, automating software engineering will look similar to automating driving. E.g. in self-driving the progression of increasing autonomy and higher abstraction looks something like:

1. first the human performs all driving actions manually
2. then the AI helps keep the lane
3. then it slows for the car ahead
4. then it also does lane changes and takes forks
5. then it also stops at signs/lights and takes turns
6. eventually you take a feature complete solution and grind on the quality until you achieve full self-driving.

There is a progression of the AI doing more and the human doing less, but still providing oversight. In Software engineering, the progression is shaping up similar:

1. first the human writes the code manually
2. then GitHub Copilot autocompletes a few lines
3. then ChatGPT writes chunks of code
4. then you move to larger and larger code diffs (e.g. Cursor copilot++ style, nice demo here https://t.co/u8ueY0mGxZ)
5....
Devin is an impressive demo of what perhaps follows next: coordinating a number of tools that a developer needs to string together to write code: a Terminal, a Browser, a Code editor, etc., and human oversight that moves to increasingly higher level of abstraction.

There is a lot of work not just on the AI part but also the UI/UX part. How does a human provide oversight? What are they looking at? How do they nudge the AI down a different path? How do they debug what went wrong? It is very likely that we will have to change up the code editor, substantially.

In any case, software engineering is on track to change substantially. And it will look a lot more like supervising the automation, while pitching in high-level commands, ideas or progression strategies, in English.

Good luck to the team!

[Andrej Karpathy @karpathy]

Nice read on the rarely-discussed-in-the-open difficulties of training LLMs. Mature companies have dedicated teams maintaining the clusters. At scale, clusters leave the realm of engineering and become a lot more biological, hence e.g. teams dedicated to "hardware health".

It can be a frustrating daily life experience of training large models to "babysit" the training run. You're there carefully monitoring the vital signs of your run: loss spikes, numerical issues, throughput, gradient norms, policy entropy, etc. Every time the run degrades or flatlines (can happen often), you quickly look for the stack trace to see what's up. You have to do this fast or 10,000 GPUs could be idling. Often, it is a new, exotic, scary-looking error you've never seen before so you summon help to see if anyone can see what's up. The worst ones like to occur at 4am. Often no one can, so you just ban some nodes that look a bit sketchy and try to restart the run. Sometimes the run goes down just because you have not earned the favors of your gods that day, so you put a while True: loop around your launch command. The underlying issues can be highly diverse, from some GPUs just getting a bit too hot and suddenly doing incorrect multiplication once in a while, to some router going down and decreasing the networked file system I/O, to someone in the datacenter physically disconnecting a wire as part of an un-communicated maintenance. Sometimes you'll never know.

Another necessary related citation here is the famous OPT-175B logbook and I'd hope more like it can see the light of day in the future. (see chronicles/OPT175B_Logbook.pdf in the git repo)
https://t.co/6xOHVtj0Gf

TLDR LLM training runs are significant stress-tests of an overall fault tolerance of a large computing system acting as a biological entity. And when you're shopping around for your compute, think about a lot more than just FLOPs and $. Think about the whole service from hardware to software across storage, networking, and compute. And think about whether the team maintaining it looks like The Avengers and whether you could become best friends.

[Prof Michael E. Mann @MichaelEMann]

I recognize that shape, even when it's upside down...

[Teemu Kurppa @Teemu]

@artman I’ve done mobile dev since 2002. The cross-plarform vs native was a discussion topic even pre-iPhone.

The last 20% of polish on cross-platform is either impossible or requires crazy hacks.

It was true 20 years ago, it is true now.

[Teemu Kurppa @Teemu]

Käsi lippaan! Upea teko Timolta joka lahjoitti 42 hehtaaria metsää suojeluun

”vanhaa, korpimaista metsää, jonka läpi virtaa puro. Suojeltavalta alueelta löytyy runsaasti kääpiä ja lahopuuta sekä joitakin lehtomaisia laikkuja.”

https://t.co/1PHftnL4oN

[Seppo Knuuttila @KnuuttilaS]

"Sataman kuormitus Suomenlahteen on jopa suurempaa kuin Kymenlaakson teollisuuden kuormitus yhteensä." - Erinomaista työtä @jnurmisensaatio! Sekä päästöjen mittaluokan selvittämisessä että ratkaisujen hakemisessa yhdessä satamatoimijoiden kanssa! #Itämeri https://t.co/aH6FZ1xBk9

[Janne M. Korhonen is moving to BSky & LinkedIn! @jmkorhonen]

Jos näin käy, se on sitten tuntemamme Euroopan ja Suomen loppu.

Kuten joku sanoi, käytännössä kaikki meistä olemme paljon lähempänä ilmastopakolaista kuin miljardööriä. Kannattaisikohan miettiä toimintaa NYT?

[Hannu Oskala @hannuoskala]

Olen keksinyt ratkaisun Helsingin taksitolppa-ongelmiin. Tämä on täysin ratkaistavissa jos halutaan. Mitään uutta lainsäädäntöä ei tarvita jotta taksitolppien luotettavuus voidaan palauttaa.

Esitykseni perustuu kaupungin oikeuteen hallita maankäyttöä ja pysäköintiä.

🧵1/x

[Tymofiy Mylovanov @Mylovanov]

The Economist interviews Zelensky and depicts him as a more serious, even angry, a departure from his earlier lightness and humor

But the main insight of the interview is Zelensky's strategy to win the war through isolation of Crimea 1/

[Heikki Pursiainen @pursiain]

Halla-aho määrittelee tällä hetkellä sen, mistä ja miten presidentinvaaleissa puhutaan - hänestä, hänen valitsemallaan tavalla.

Olen tietenkin liian vaatimaton henkilö napatakseni agendan asettamisen Halla-aholta.

Yritän kuitenkin edes vähän ja julkaisen lähipäivinä uudelleen täällä pari kirjoitustani Halla-ahon ajatuksista.

Myöhemmin tällä viikolla julkaistava käsittelee hänen talousajatteluaan, tämä taas hänen etiikkaansa:

Jussi Halla-ahon teoria ihmisarvosta
22.5.2019

Perussuomalaisten puheenjohtajan Jussi Halla-ahon vanhat kirjoitukset kuohuttivat miedosti taas eduskuntavaalien yhteydessä. Halla-aho on maahanmuuttovastaisessa blogissaan kirjoittanut jo yli vuosikymmenen ajan erilaisista aiheista, usein melko vastenmieliseen tapaan.
Hän on kieltäytynyt irtisanoutumasta kirjoituksistaan, eikä ole halunnut kommentoida niitä, vaan on ilmaissut haluttomuutensa palata niihin ”jokaisten vaalien jälkeen”.
En aio nyt erityisesti pohtia sitä, miten hyödyllistä poliitikkojen ”irtisanoutuminen” vanhoista näkemyksistään on. Totean vain, että minusta Halla-ahon kirjoituksissa on sellaisia näkökantoja, että häneltä voisi aivan hyvin kysyä jokaisen haastattelun yhteydessä onko hän edelleen samaa mieltä.
Halla-ahon mielipiteet muista asioista ovat toisarvoisia, kunnes selviää, onko hän sitoutunut ihmisoikeuksiin ja oikeusvaltioperiaatteeseen. Jos ei, hänellä ei ole asiaa sivistyneeseen poliittiseen keskusteluun.
Minusta median kiinnostus Halla-ahon juttuihin tai selityksen vaatiminen ei siis ole ollut ainakaan liiallista. Ihmettelin jo aiemmin, miten Halla-ahon entisen puoluetoverin, nykyisen kohta entisen toimitusministeristön jäsenen Sampo Terhon (sin.) rotuopilliset näkemykset kymmenen vuoden takaa eivät mitenkään hidastaneet hänen poliittista uraansa.

Pitääkö epämiellyttävien ajatusten kanssa keskustella?

Helsingin Sanomat oli Halla-ahon kirjoituksista julkaisemassaan jutussa linkittänyt joihinkin Halla-ahon kirjoituksiin. Huomioni kiinnitti erityisesti Halla-ahon ihmisarvoa käsittelevä blogikirjoitus (Linkki lopussa).
Kirjoituksessa Halla-aho perustelee käsityksiään ihmisarvosta taloudelliselta kuulostavalla argumentoinnilla. Mukataloudellinen lähestymistapa on toki maahanmuuttovastaisessa oikeistossa aika yleistä. Kotikutoiset kustannuslaskelmat ja ihmisten arvottaminen tavoilla, jotka ovat paitsi epämiellyttäviä myös epäjohdonmukaisia, ovat kaikille skeneä seuraaville tuttuja.
Halla-aho pyrkii kuitenkin kirjoituksessaan tätä korkeammalle tasolle. Hän kritisoi ajatusta ihmisten samanarvoisuudesta vääränä ”aksioomana” ja hahmottelee tilalle oman ”objektiivisen” teoriansa ihmisten arvosta. Kysymyksessä on selvästi omaan älyynsä luottavan tutkijan pyrkimys akateemissävytteiseen filosofointiin, ei pelkkä oikeistotrollin maahanmuuttolaskelma.
Halla-ahon oma ”teoria” paljastuu toki epäjohdonmukaiseksi, mutta se on selvästi yritys luoda halla-aholaiselle aatteelle teoreettista pohjaa. Siksi se on minusta riittävän kiinnostava tässä kirjoituksessa käsiteltäväksi. Käsittelytapani on vieläpä sellainen, että en pyri ensisijaisesti tuomitsemaan kirjoitusta moraalisesti vaan tarkastelemaan sitä kriittisesti.
Joku voi tietysti kysyä, kannattaako Halla-ahon vanhan kirjoituksen kanssa käydä tällaista vuoropuhelua, vai olisiko parempi vain sivuuttaa se ja muut vastaavat epämiellyttävät puheenvuorot. Minusta kommentoiminen kuitenkin kannattaa, paristakin syystä.
Ensiksi, yksi eri puolueissa vaikuttavien halla-aholaisten taktiikka on esiintyä ”realismin” ja ”järjen” puolustajina. Esimerkiksi vaalimainoksissa sana realismi esiintyy useimmiten ulkomaalaisvastaisuuden synonyyminä. On tärkeä osoittaa, että ei suinkaan ole niin, että taloudellinen realismi tai logiikka vaativat hylkäämään liberaalin demokratian tai humanismin.
Toinen, itselleni henkilökohtaisista syistä tärkeä seikka on se, että näen Halla-ahon kirjoituksen jonkinlaisena taloustieteen ja taloudellisen ajattelun väärinkäyttönä. Se voi kuulostaa ainakin harjaantumattomaan korvaan samalta kuin taloustieteilijöiden suosima kustannus-hyötyajattelu variaatioineen.
Nämä ajattelutavat ovat kuitenkin vahvasti sitoutuneet ihmisten hyvinvointiin itseisarvona, eikä niiden järjestelmällinen soveltaminen johda ollenkaan halla-aholaisiin päätelmiin.

[Anne Applebaum @anneapplebaum]

It's official: Poland has a new government. An eight-year attempt to build a xenophobic, autocratic and corrupt one-party state has failed. A democratic coalition will replace it. https://t.co/wcTnS02Cd9

[Matthew Yglesias @mattyglesias]

Very broad nature of the decline makes me suspect "the phones"

[Luonnonmetsä @LTyoryhma]

Hei, emme tee hakkuita vanhoissa metsissä, kertoo @Metsahallitus . Lavajärvellä hakkuut käynnissä nyt. Sellupuupinossa palokoroista aihkia, yleisesti 200-250v puita. Aiempi säästetty rantavyöhyke aihkeineen on vielä hakkaamatta. Siitä MH ei löytänyt vanhan metsän piirteitä. /Ari

[Andrej Karpathy @karpathy]

New open weights LLM from @MistralAI

params.json:
- hidden_dim / dim = 14336/4096 => 3.5X MLP expand
- n_heads / n_kv_heads = 32/8 => 4X multiquery
- "moe" => mixture of experts 8X top 2 👀

Likely related code:
https://t.co/txsnrlriMt

Oddly absent: an over-rehearsed professional release video talking about a revolution in AI.

If people are wondering why there is so much AI activity right around now, it's because the biggest deep learning conference (NeurIPS) is next week.