橋

千葉大 DS/CS/Algo
transformer/野口衣織
🖼️🎧

[信州での暮らしは毎日が観光気分(⋈◍＞◡＜◍)。 @aurora_dawn_BK]

動画です
松本大学前
風に揺れる13万本のひまわり
この週末満開で見頃になってます

[橋 @bridge426]

最近はAIを使わずに書かれた文章にもAIの面影を感じることがあって、それが元からのその人の個性なのか、AIの使いすぎで言葉遣いがAIに寄ってしまったのか、自分の幻覚なのかすら分からない

[橋 @bridge426]

無意なtokenをメモとして扱うようRLで自動的に学習した的な感じ

[alphaXiv @askalphaxiv]

"Loop the Loopies!"

This paper Loopie shows recurrent Transformers can be compute efficient, not just parameter efficient.

Contrast to how we love stacking more layers, they have each MoE layer loops twice before moving on. This actually saves activation memory, improves throughput, and reinvests the gain into capacity.

Their Loopie-20B-A2B using this approach beats a compute-matched vanilla 30B-A3B MoE baseline, with only 2B active params, and reaches gold-level IMO/IPhO performance without tools.

[鈴木仁衣奈 Suzuki Nina @nina__nina__217]

遭遇

[alphaXiv @askalphaxiv]

"The State-Prediction Separation Hypothesis"

Transformers use the same hidden state to both predict the next token and store memory for future tokens, which may force two competing jobs into one representation, and may be wasting data by mixing memory and prediction in the same computation.

This paper splits them into two streams, input tokens for persistent state and predict tokens for next-token prediction.

Across 53M to 1.7B params, this approach achieves lower loss, 2 to 3 point downstream gains, and at 1.6B matches a standard Transformer trained on 47B tokens with only 18B tokens.

[無名無実 @1002_tony]

マジでこれ。一度エンター押したら二度とTeXで記述できなくなるのゴミ。

[ねぎしのはん @iotalic]

みなさまごきげんよう♩本日より1週間ほど国外逃亡いたします♩

ビーフオアチキンに備えよ

[橋 @bridge426]

@catnose99 めっちゃ使いやすいです!ありがとうございます!!!!

[catnose @catnose99]

https://t.co/3INOe2pczq で文章を編集して再翻訳するやつ、対応しました✏️

スマホのタッチ入力では「↑」キーで履歴を復元できないので、この機能は必要でした

[橋 @bridge426]

enterキー送信あったわ

[橋 @bridge426]

https://t.co/egT5VYLfJ1、翻訳にかけた文章を微変更して再翻訳かけたい時に、翻訳にかけた文章をコピーしないと微変更ができないから、この赤丸の部分を編集できる機能が欲しい
(Enterで送信の機能も欲しい)
weblioとかよりも動作早くてマジで使いやすいからお願いします🙇

[橋 @bridge426]

今論文読むために使ってるけど、論文中で定義された固有の単語を、

「単語の日本語訳(元の英語)」に翻訳してくれるおかげめっちゃ読みやすい

deeplとかだと謎の日本語訳から元の固有単語を予測するステップが必要になるから

[橋 @bridge426]

@Necasette 俺もicpcのために読んでるわ今

[鳴沢ゴロー @00gp2]

ベルベットルームのザコシ

[『呪術廻戦』アニメ公式 @animejujutsu]

◤￣￣￣￣￣￣￣￣￣￣￣￣￣￣◥
　TVアニメ『#呪術廻戦』第4期
　　　「#死滅回游 後編」
　　ティザーPVが遂に解禁!!
◣＿＿＿＿＿＿＿＿＿＿＿＿＿＿◢

「オマエ達は!! どうして普通に生きられない!!」

第4期鋭意制作中
https://t.co/7CvwmAzYQP

[Ran （パンの人） @konel_bread]

ビスケット・オリバ・メロンパン
普通のメロンパン約15個分の大きさ🔥