Tsubasa

[しみず さるひこ 🙉🙊🙈 @bub_shimizu]

山田五郎、川勝正幸、渡辺祐、泉麻人、みうらじゅん、影山民夫・・・タモリ倶楽部の黄金期に出演されていた、なにやってるか分かんないけど、やたら博識で、あからさまな不良じゃないけど、たぶん真っ当じゃない雰囲気のおじさんに憧れたものですわ。

[かねひさ和哉 @kane_hisa]

「魔人ブウ編」は、現実的な「オトナ」の世界から乖離してしまった悟空やベジータが退場し、そんな世界もナンセンスな魔人ブウが徹底的に破壊してしまい、最終的には等身大のオトナであるサタンの力を借りて世界が救われるという、『ドラゴンボール』の歪みと対峙して決算するような話だと思った

[鶖鷺子 @huoling19731]

友人が帰国するたびに、これからはどうなるのかと感嘆する中で、頭中ではよく杜甫の「人生不相見，動如參與商。今夕復何夕，共此燈燭光。少壯能幾時，鬢髮各已蒼。訪舊半為鬼，驚呼熱中腸….明日隔山嶽，世事兩茫茫。」を思い出して、少年時代学んだ漢詩は一生かけてもなお味わい尽くせないものだった

[寒鴉 葦考 蔵人 @PwQn1z]

度々バズってる「江戸時代に描かれたゆるキャラのシュモクザメ」なんですが、載ってる本の他のページも大概ゆるい事はあまり知られていない

https://t.co/k2Z5oEiRoS

[やまでぃakaファンタジーおじさん @Towayamada]

世界中からイカれたファンタジー好きが1万人以上ドイツの田舎に集まって、4泊5日で合戦したり、クエストしたり、屋台村で買い物したり飲み食いしたりする最高のイベントがあること、もっとたくさんの人に知ってほしいと思って、昨年参加してみたらまんまとドハマりして、この円安に2年連続遊びに行ってくる
たすけて

[トルシエ監督 Philippe TROUSSIER @sol_beni_3_4_3]

Japan leaves this World Cup with its head held high. 🇯🇵 Against Brazil, the difference wasn’t talent or organization, it was squad depth.
In the second half, Japan no longer had the resources to sustain the same attacking pressure. A proud exit that highlights how far this team has come, while also showing the final step still needed to compete with the very best.
Ganbare Nippon 🇯🇵

[Tsubasa @SuperFluegel]

やっぱりAチームがいればなんでも解決だな

[かめポル @kamenaref]

ホラー映画に特攻野郎Aチームが解決するAI見て笑ってしまったwww

DBDする時に･･･油断したら･･･
思い出しちゃうかもしれんwww🙉

[KONISHIKI 小錦 @KonishikisWORLD]

おかげさまで今日４５年前日本来ました🇯🇵1982年6月19日日本ありがとうございました♪相撲のおかげ今でも日本相撲仲間たちたくさん最高にうれしいです♪これも相撲を世界にしたいていくごと。

[最近の人気ツイ @love_channnn]

(2018年)阿佐ヶ谷姉妹の渡辺江里子
ちあきなおみ版の｢朝日のあたる家(朝日楼)｣を歌う｡
同曲はアメリカの伝統的フォーク･ソングだが､この日本語詩は浅川マキによるもの
(1971年にマキ自身がカヴァー)本映像はお笑い番組で披露したものだが本家に引けを取らない低音域豊かな歌唱力で感動すら覚える

[衝撃bot @minnano_dougaww]

マーモットの爪切りの様子、全てを諦めて絶望する子と、次に回ってくる自分の番に恐怖する子

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

Transformerの中でも計算が大きい、FFN内部のニューロン活性をL1正則化も組み合わせ疎にし、GPUカーネル上の実装最適化も行うことで、高速化、省メモリ化につなげる手法が提案されている。

Transformerは大きく、注意機構と、FFNから構成され、計算量の大部分をFFNが占める。最近はFFNをMoE化する例が増えている。

多くのFFNはgated FFNを採用している。これは入力からゲート出力と線形変換を計算した後要素ごとの積をとることで中間表現を得る。

この研究では疎にするために、ゲート側の活性関数として、従来使われる滑らかなSiLUやSwiGLUではなく、ReLUを使うことで多くの成分が自然に0になるようにする
さらに学習時にFFN活性値に対してL1正則化を加える。これによりなるべく少数のニューロンを使って予測するように圧力をかける。
こうしたことで99%以上の活性値を0にできながら下流タスク性能劣化をほとんどおさえられる。

しかし現在のGPUは密な行列演算に最適化されており、疎な表現しても活用できない。そこでTile-wise ELLPACKというスパース形式、列方向のタイルごとに非ゼロ要素を詰めた表現を使い、gate projectionの計算と同じカーネル内で計算するようにする。

さらに推論時にはまずgate活性を計算し、非ゼロ要素をTwELL形式で保存。非ゼロニューロンのみ、up projectionとdown projectionを計算するようにする。

学習全体は20%の高速化が達成され、推論でも最大30%程度の高速化が達成される

コメント
===
MoEはエキスパート単位で疎にするのにし、本研究ではFFNニューロン単位でスパースにする。非構造化スパースは実行効率をあげることが簡単ではないが、今回カーネル最適化も含め学習と推論で20~30%の高速化が達成された。
（なお、本研究自体はFFN一般に使える手法なのでMoE内部のFFNに使うことも可能）。

一方、99%も疎にできているのに全体の高速化率が20%に留まっている（これでもすごいが）というようにメモリアクセスへの特性上、密な計算が得意な最近のHWに対して、非構造の疎化をどのように活かしていくかは大きな課題である。

完全な非構造化じゃなく、なんらかのブロック化を導入（これをすすめると結局MoEに近づいていってしまうが）したり、よく使われるニューロンにつながる重みだけを高速なメモリ上においておき、必要なニューロンをメモリ階層として呼び出すなど、システム全体の最適化なども考えていく必要がでてくる。

[びっとらべる @bit_ravel]

人を動かす事の本質すぎる。
社会人はこれ本当に読んでおいた方がいい。

[Nature Japan @NatureJapan]

【注目HL】音楽：クラシックとジャズの複雑さの「スケールダウン」
https://t.co/meYDiTiXMj
Niccolò Di Marcoらの@SciReports #OA #論文
Decoding the evolution of melodic and harmonic structure of Western music through the lens of network science
https://t.co/HkdtIdygp0
#オープンアクセス

[板垣真任 @itaws_]

井伏鱒二は内田百閒のことを「七つに斬れば七人になって生きてしまうような偉い人だ」と言ったらしい。なんだかいきいきとして面白い言葉だ。こんなものをえんえんと探していきたい。

[Tsubasa @SuperFluegel]

我々は見習わねばならぬ

[おしりあざらし @Oshiri_Seal]

これになりたい
この気持ちで生きていきたい

[Katsu -🎺Trumpet /JL1HCO @Katsu59605288]

随分前ですが、N響のチャイ4の演奏で、4楽章のキツいところでトランペットが首席とアシの倍管（2人）で思いっきり音外したのも聴きましたし、ベルリン・フィルでマラ3の6楽章のソリで首席がハイH外して音無くなったのも聴いた。
トランペットはこういう楽器です。

[Katsu -🎺Trumpet /JL1HCO @Katsu59605288]

Tpの巨匠北村源蔵先生の門下から聞いた話しで「音外しても吹きつづけろ。やり直しは罪」と言われたとか。またシカゴ響のレジェンドのハーセス氏はインタビューの中で、音を外さないことは不可能との旨言っていた。つまり、音外すなとの叱責は意味なし。
音外していいと思って吹く人まずいませんし💁

[Tsubasa @SuperFluegel]

中島みゆきは歳を取らないのだろうか

[はぁとふる倍国土＠コミケ日曜･西そ28ab @keiichisennsei]

そうそう。これをリアルタイムでTVで見た衝撃たるや！

[ひぞっこneo @hizocco]

#ばけばけ【ダブルミーニング】「ばけばけ」の海外向け英題は「The Ghost Writer's Wife」。アポストロフィS（'s） は is の短縮形という意味でも使われていて「怪奇作家の妻」という意味と「ゴーストライターは妻」というダブルミーニングになっているそうです。