ashipong

趣味で機械学習と電子工作的なことをやってます。最近はレトロPCも。

[Nikolaus West @NikolausWest]

If you’re serious about robot learning you (unfortunately) need to know about video compression. Camera streams dominate data volumes for most datasets at 90+% even when compressed. Video is more complicated to deal with but the size wins are too big to give up.

The unit of compression is a Group Of Pictures (GOP). In the simplest case (what you should use in robotics), GOPs start with a keyframe (I-frame) that is followed by several delta frames (P-frames). Delta frames only need to encode the difference to the previous frame which is where the compression win comes from.

That means to decode frame 15 of a 30-frame GOP you need to feed all the preceding frames in the GOP to the decoder to get out that one frame. The GOP controls the tradeoff between random access and compression.

Why does this matter for robot learning? Because while training, dataloader performance is dominated by fetching and decoding video. To build a streaming dataloader (you need this for large datasets) it needs to take GOPs into consideration when fetching data for a time step. It’s hard enough to build a dataloader that doesn’t starve your GPUs that most teams forgo flexibility. That means researchers at most of the best funded robotics efforts currently wait around for large export jobs before training can start after each change to the dataset mix or the wrong hyperparameter.

This situation obviously won’t last since they all know that experiment cycle times is a key lever to fast progress and the competitive pressure is enormous. If you want to compete in this space you need both flexibility and performance.

[Shu @NGO275]

結局二足歩行じゃなくて台車式でリアルな業務をさせていこうってなるよな

[片山 良平@paiza創業者 @rk611]

自分でやって100点取れるその領域のシニア（経験者）がこれやるのは良いのだけど、20点しか取れないジュニアが生成AI任せで16点のものを100個作られるとシニアがチェックで死に、全体としての生産性が落ちる。

…という問題が生成AI駆動開発では既に起きている。

[ロボ太 @kaityo256]

これ、「プログラミング言語の再発明では？」って反応が多いんだけど、ちょっと違って、既存のプログラミング言語は(概ね)Howを記述するものであったのにたいして、LLMへの指示のためのWhatの記述がメインになる人工言語が出てくるだろう(出てきて欲しい)という主張。

[まつにぃ @yugen_matuni]

Cursorが日本含む学生向けに1年間のProプランを無償提供開始。

学生認証で利用可能です。

これはやっておいて損はないです。

[ガッシー｜Repsona @GussieTech]

複数の依存関係のあるタスクや、親子関係のタスクを、一気に動かせるガントチャートの世界。

[AIDB @ai_database]

「LLM専用の言葉を新しく作る必要がある」とDeepMindの研究者らは考え、実際にこれまで世の中になかった単語を作り実験しました。人間とLLMの間にある、既成の言葉に対する”概念のズレ"を排除することが目的です。
https://t.co/5krmxy6C4b
結果、LLMが通常苦手する「指定の文字数で出力する」、
「バリエーションに富んだ応答をする」、「モデル自体が好ましいと判断する回答をする」といったことができるようになる事例が示されました。
新しい単語（ネオロジズムと呼ばれています）を導入することで、単に人間が既存単語で指示・分析するよりもはるかに柔軟で精密なコントロール・理解ができるようになると主張されています。

[May Yamaura | AI画像10年目 @myapdx]

Cursor でうまく問題修正できなかったらこのプロンプト試すといいよだって
「問題の原因として考えられるものを5～7つ挙げ、それを1～2つの最も可能性が高い原因に絞り込んでください。その上で、実際のコード修正に進む前に、仮説を検証するためのログを追加してください。」

"Reflect on 5-7 different possible sources of the problem, distill those down to 1-2 most likely sources, and then add logs to validate your assumptions before we move onto implementing the actual code fix"

[とみたかずき │ サポットさんの人 @Jessicazu418]

イキったタイトルをつけましたが、数年ぶりに技術記事を書きました。
Cursorを使いこなして、実装時間を1/5にしている具体的手法を紹介してます。
https://t.co/NFipOGcZ9U

[piqcy @icoxfog417]

君はGitHub上にあるJupyter Notebook のうち4%しか結果が再現できないことを知っていたか案件。セル間の依存関係を把握して必要十分なセルについてきちんとリランすることで再現性を担保する、新しいインタラクティブ環境marinoの紹介。すでに9000Starついてる

https://t.co/CzOrhXQG25

[ｇａｒｙ @keijiro_im]

すごすぎる...

[bioshok @bioshok3]

ついに米国政府は半導体輸出規制をTier1から3までに分類。そこまでは数日前から言われてたことだが、今回ついにAIシステムそのもののTier3へのホストを禁止することになった。Deepseekが合成データを使っていると思われることを鑑みてもこれは安全保障上大事なことだ。Tier2でもセキュリティ要件など制限がある。ついに時代はハードの輸出規制からソフトにまで至ってきた。オープンソースはまだ規制の範囲外だが、そのうち規制内になるだろうと思う。これから先は国家安全保障上のAI版東西冷戦となると感じる。
他には第2層は25-27年で5万台の制限と米国企業は計算資源の半分を米国内に展開する必要がある。もう明確に「国家安全保障」であり、これはビジネストレンドではないというところが大きくなっているだろう。
https://t.co/3mca6HVOOT

[Kazunori Sato @kazunori_279]

XMLとJSONの話：元々XMLはSGMLや文書管理の人（ゼロックス村田さんとか）が作った構造化ドキュメントのフォーマットで、時流的にデータの入れ物として使われたけど、そもそも文化や発想がソフトウェア屋さんとは違ってた。我々は単純なデータフォーマットがほしかったのだ。

[Koki Saitoh 斎藤康毅 @SaitohKoki]

すべてはNANDから始まる物語——NANDが加算器となり、計算を行い、画面に絵を描く。 そしてテトリスが動き出す。

コンピュータの真髄を、かくも美しく描き切った一冊。本日発売です。

https://t.co/Ts6Jb1s9XB #ad

[はたの あいか フリー声優/声真似 @H_aika_45]

「少しずつ寒くなれや」を歌いました

[T.Yamazaki @ZappyZappy7]

人間に近い足取りでスムーズに歩く汎用人型ロボット
https://t.co/CikjzhkWZe

強化学習と模倣学習を組み合わせたニューラルネットワークモデルを通じて自然な歩行を実現

#bipedal #GeneralPurpose #humanoid #ReinforcementLearning #ImitationLearning #EngineAI_Robot

[タランチュラ | データサイエンティスト @tarantula_ds_]

【機械学習の計算量オーダー】
大規模なデータで機械学習を行うようになると各モデルの計算量を考慮する必要が出てきます。

そこで代表的な機械学習モデルの学習・推定時のオーダーをまとめてみました！

[開発室Graph @stu3dio_graph]

平成の人間なので「GPU計算環境からgithubつなぐのって ssh-keygen して GitHub にペタッと貼るんですかね〜」って言ってたら令和の若者に「いや gh auth login で一発ですよ」と教えてもらった

[ritar @rtr_dnd]

【βリリースのお知らせ】
データ解析のための、Jupyter + Figmaのようなツールを友人と作ってます！
・Pythonをフローチャートのようにブラウザ内で実行
・AIと一緒に書けるから文法暗記いらず
・解析プロセスが視覚的に残る
Google Colab/RStudioに疲弊してるリサーチャー・開発者集まれ！！（続く）

[cvpaper.challenge | AI/CV研究コミュニティ @CVpaperChalleng]

2024メタサーベイまとめを公開します。
--
・LLM x CV: https://t.co/YfHiRJRnof

・Neural Fields: https://t.co/6WnJr3ad2D

・Remote Sensing x Computer Vision: https://t.co/aMEQBUuFK3

・画像超解像モデル: https://t.co/JoKBKjMq2N

・Video Recognition: https://t.co/BAbOAWJ43I