meshidenn

日常と思考メモ。

[Kazuki Inamura @kzinmr]

LLM-jp(NII)で行われたLLM勉強会にて、ハーネスエンジニアリング周りの発表を行ったので資料を公開します。貴重な機会をいただきありがとうございました。
https://t.co/dE2AFkYph0

[meshidenn @meshidenn]

関心の分離は、スケールさせる要素の一つ

[meshidenn @meshidenn]

https://t.co/vY4e3Vtqyh https://t.co/USeunQBLCQ

[meshidenn @meshidenn]

スキル化を頼んでみたら、今はClaude.mdでよい、over engineering と制された

[左翼 @TANAKAKAKUEI512]

ちなみに、猫界では格上が格下を舐めますが、うさぎ界は格上が格下に舐めてもらうので、この場合はどちらも自分が格上だと思っています。

[meshidenn @meshidenn]

VSS 3.0.0 EA の Warehouse Blueprint を DGX Spark で試してみた https://t.co/Nvvzqscd0C #DevelopersIO

[meshidenn @meshidenn]

来た！

[meshidenn @meshidenn]

https://t.co/7RBIofi8Ys

[meshidenn @meshidenn]

提供元: Docswell
https://t.co/20ipIQOJL5

[meshidenn @meshidenn]

https://t.co/ryP76BEwXm
感想
- NERやREが前提なら、やはり、KG自体の正しさが担保されているかは課題。
- CYPHER クエリを覚えれば、そこそこ扱えそう。
- 構成規則もやっぱり難しい。自然文と要求からクエリに変えるのも結構熟練ご必要そう。
- 使えれば、RDBより楽になるケースは多そう

[meshidenn @meshidenn]

Notebook Lm、人間みたいに言い間違える気がする

[meshidenn @meshidenn]

約150億円調達のLayerXが踏み切った「AI時代の報酬体系」が、予想以上に従業員ファーストだった話 | Stock Journal https://t.co/NPXAHX6zJh

[meshidenn @meshidenn]

AIエージェントが設計を自動化　自然言語からパラメトリックCADモデルを生成 https://t.co/hOxVQNNQCb

[Kazuki Fujii @kazukifujii]

本日のNLPコロキウムにご参加いただいた方々、ありがとうございました！

LLM開発における現場レベルの細かな話をさせていただきました。スライドも公開させていただきましたので、よろしければご覧ください。
https://t.co/QOr1UhueWj

[meshidenn @meshidenn]

もともとのモデルが大きいとある程度出来てしまうので、エキスパートの専門分化が、阻害されるのでは？とのこと

[meshidenn @meshidenn]

Scaling Laws for Upcycling Mixture-of-Experts Language Model

Moeモデルの学習をする時に、デンスモデルを初期パラメーターとするUpcyclingに関する論文。

学習データ量が少ない場合は、Upcyclingの方が良いが、多い場合はフルスクラッチの方が良い

[meshidenn @meshidenn]

https://t.co/ltw7sxiFwP

[meshidenn @meshidenn]

特にモデルが大きくなるほど、Upcycling が性能を上回るデータ量が小さくなるとのこと

[meshidenn @meshidenn]

https://t.co/U1EmFr91oS

[meshidenn @meshidenn]

Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test

LLMで、損失が下がっていないのに汎化能力が上がっている現象への分析。
MoEについて、バラバラなデータでも情報のルーティングが似てくることを指摘。
このルーティングの指標を提案

[meshidenn @meshidenn]

バラバラなデータでも、ルーティングが似るのは、情報の整理が進んでいるイメージ