noriyukipy

Conversational AI エンジニア。Colorful Scoop (@colorfulscoop) のメンバーとしてオープンドメイン（雑談）チャットボットやFAQチャットボットといった会話AIを開発をしています。

[筑波大学 宮川創 研究室 / Prof. Dr. So Miyagawa @So_Miyagawa]

＜拡散お願いいたします＞
古代エジプト語の最終段階・コプト語の言語復興のクラファンをはじめました！
コプト語言語復興家（アレクサンドリア在住の医者）の人と一緒に『星の王子さま』をコプト語に翻訳しデジタル教材を作ります。ご支援・ご寄付をお願いいたします！
https://t.co/WCXdvmjcen

[Kazunori Sato @kazunori_279]

Geminiの開発エンジニアが書いたスタンフォード講義資料「Transformer と大規模言語モデル」の日本語版 by @yoshiyukinakai これはがっつり読みたい。書籍紹介ページ https://t.co/yGRRKsOjS8 と、無償のチートシートもある。https://t.co/bs29hscLBf

[Naoaki Okazaki @chokkanorg]

Swallowチームで実施した日本語LLMの評価結果を更新しました。Llama 3.1 Swallowに加えて、Gemma 2, Qwen 2.5, Llama 3.2, Llama 3 heron brain, Mistral-NeMo-Instruct-2407, Mistral-Nemo-Base-2407, llm-jp-3などの最新のモデルを追加しました。LLM選びの参考にどうぞ！ https://t.co/CSpjTUAFIp

[「楽園追放」公式 @efp_official]

#楽園追放 -Impelled by 10th Anniversary-
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣

公開10周年記念
2週間限定リバイバル上映まで
あと4⃣0⃣日！

🗓️上映日程：11/15(金)～28(木)

お楽しみに！

✅公式サイト
https://t.co/0KalcMlJPY

[shi3z @shi3z]

可愛すぎかよ! ハッカーの新しい相棒 コマンドラインからLLMを使えるgptme｜shi3z @shi3z #note https://t.co/VD8oztfAFP

[Google for Developers @googledevs]

Check out a demo of the new Gemma 2 2B Japanese language model in the @Gradio space shared by @huggingface

[Hugging Face @huggingface]

GoogleからGemma-2-JPNがリリースされました！このモデルはGemma 2 2Bを日本語でfine-tuneしたものです。Gemma 2の英語での性能と同レベルの性能で日本語をサポートします。
モデル一覧:

https://t.co/LgyHREpCOf

[O'Reilly Japan @oreilly_japan]

[Ebook] ハイパーモダンPython https://t.co/Gp0ZtbRo4v

[LLM勉強会（LLM-jp） @llm_jp]

LLM-jpで新たに作成した1.8B、3.7B、13B事前学習モデル、および指示チューニング済みモデルを公開しました。13Bは以前のモデル(LLM-jp 13B v2.0)と比べて大幅に性能が向上しています。すべてのモデルをApacheライセンスで自由にご利用いただけます。
https://t.co/JhPYfGUwKB

[pao @pppaaaooo]

GENIACの取り組みの中で構築した商用利用可能な400B token超えの大規模日本語コーパス「ABEJA-CC-JA」を公開しました！！
mC4やCC100、OSCARなどの既存コーパスよりも大きくて新しくて、（多分）きれいです！！
https://t.co/n5HbX9Jv0r

[布留川英一 / Hidekazu Furukawa @npaka123]

DataGemma 追加

Google ・ Google DeepMind のAIリリース年表｜npaka @npaka123 #note https://t.co/dmXEyXuEFe

[まつにぃ @yugen_matuni]

ちなみにRIG(Retrieval-Interleaved Generation)部分読み込んだところ、

・ユーザークエリからRAGで引っ張る
・その後生成結果の下書きを作成する
・Data Common照合(RIG)を行ってファクトチェック
・問題なければ本生成
・問題あれば部分修正後生成

という推論ステップしてそうです。
すごいな。

[Google for Developers @googledevs]

Introducing DataGemma, open models that enhance LLM factuality by grounding them with real-world data from Data Commons → https://t.co/ha0fYHyIW5

Learn how the models use RIG & RAG approaches to:

📖 Harness Data Commons knowledge
🧠 Fact-check numbers
🛠️ Develop responsible AI

[Google AI @GoogleAI]

Announcing DataGemma, a set of open models that utilize Data Commons through Retrieval Interleaved Generation (RIG) & Retrieval Augmented Generation (RAG) to ground LLMs in real-world data for fact-checking, responsible AI development & more. Read more at https://t.co/0dGE6Qqf9c

[こば@AIBridge Lab @doerstokyo342]

DataGemma とは？
Google が開発した、 大規模言語モデル (LLM) をより賢くするためのツールです。LLM は人間のように文章を理解したり、作ったりすることができる AI ですが、時々間違った情報を生成してしまうことがあります。これを「ハルシネーション」と言います。DataGemma は、このハルシネーションを減らし、LLM がより正確な情報を提供できるようにします。

例え:
LLM は優秀な生徒ですが、時々教科書をちゃんと読まずに適当な答えをしてしまうことがあります。DataGemma は、LLM に「ちゃんと教科書(Data Commons)を見てから答えなさい！」と指示する先生のような役割です。

DataGemma の仕組み:
DataGemma は主に 2 つの方法で LLM をサポートします。

1. RIG (答え合わせ):
LLM が答えを出す時に、DataGemma は「Data Commons」という巨大なデータベースで答え合わせをします。もし LLM の答えが間違っていたら、Data Commons から正しい情報を提供して修正します。

例え:
生徒が「日本の首都は大阪です」と答えた時、先生が教科書で確認して「違います、東京です」と訂正するようなイメージです。

2. RAG (事前学習):
LLM が質問に答える前に、DataGemma は Data Commons から関連する情報を LLM に提供します。これにより、LLM はより多くの知識を持って質問に答えることができるようになり、ハルシネーションのリスクを減らします。

例え:
テスト前に先生が生徒に資料を配り、「これを参考にテストを受けなさい」と指示するようなイメージです。

DataGemma のメリット:
LLM がより正確な情報を提供できるようになる。

特に数字や事実に関する情報がより信頼できるようになる。

研究、ビジネス、日常生活など、様々な場面で LLM をより安心して使えるようになる。

Data Commons とは？
DataGemma が使う巨大なデータベースです。国連や WHO などの信頼できる機関から集めた、世界中の様々な情報 (人口、経済、健康など) が含まれています。

例え:
世界中のあらゆる情報が載っている巨大な百科事典のようなものです。

まとめ:
DataGemma は、LLM がより賢く、より信頼できる情報源になるように開発されたツールです。Data Commons と連携することで、LLM のハルシネーションを減らし、様々な分野で LLM の活用を促進することが期待されています。

[Sam Altman @sama]

here is o1, a series of our most capable and aligned models yet:

https://t.co/yzZGNN8HvD

o1 is still flawed, still limited, and it still seems more impressive on first use than it does after you spend more time with it.

[Greg Brockman @gdb]

OpenAI o1 — our first model trained with reinforcement learning to think hard about problems before answering. Extremely proud of the team!

This is a new paradigm with vast opportunity. This is evident quantitatively (eg reasoning metrics are already a step function improved) and qualitatively (eg faithful chains of thought make models interpretable by letting you “read the model’s mind” in plain English).

One way to think about this is that our models do System I thinking, while chains of thought unlock System II thinking. People have discovered a while ago that prompting the model to “think step by step” boosts performance. But training the model to do this, end to end with trial and error, is far more reliable and — as we’ve seem with games like Go or Dota — can generate extremely impressive results.

It’s still early days for the o1 technology. It provides new safety opportunities which we are exploring actively, including on reliability, hallucinations, and robustness to adversarial attackers. For example, we’ve seen great uplift in our safety metrics by letting the model reason about policies via chain of thought.

Its accuracy also has huge room for further improvement— for example, from our launch post, our model achieved 49th percentile / 213 points in this year’s competitive programming Olympiad (IOI) under human conditions of 50 submissions per problem. But with 10,000 submissions per problem, the model achieved a score of 362.14 — above the gold medal threshold. So the model is capable of even greater outputs than it appears at first glance.

[clem 🤗 @ClementDelangue]

Once again, an AI system is not "thinking", it's "processing", "running predictions",... just like Google or computers do.

Giving the false impression that technology systems are human is just cheap snake oil and marketing to fool you into thinking it's more clever than it is.

[布留川英一 / Hidekazu Furukawa @npaka123]

o1-preview ・ o1-mini 追加

OpenAI API で提供されている モデル まとめ｜npaka @npaka123 #note https://t.co/HFX8y6GCz8

[Jim Fan @DrJimFan]

OpenAI Strawberry (o1) is out! We are finally seeing the paradigm of inference-time scaling popularized and deployed in production. As Sutton said in the Bitter Lesson, there're only 2 techniques that scale indefinitely with compute: learning & search. It's time to shift focus to the latter.

1. You don't need a huge model to perform reasoning. Lots of parameters are dedicated to memorizing facts, in order to perform well in benchmarks like trivia QA. It is possible to factor out reasoning from knowledge, i.e. a small "reasoning core" that knows how to call tools like browser and code verifier. Pre-training compute may be decreased.

2. A huge amount of compute is shifted to serving inference instead of pre/post-training. LLMs are text-based simulators. By rolling out many possible strategies and scenarios in the simulator, the model will eventually converge to good solutions. The process is a well-studied problem like AlphaGo's monte carlo tree search (MCTS).

3. OpenAI must have figured out the inference scaling law a long time ago, which academia is just recently discovering. Two papers came out on Arxiv a week apart last month:

- Large Language Monkeys: Scaling Inference Compute with Repeated Sampling. Brown et al. finds that DeepSeek-Coder increases from 15.9% with one sample to 56% with 250 samples on SWE-Bench, beating Sonnet-3.5.
- Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. Snell et al. finds that PaLM 2-S beats a 14x larger model on MATH with test-time search.

4. Productionizing o1 is much harder than nailing the academic benchmarks. For reasoning problems in the wild, how to decide when to stop searching? What's the reward function? Success criterion? When to call tools like code interpreter in the loop? How to factor in the compute cost of those CPU processes? Their research post didn't share much.

5. Strawberry easily becomes a data flywheel. If the answer is correct, the entire search trace becomes a mini dataset of training examples, which contain both positive and negative rewards.

This in turn improves the reasoning core for future versions of GPT, similar to how AlphaGo’s value network — used to evaluate quality of each board position — improves as MCTS generates more and more refined training data.