Kas

2児の父（ 子育て奮闘中） | 【本業】ソフトウェアエンジニア | 【副業】ブログ投稿。下の子の夜泣きが落ち着いてきたので、早起きして趣味程度にアプリ開発にも着手しようかなと思ってます。

[Kas @kas_blog]

Google Adsenseの申請が通ったのを機にTwitterも始めてみました。性格上マメに更新は出来ないかも知れませんが、色んな情報をSNSで共有できたらいいなと思っています。よろしくお願いします。

[Kas @kas_blog]

コロナっちゃって隔離されてるから
最近入ったディズニー+で
マーベルシリーズ見ようと思ってんだけど
これ全部見終わるまでどんだけ時間かかんのよ

[Kas @kas_blog]

WiCER論文を解説。長文知識をWiki-memoryへ圧縮し、欠落事実を診断して改善するLLM Wikiの仕組みを整理しました。
#LLM #AI論文

https://t.co/8JX7Ti0CqN

[Kas @kas_blog]

画像生成の計算を難しい領域へ適応配分するPatch Forcingを解説。
CVPR 2026のPatch Forcing論文LTG samplerとlook-aheadの仕組みを整理しました。
#画像生成AI #AI論文

https://t.co/bxrXE3K9MU

[Kas @kas_blog]

僕の英語学習方法

通勤時間は英語の勉強時間にしています。
一向に上達しないですが、、、笑
長い期間かけてコツコツやっていきます。
#英語学習

[Kas @kas_blog]

DALS論文をもとに、SGD、AdamW、RAdam、LARS、Grokfastの違いと、scratch学習/fine-tuningでの使い分けを整理しました。
#AI論文 #機械学習 #DeepLearning #AI️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️

https://t.co/sTdaHqng8G

[Kas @kas_blog]

BPE、Unigram、lossless tokenization、語彙サイズと推論コスト、ハードウェア搭載時の課題までまとめています。

https://t.co/qAyR4GWLMp

#LLM #自然言語処理 #AI論文

[Kas @kas_blog]

LLMは、文字列をそのまま計算しているわけではありません。

まず文章をtokenへ分割し、token ID列へ変換してから、EmbeddingやTransformerへ渡します。

[Kas @kas_blog]

日本語や中国語のように空白で単語境界が見えない言語では、単語に単純分割するだけでは難しくなります。

SentencePieceは、この前処理依存を減らす考え方を示しました。

[Kas @kas_blog]

論文を読む大切さは、「最新情報を知ること」だけではなく、
技術の流行に振り回されず、なぜその手法が効くのかを自分の言葉で説明できるようになることにあると思う。

AI技術の変化が速い今こそ、一次情報に触れる習慣はとても大切。

[Kas @kas_blog]

OpenAIのAIが、約80年未解決だった数学の予想を反証したらしい。

すごいのは、単なる計算力ではなく「長年こうだろう」と思われていた数学的直感に対して、新しい反例を見つけたこと。

AIが“要約する側”から“発見する側”に進み始めている。

https://t.co/ClPd6wy9Fj

[Kas @kas_blog]

記事では、Encoder-Decoderとの違い、GPT-2の構造、KV Cacheとの関係まで整理しています。
#LLM #Transformer #AI論文

https://t.co/pS7yg4jQmj

[Kas @kas_blog]

GPT系LLMを理解するうえで重要なのが、Decoder-only Transformerです。
ポイントは「過去tokenだけを見て、次tokenを予測する」ことです。

[Kas @kas_blog]

技術的には、causal maskで未来tokenを隠し、Self-Attentionを過去方向だけに制限します。
この制約が、学習時の並列計算と推論時の逐次生成をつなぎます。

[Kas @kas_blog]

LLMは語順をどう扱うのか。

Positional Encodingの基本からRoPEの回転、Query/Keyへの適用までRoFormer論文ベースで整理しました。

#LLM #RoPE #Transformer

https://t.co/GaXuflNVdK

[Kas @kas_blog]

LLMとは何か、GPT-3論文、次token予測、Transformer、Few-shot learningの関係を整理しました。
#LLM #ChatGPT #AI論文

https://t.co/TjdY5yb6m6

[Kas @kas_blog]

LLMは、なぜ翻訳、要約、質問応答、文章生成まで扱えるのでしょうか。

GPT-3論文を入口にすると、基本にある「次token予測」の見方がつかみやすくなります。

[Kas @kas_blog]

GPT-3論文では、Fine-tuningなしで、プロンプト内の指示や少数例からタスクを解くFew-shot learningが検証されています。

現在のプロンプト設計を理解する入口にもなります。