kgoto

自然言語とか文字列とかRustやってます。

[kgoto @kgoto]

技術書典21参加します！

LZ4フォーマットに準拠しつつ圧縮サイズを最小にする線形時間アルゴリズムLZ4optを提案して公式実装との比較を行ったりしてます。
LZ4のフォーマットやアルゴリズムについても説明しているので気になった方はぜひ！

甲乙丙技術部 Vol. 1 #技術書典 https://t.co/yHbii4AQwo

[kgoto @kgoto]

実装はこちらです。
https://t.co/mlUcBhUn6j

[kgoto @kgoto]

技術書典21参加します！

LZ4フォーマットに準拠しつつ圧縮サイズを最小にする線形時間アルゴリズムLZ4optを提案して公式実装との比較を行ったりしてます。
LZ4のフォーマットやアルゴリズムについても説明しているので気になった方はぜひ！

甲乙丙技術部 Vol. 1 #技術書典 https://t.co/yHbii4AQwo

[kgoto @kgoto]

LZ4optは実用的ではありませんが最適値との差（あとどれだけ改善余地が残されているのか）を厳密に計算できることに大きな意味があります。

[semiexp🍆☄️@技術書典21-か13 @semiexp]

#技術書典 21 で SAT ソルバーの解説書を出します！
SAT ソルバー「Glucose」のソースコードを細部まで読みながら、SAT ソルバーのアルゴリズムを詳しく解説する本になっています。

[kgoto @kgoto]

スライディングウィンドウ上のsuffix treeをオンライン構築するRustライブラリsnakreeを公開しました。

Leonard+ 2026 "Sliding Suffix Trees Revisited" を元にした実装です。

ストリームで効率よく文字列処理したい方はどうぞ。
https://t.co/ksnikbeI29

[takuya-a @takuya_b]

今年の検索アドベントカレンダー作りました！
ライトなネタも大歓迎なので参加登録お願いします！

情報検索・検索技術 Advent Calendar 2026 https://t.co/9EHGFZSPON #Qiitaアドカレ #Qiita

[kgoto @kgoto]

圧縮率って compressed size / uncompressed sizeだとずっと思ってたけど、一般的には逆だった？
https://t.co/k0fqYBw2eK
他にも(uncompressed size - compressed size) / uncompressed sizeもあったり、定義は全部で３パターンぐらいあるらしい。むずかしい。

[kgoto @kgoto]

後で読んでみよう。

[Takuya Akiba @iwiwi]

巨大なLLM事前学習データを爆速で検索出来る「SoftMatcha 2」の開発に参加させてもらいました。デモ、論文、ソースコード等をこの度公開しましたので是非お試し下さい！

https://t.co/hVDXc60F5C

意味的類似性に基づいた置換や挿入削除に対応しながら1兆トークン規模のデータを0.1秒代で検索すると いうなかなか狂った性能になってます。EMNLP'25 Best Paperのinfini-gram-miniを含む既存のツール全てを大きく凌駕する性能だと思います。用途に特化したデータレイアウトを持つdisk-aware suffix arrayを使いながら、本来指数的になる置換・挿入・削除の候補を実データに基づきうまく枝刈りすることで高速な検索を達成してます。

この規模の事前学習データを検索出来ることの利点の事例として、論文ではベンチマークの汚染の検証をやってみてます。infini-gram-miniのような厳密な検索のみでは発見出来ないような汚染の事例なども有りそうでした。

現在デモでは数百Bトークン規模のデータからの検索を試せるようになってます。コードも公開してますのでご自身でホストしてもらうとより大規模なケースもお試し頂けます。

🌐 Demo: https://t.co/iNHhzeIsw3
📄 Paper: https://t.co/HNxk0aK5WS
💻 Code: https://t.co/foPSdoviuz

若き才能 @e869120 を始めとするSoftMatchaチームの方々との協働はとても刺激的で多くの学びがありました。楽しかった〜！ありがとうございました！ @shiatsumat @go2oo2 @ksuenaga @MasWag @sho_yokoi

[kgoto @kgoto]

数年ぶりにatcoder復帰！
水色は当然として青色まで頑張る。

[kgoto @kgoto]

@tsukasa__diary すごいー
おめでとうございます！！！

[kgoto @kgoto]

pythonのバイトコード取得する方法見つけて、思いつきでバイトコードのインタプリタ作ってる。楽しい。
https://t.co/hHDHEt3F9T

[sho_yokoi @sho_yokoi]

出口さんを中心とした超強力な研究チームのコラボレーションによって、かなり面白いものができてしまいました。動くデモもあります https://t.co/T9FdRm3hGb

[株式会社LegalOn Technologies（リーガルオンテクノロジーズ）【公式】 @legalontech_jp]

【Dataflow 実践開発セットアップ】に関する記事を、LegalOn Technologies Engineering Blogで公開！

PythonとDataflowを活用してデータを処理する上で、テストを整備しDockerを活用したセットアップについて紹介しています。

#エンジニアブログ #Dataflow
https://t.co/Ca3HAz5BA0

[Ozy @ozy4dm]

良い本に仕上がりました🙌🏻
みんな見て見て！！！

はてなブログに投稿しました
大規模データセットのためのアルゴリズムとデータ構造 - カメヲラボ https://t.co/zWqTlFvI9E
#はてなブログ

[kgoto @kgoto]

書籍のコードを自分で写経したら動かなくて、chatgpt君に写経させたら動いたので、chatgpt君僕よりもずっと優秀。

[kgoto @kgoto]

ルックバック最高だった。