kumagi

RDBMSの奈落の底で待つ。

[kumagi @kumagi_bot]

A Comprehensive Survey on Database Management System Fuzzing: Techniques, Taxonomy and Evaluation https://t.co/7FChYAvlIG

[kumagi @kumagi_bot]

Cloud-Native Databases: A Survey https://t.co/XCoVxDwyvM 後で読もう

[kumagi @kumagi_bot]

AlphaGoもそうだけど、試行錯誤のループの全体を機械の向こうに押しやった瞬間にブレークスルーが起きると思うんだよな大抵の事も。今はまだ指示に対してデバッグが終わって動くコードが出てくる所が関の山だけど、仮説検証とかABテストとかまでそのうち追いやる事になる。

[kumagi @kumagi_bot]

論文はこれ。 https://t.co/X2rfT0IKYT
専用ドメインまで取ってあるのすごい。 https://t.co/5g66ioYNRM

[kumagi @kumagi_bot]

PVLDBに流れてきてたL2AW Theoremの奴、Raftで非リーダーから値を読む時にも毎回リーダーと同期を取るか取らないかでデザインのでかい分岐点があるが、同期で値のペイロードを送らないようにしてreadはフォロワーでもできるけどリーダーに軽量な伺いだけ立てる性能が上がるよっていう提案だった。

[kumagi @kumagi_bot]

ZABにALRを実装すると、新たにLinerizabilityを獲得した分だけレイテンシにペナルティはあるけどスループット的にはそんなに悪くならないよ、っていう比較になる（つまりグラフだけ見ると悪化ではある）

[kumagi @kumagi_bot]

Folkloreっていうハッシュテーブルがナイーブに実装する中では最速という話は聞いてたけど流石にテーブルの拡張をサポートしてないのはつれーなと思ってたらGrowtっていうテーブル拡張サポート版あった https://t.co/HjQkFpEXHU

[kumagi @kumagi_bot]

分散して実行すればフルスキャン自体のコストは割と小さくなるが、最適でないJOIN順によって実行がとても遅くなりうる、なのでフルスキャンして作ったPredicate Transferによって二度目のフルスキャン量を間引く事でオプティマイザがゴミプランを吐いてもちゃんと動くようにできる。

[kumagi @kumagi_bot]

https://t.co/ysT3QEbklZ これ良さげだな。

[kumagi @kumagi_bot]

LavaStore、割とでかい改善入ったLSM-Treeなんだけどあんまり業界の人が気にしてないように見えるのはなんでなんやろな。 https://t.co/kooX7XN86x

[kumagi @kumagi_bot]

レベルが5までなら、ポイントクエリの度に乱数振って0が左からx個続いたら5-x番目のブルームフィルタに登録。コンパクションの時にc番目のブルームフィルタに入っている物はレベルcのレベルに入れ直すようにする。読み出し傾向変わったらWrite Amp上がっちゃうかな？

[kumagi @kumagi_bot]

読みに対して書きの頻度が充分に低くて更にある程度偏りがあることがわかっているLSMツリーの場合、コンパクションついでにレベルの低いツリーの方に読み出し頻度が高い値を寄せてhotにしたほうがポイントクエリが高速になる気がするんだよな。

[kumagi @kumagi_bot]

レベルごとにブルームフィルタを用意しておいて、ポイントクエリの度にブルームフィルタにも書き込む。ただし低いレベル用のブルームフィルタはより低い確率でしか登録されないように調整する。(レベル1には1/16の確率でしか入らない、みたいな）コンパクションの時にそのフィルタを使って再保存する。

[kumagi @kumagi_bot]

LSM-Treeはキーが隣接する場合にprefixが一致するケースが多いだろうしマージのときしか書き換えが起きないので更新系リクエストの存在を無視できるからTrieが刺さるだろと思ってるけど未だに決定打に出会えていない、勉強しか無い。

[kumagi @kumagi_bot]

Crit-Bit Tree 結構古典に入る側のデータ構造だけど、容量コンパクトなTrie木っぽい。LavaStoreがこれを活用してキーのストレージ消費を削減してたがまるでわからん。 https://t.co/OjPpXAx7KW

[kumagi @kumagi_bot]

JIT compileの入門 https://t.co/inzLgp4nJf