Daichi

Infra / Cloud / System Dev ｜ VMware, KVM, OpenStack, AWS ｜ Python & Java ｜ MLP from scratch / AI fundamentals / Ethical hacking ｜ Aiming to work globally 🇨🇦

[Daichi @BlackHat0710]

2026年 やることリスト
・LT発表する
・海外で働く
・Transformerモデルを数式から全部理解
・英語で技術発信 10本

今年も、少しずつ、成長を積み重ねていく1年にする。

[Daichi @BlackHat0710]

ここ数日色々問題あったけど
なんとか以下が終わった😮‍💨

☑️ 携帯契約
☑️ 銀行口座開設
☑️ SIN取得
☑️ シェアハウス下見

↓ 🇨🇦 CTrain 初めて乗った

[Daichi @BlackHat0710]

今日 🇨🇦 Calgary へワーホリで行くのだけど、緊張する😑

[Daichi @BlackHat0710]

📝 Tiny Transformer Decoding Layer Notes #1 - Appendix B

I organized my current understanding of the backward flow:

Cross Entropy → Softmax/Logits → Weights, Bias, and Input

👉 LinkedIn (full explanation):
https://t.co/We2OTSPKcn

#AI #Transformer #MachineLearning

[Daichi @BlackHat0710]

📝 Tiny Transformer Decoding Layer Notes #1 - Appendix A

I organized my current understanding of the forward computation flow:

Linear → Logits → Softmax → Cross Entropy

👉 LinkedIn (full explanation):
https://t.co/EklzyfNDWJ

#AI #Transformer #MachineLearning

[Daichi @BlackHat0710]

📝 Tiny Transformer Decoding Layer Notes #1

I organized my current understanding of:

Linear → Logits → Softmax → Cross Entropy
→ Backpropagation → Parameter Updates

👉 LinkedIn (full explanation):
https://t.co/OcSaH1zvAB

#AI #Transformer #MachineLearning

[Daichi @BlackHat0710]

Implemented a tiny part of the Transformer decoding process in pure Python.

Linear → Softmax → Cross Entropy → Backward → Update

A small step, but it helped me understand how the output layer learns to increase the probability of the correct next token.
#Transformer #Python

[Ben Leonard @lenjaminbeonard]

Web 3d explorer for @oxidecomputer. Built in three.js/r3f.

Tonnes of little interactions and details in this. Poke around, and take a look at the guided tours.

https://t.co/NBySQcGCjE

[Daichi @BlackHat0710]

M5 Japan Tour 2026 Spring Nagoya @ STATION Ai に参加を申し込みました！ https://t.co/cdhbbOnpBk #M5JPTOUR2026

[Daichi @BlackHat0710]

【AI個人開発】 Transelector Model

LLMが「分からない」と表現できる仕組みを考えて、
トークンに "known/maybe/unknown" の状態を持たせるモデルを試作してみました

Transformerベースの簡単なプロトだけど、
小さいデータでもそれっぽい挙動が出た

※LLMに「分からない」と言わせるためのモデル

[Daichi @BlackHat0710]

Why do we divide by √d in attention?

I tried to understand it from the variance perspective.

👉 LinkedIn (full explanation):
https://t.co/7vmDSV2kku

#AI #Transformer #MachineLearning

[dhruv @hail_dhruv]

found a website where you can create, program and test electronic hardware. it already has some featured projects

really great if you want to test before building your own hardware

[Daichi @BlackHat0710]

なんか最近コードを読む楽しみが減った...
AIが生成したんだろうという
先入観が入って純粋に楽しめない

py2exeみたいなトリッキーな実装とか
発想に出会えなくなりそうな予感

仕事としてのIT分野って、
つまらなくなっていくのかな

[Daichi @BlackHat0710]

🛠 Hands-on: Building a BPE Tokenizer

I struggled to understand the merge process and re-implemented the BPE tokenizer several times.
Based on what I learned, I organized everything into a hands-on guide.

Full guide here ↓
https://t.co/I5Ea1TaMxl

[Daichi @BlackHat0710]

🤔 Why is KV cache needed in masked self-attention?

In my previous post, I calculated masked self-attention by hand.
This time, I break down why KV cache is necessary.

Full explanation here ↓

https://t.co/ysOQU25gNY

[Daichi @BlackHat0710]

🧮 Calculating Masked Self-Attention by Hand (2026/02/14)

Recently, I became curious about the logic behind masked self-attention.
To deepen my understanding, I worked through the calculation step by step and organized my notes.

#AttentionMechanism

https://t.co/s3i6laOlja

[Daichi @BlackHat0710]

Many references say encoder representations are well-structured.
But if the decoder dominates and even unstructured reps still produce correct outputs…
then can we really say that explanation still holds?

#Transformer #LLM

[Daichi @BlackHat0710]

しゃち.py みーてぃんぐ 15th. もくもく会 に参加を申し込みました！ https://t.co/yvZdBzvEFT #shachi_py

[JAXAサテライトナビゲーター @satellite_jaxa]

【お知らせ】
地球観測データを生成AIから呼び出せるようになりました！
最新の「JAXA Earth API for Python」v0.1.5にClaude Desktopで動くMCPのサンプルコードを追加しましたので、ITエンジニアの皆さん、ぜひ遊んでみてください！
https://t.co/UAFDOBA92Z

[Daichi @BlackHat0710]

LTの資料アップいたしました。
先日はありがとうございました！

https://t.co/TYlEf7UYvi

#NGK2026S

[Daichi @BlackHat0710]

@miso_taku0221 ローカルで開発しました！
LT用に少量の学習データを使ったのでそこまで学習に時間かからなかったです。

構成図は以下の感じで、 PyTorchで実装してます。
※ 推論ではGreedy を利用してます