Top Tweets for #SwiGLU

over 3 years ago

Kaggleで見っけた活性化関数の一覧表！見やすい♪ Neural Network Activation Functions https://t.co/sxDdUFWq6r LLaMA🦙は活性化関数にPaLMの #SwiGLU 使用 Google謹製のSwish派生 SwiGLU著者はLaMDAリーダで今https://t.co/s1bnvajG9Sでチャトボ作ってるｗ LaMDAはgated-GELU BERT,GPT-3はReLU

forasteran's tweet photo. Kaggleで見っけた活性化関数の一覧表！
見やすい♪

Neural Network Activation Functions
https://t.co/sxDdUFWq6r

LLaMA🦙は活性化関数にPaLMの #SwiGLU 使用
Google謹製のSwish派生
SwiGLU著者はLaMDAリーダで今https://t.co/s1bnvajG9Sでチャトボ作ってるｗ
LaMDAはgated-GELU
BERT,GPT-3はReLU https://t.co/PdhRYPTVoy

536

181

42K

Top Tweets for #SwiGLU

Last Seen Hashtags on Sotwe

Trends for you

Most Popular Users