#RETNET - Twitter Hashtag

over 2 years ago

🧐Interested in the details of the latest SOTA architectures (#RWKV , #RetNet, #Mamba, #Griffin) for long sequences? 📢 "State-space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era" https://t.co/VaUfp3LZnl

1

12

8

2

1K

FW @thegenerality

over 2 years ago

@You_only_cache_once #RetNet(-2)

Microsoft Research

@MSFTResearch

over 2 years ago

YOCO is a novel decoder-decoder architecture for LLMs, enhancing memory efficiency by caching key-value pairs only once. YOCO markedly reduces KV cache memory and prefilling time by orders of magnitude. YOCO makes 1M-length LLMs practical. https://t.co/7YwSABBKVZ

MSFTResearch's tweet photo. YOCO is a novel decoder-decoder architecture for LLMs, enhancing memory efficiency by caching key-value pairs only once. YOCO markedly reduces KV cache memory and prefilling time by orders of magnitude. YOCO makes 1M-length LLMs practical. https://t.co/7YwSABBKVZ https://t.co/gdRcvdojO6

1

106

25

55

19K

0

11

1

592

【公式】パークシャテクノロジー / PKSHA Technology Inc.

@pkshatech

over 2 years ago

マイクロソフト支援のもと、RetNetを活用した大規模言語モデルを開発しました。 We are happy to announce that we developed advanced Large Language Models in collaboration with Microsoft Japan. #DeepSpeed #RetNet https://t.co/4aNxc7J3v3 ※本日米国向けにアナウンスをいたしました。

1

18

12

1

7K

Daiyu Hatakeyama@Microsoft, Hacking Generative AI @dahatake

over 2 years ago

#RetNet 。 #LLM の推論速度を上げ、コストを下げるような調査論文。実案件に関わるようになると必要になりかねない😊 https://t.co/qZjtsWjfvf

0

2

1

687

AIポータルメディア「AIsmiley」

@AIsmiley_inc

over 2 years ago

PKSHA、日本マイクロソフト支援のもと新たなLLMを開発。従来の3倍の速度で回答生成、4月から現場展開へ PKSHA Technologyは、世界で初「Retentive Network」を活用した日英大規模言語モデルを開発することを発表しました。 #AI #人工知能 #AIニュース #PKSHA #RetNet https://t.co/mcS6pGaUmG

0

14

8

3

2K

daka | AI

@daiki15036604

over 2 years ago

PKSHA(パークシャ)によるLLMの概要 #RetNet による初の日英LLM であり回答速度・長文理解に強みがある。そして #DeepSpeed の活用により効率的に学習を進め、プロトタイプモデルによる性能確認を早期に実現した。 https://t.co/cVH6KaJgsI

0

19

6

4

3K

OpenNLPLab

@opennlplab

almost 3 years ago

What will the 2024 Large Language Model resemble? #LLM #TransnormerLLM #RWKV #Mamba #LLaMA #Transformer #RetNet

0

3

0

405

Woojin Kim

@woojinrad

over 3 years ago

Retentive Network: interesting work from @MSFTResearch on #LLM architecture achieving favorable scaling results, parallel training, low-cost deployment, and efficient inference. https://t.co/8MhrKQOr3V #GenAI #GenerativeAI #LMMs #RetNet