#tensorrt_llm - Twitter Hashtag

over 2 years ago

$NVDA 和 $GOOGL 合作推出 Gemma 用桌電 RTX 開發 #LLMs Gemma ： -：經過預訓練的 2B 和 7B 版本，皆可在筆電或 Google Cloud 上運行 - JAX、PyTorch 和 TensorFlow； $NVDA NeMo 和 #TensorRT_LLM - 跨多個 AI 硬體平台，包括 NVIDIA GPU 和 Google Cloud TPU - 使用條款允許所有組織

BlueJay87476298's tweet photo. $NVDA 和 $GOOGL 合作推出 Gemma

用桌電 RTX 開發 #LLMs

Gemma ：
-：經過預訓練的 2B 和 7B 版本，皆可在筆電或 Google Cloud 上運行

- JAX、PyTorch 和 TensorFlow； $NVDA NeMo 和 #TensorRT_LLM

- 跨多個 AI 硬體平台，包括 NVIDIA GPU 和 Google Cloud TPU

- 使用條款允許所有組織 https://t.co/y6D7eYGjNI

0

35

1

2

2K

BlueJay

@BlueJay87476298

over 2 years ago

#大家都贏 $AMD 為何使用 vLLM 與 FP16？ - 伺服器實務上會有延遲； $NVDA 僅展示吞吐量 - vLLM #開源又廣泛使用，比 FP8 更受歡迎，因其僅適用TensorRT-LLM -要開源社群放棄 #vLLM很難，但 #TensorRT_LLM 是免費的勞斯萊斯 https://t.co/zyYGmflSAN

BlueJay87476298's tweet photo. #大家都贏
$AMD 為何使用 vLLM 與 FP16？

- 伺服器實務上會有延遲； $NVDA 僅展示吞吐量

- vLLM #開源又廣泛使用，比 FP8 更受歡迎，因其僅適用TensorRT-LLM

-要開源社群放棄 #vLLM很難，但 #TensorRT_LLM 是免費的勞斯萊斯

https://t.co/zyYGmflSAN https://t.co/9BDuaYw923

0

3

0

743

BlueJay

@BlueJay87476298

over 2 years ago

偷吃步有��些： 1. 192GB vs 80G ( 2 倍的記憶體，不該有2倍的效能嗎？） 2. 使用 pre-release 版本的ROCm 6.0 和 PyTorch 2.2.0 3. 如果用 pre-release ，那是不是應把 #TensorRT_LLM v.0.6.1 改為 v.0.8? 4. 2024 年的競爭對象應是 #H200 吧？

1

2

0

337

BlueJay

@BlueJay87476298

over 2 years ago

#AI $AMD 針對 $NVDA 打臉的反擊 $AMD 回應：即使像競爭對手概述的那樣，使用 #H100 + #TensorRT_LLM #MI300X 還是更好，延遲提升 1.3 倍！ #蘇媽生氣 #台灣人不為難台灣人 #不要血流成河到底差在哪裡？👇 這次偷吃步有哪些？👇 來源：https://t.co/swWpHNkPib

BlueJay87476298's tweet photo. #AI $AMD 針對 $NVDA 打臉的反擊

$AMD 回應：即使像競爭對手概述的那樣，使用 #H100 + #TensorRT_LLM
#MI300X 還是更好，延遲提升 1.3 倍！

#蘇媽生氣
#台灣人不為難台灣人
#不要血流成河

到底差在哪裡？👇
這次偷吃步有哪些？👇

來源：https://t.co/swWpHNkPib https://t.co/T1kBAAqoLx

1

30

1

4K

BlueJay

@BlueJay87476298

over 2 years ago

$NVDA #TensorRT_LLM 一代比一代強 $AMD 也有喔

BlueJay

@BlueJay87476298

almost 3 years ago

#AI #讓更多企業接觸AI #就會有更多需求跟應用 #就會有更多用戶 2023 年 9 月， $NVDA 先推出 #TensorRT-LLM 來強化資料中心專用的 #H100 的 #推論能力後； 10 月宣布即將支援使用 GeForce RTX GPU (RTX 3060和RTX 4090) 的 Windows #PC，可讓 Llama 2 和 Code Llama 等最新 LLM 運行速度提高四倍

BlueJay87476298's tweet photo. #AI #讓更多企業接觸AI
#就會有更多需求跟應用
#就會有更多用戶

2023 年 9 月， $NVDA 先推出 #TensorRT-LLM 來強化資料中心專用的 #H100 的 #推論能力後；

10 月宣布即將支援使用 GeForce RTX GPU (RTX 3060和RTX 4090) 的 Windows #PC，可讓 Llama 2 和 Code Llama 等最新 LLM 運行速度提高四倍 https://t.co/p9rIsPUjDg

1

37

2

1

8K

0

4

0

1K

BlueJay

@BlueJay87476298

over 2 years ago

什麼是 #TensorRT_LLM

BlueJay

@BlueJay87476298

almost 3 years ago

$NVDA 推出 TensorRT-LLM 強化 #H100 #推論能力動態批次 (In-Flight Batching)將��字生成過程切分為多次執行，#不需整批完成就處理下一組，可提高 #GPU效率、降低總成本 #H100 原吞吐量是 #A100 的 4 倍，因 TensorRT-LLM 可達 8 倍 #Llama2 時 #H100 #推論從 A100 的 2.6 倍上升 4.6 倍