#LLamaCpp - Twitter Hashtag

about 9 hours ago

Claude ahora pone manos a la obra en llama.cpp: la b11940 llegó a master con el PR de deferred tools, y lo asistió Opus 5.5. IA ayudando a construir IA, en open source 👀 https://t.co/XLgz7tTs2L #InteligenciaArtificial #LlamaCpp

0

12

Ahmad Ibrahim @dym6100

about 13 hours ago

Ollama, LM Studio, Jan, GPT4All: different apps, mostly the same engine underneath: llama.cpp. It's one C/C++ project that runs quantized GGUF models on CPUs, Apple Silicon and GPUs. Most "local AI" is a nice UI on top of it. #llamacpp #LocalLLM #AI #ollama #lmstudio

dym6100's tweet photo. Ollama, LM Studio, Jan, GPT4All: different apps, mostly the same engine underneath: llama.cpp.

It's one C/C++ project that runs quantized GGUF models on CPUs, Apple Silicon and GPUs.

Most "local AI" is a nice UI on top of it.

#llamacpp #LocalLLM #AI #ollama #lmstudio https://t.co/wqOKc54j87

2

0

35

R@aiaicreate

@aiaicreate

about 15 hours ago

音声とテキストの入出力に対応する軽量モデル「LFM3-Audio-2B」のGGUF版が公開。端末上で動作し、テキストや音声から応答を生成。CPUやGPUでの推論に対応。 llama.cppへの公式対応はPRマージ待ち。 #LFM3Audio #llamacpp URLはリプ⬇️

aiaicreate's tweet photo. 音声とテキストの入出力に対応する軽量モデル「LFM3-Audio-2B」のGGUF版が公開。
端末上で動作し、テキストや音声から応答を生成。CPUやGPUでの推論に対応。
llama.cppへの公式対応はPRマージ待ち。

#LFM3Audio #llamacpp

URLはリプ⬇️ https://t.co/XwNZrKpoIO

1

3

0

5

1K

Meet @officialmeetp

1 day ago

Did a benchmark of llama.cpp running an offline summarizer on Android with Qwen2.5. Tested on Galaxy S22 Ultra (CPU-only): ~38 tokens/s and ~7.8s per summary. Explored accuracy and limitations. Checkout Blog: https://t.co/sSMkckTAxA #llamacpp #AndroidDev #OnDeviceAI #LocalLLM

officialmeetp's tweet photo. Did a benchmark of llama.cpp running an offline summarizer on Android with Qwen2.5.

Tested on Galaxy S22 Ultra (CPU-only): ~38 tokens/s and ~7.8s per summary.

Explored accuracy and limitations.

Checkout Blog: https://t.co/sSMkckTAxA

#llamacpp #AndroidDev #OnDeviceAI #LocalLLM https://t.co/U6xK9sZy6O

0

2

0

49

aymen @aymen1994

1 day ago

NeuronDump v0.1.4: inspect and experiment with local LLM internals. - Explore 2D/3D model graphs - Inspect layers, tensors and attention - Trace token generation - Edit weights and test pruning For #Ollama #LlamaCpp #LMStudio #GGUF GitHub: https://t.co/obXk50xvk0

0

1

0

49

Vincent Quezada @vincent_quezada

3 days ago

DeepSeek-V4.1-Flash en GGUF: cuantización que corre un modelo de 763B en 12 GB de VRAM https://t.co/1ORM6nIv93 #one_digital #onedigital #DeepSeek #GGUF #IAlocal #LlamaCpp #DeepSeekV41FlashGGUF

vincent_quezada's tweet photo. DeepSeek-V4.1-Flash en GGUF: cuantización que corre un modelo de 763B en 12 GB de VRAM

https://t.co/1ORM6nIv93

#one_digital #onedigital #DeepSeek #GGUF #IAlocal #LlamaCpp #DeepSeekV41FlashGGUF https://t.co/kq9ObZHkia

0

23

ONEDigital.mx @one_digital

3 days ago

DeepSeek-V4.1-Flash en GGUF: cuantización que corre un modelo de 763B en 12 GB de VRAM https://t.co/8bw5yRHOds #one_digital #onedigital #DeepSeek #GGUF #IAlocal #LlamaCpp #DeepSeekV41FlashGGUF

one_digital's tweet photo. DeepSeek-V4.1-Flash en GGUF: cuantización que corre un modelo de 763B en 12 GB de VRAM

https://t.co/8bw5yRHOds

#one_digital #onedigital #DeepSeek #GGUF #IAlocal #LlamaCpp #DeepSeekV41FlashGGUF https://t.co/X9SoWSfmqK

0

108

R@aiaicreate

@aiaicreate

5 days ago

テキスト生成モデル「Flint」のNVFP4量子化GGUF版が公開。 llama.cppを用いたNVIDIA GPUでの推論向けに設計。最大約26万トークンの長文脈に対応し、コーディング支援ツールとの連携設定も同梱。 #Flint #llamacpp URLはリプ⬇️

aiaicreate's tweet photo. テキスト生成モデル「Flint」のNVFP4量子化GGUF版が公開。
llama.cppを用いたNVIDIA GPUでの推論向けに設計。
最大約26万トークンの長文脈に対応し、コーディング支援ツールとの連携設定も同梱。

#Flint #llamacpp

URLはリプ⬇️ https://t.co/s3lHB1KX1Z

2

4

1

2K

ONEDigital.mx @one_digital

5 days ago

PS5LM convierte tu PS5 en un servidor de modelos de IA local https://t.co/72WPkiJLcH #one_digital #onedigital #PS5LM #IAlocal #llamacpp #PS5 #Homebrew #GitHub #InteligenciaArtificial

0

70

Vincent Quezada @vincent_quezada

5 days ago

PS5LM convierte tu PS5 en un servidor de modelos de IA local https://t.co/iMvoBoehDf #one_digital #onedigital #PS5LM #IAlocal #llamacpp #PS5 #Homebrew #GitHub #InteligenciaArtificial

0

39

Hari Santhosh

@harisanthosh9

5 days ago

🔥 Can you actually run Flint, a ~40B coding model, locally on a 32 GB AMD laptop? I tested it on a Ryzen AI 7 PRO 350 + Radeon 860M iGPU. #LocalAI #Flint #CodingAgents #AMD #RyzenAI #LlamaCPP #Vulkan https://t.co/23hFCAtNJs

5

0

1

273

FINIK | GPU・グラボ

@Ruslan_BJ

5 days ago

32Bモデルで128kコンテキスト、24GBに収まる�� 通常のKVキャッシュだと途中でOOM。コンテキストシフトならVRAMが頭打ちになる、というシミュレーションを作りました。もうバックエンドは更新しましたか？まだOOM出てますか？ ※画面はイメージ・数値は概算 #ローカルLLM #llamacpp #RTX3090

0

1

0

97

Lukáš Chylík @lukas_chylik

6 days ago

Released WattLlama 🦙⚡ How many watts does your local LLM really burn? Energy per token per model, live PC watts, GPU power limit. Works with llama.cpp, Ollama & LM Studio on Windows + Linux. Open source. https://t.co/s7Gdx2YNkH #LocalLLM #llamacpp #Ollama #OpenSource #AI

4

5

0

202

ONEDigital.mx @one_digital

6 days ago

Un flag de llama.cpp permite correr un modelo 35B en 8GB de VRAM https://t.co/gkTAguZaSK #one_digital #onedigital #llamacpp #IALocal #MoE #VRAM #LLM #IAlocal #LlamaCpp8GBVRAM

one_digital's tweet photo. Un flag de llama.cpp permite correr un modelo 35B en 8GB de VRAM

https://t.co/gkTAguZaSK

#one_digital #onedigital #llamacpp #IALocal #MoE #VRAM #LLM #IAlocal #LlamaCpp8GBVRAM https://t.co/iOlFoy8gdi

0

42

Vincent Quezada @vincent_quezada

6 days ago

Un flag de llama.cpp permite correr un modelo 35B en 8GB de VRAM https://t.co/OGmfEdWegH #one_digital #onedigital #llamacpp #IALocal #MoE #VRAM #LLM #IAlocal #LlamaCpp8GBVRAM

vincent_quezada's tweet photo. Un flag de llama.cpp permite correr un modelo 35B en 8GB de VRAM

https://t.co/OGmfEdWegH

#one_digital #onedigital #llamacpp #IALocal #MoE #VRAM #LLM #IAlocal #LlamaCpp8GBVRAM https://t.co/vdb4VlvLzs

0

1

0

34

R@aiaicreate

@aiaicreate

6 days ago

言語モデル「Flint」のINT4量子化GGUF版が公開。 llama.cppによりApple Silicon（Metal）での動作をサポート。最大26万トークンの長文脈に対応し、各種開発支援ツールからの連携利用が可能。 #Flint #llamacpp URLはリプ⬇️

aiaicreate's tweet photo. 言語モデル「Flint」のINT4量子化GGUF版が公開。
llama.cppによりApple Silicon（Metal）での動作をサポート。最大26万トークンの長文脈に対応し、各種開発支援ツールからの連携利用が可能。

#Flint #llamacpp

URLはリプ⬇️ https://t.co/YUJpT4OO26

2

6

1

3

1K

AI Quick Findings

@AIQuickFindings

6 days ago

+8% prose, +61% code: that's the speedup claimed for Ling-3.0-tiny-UBTree DFlash, a draft built for stock mainline llama.cpp. The lopsided gains are the story — draft acceleration looks task-dependent, with code far ahead of prose. #LLM #llamacpp Source: r/LocalLLaMA

0

16

Automater

@automater_ai

6 days ago

llama.cpp v0.7.0 moved llama-server's default port from 8080 to 9931. Your agent is still knocking on 8080. Pin the port or move every consumer before the next restart. #llamacpp #LocalLLM https://t.co/LcAKycsxXA

automater_ai's tweet photo. llama.cpp v0.7.0 moved llama-server's default port from 8080 to 9931. Your agent is still knocking on 8080. Pin the port or move every consumer before the next restart. #llamacpp #LocalLLM

https://t.co/LcAKycsxXA https://t.co/2R2uZTrbC7

0

41

Calvin Luttrell

@calvinluttrell

12 days ago

HN has Llama.cpp running on a jailbroken PS5, GGUF models native on console. Edge inference keeps getting cheaper, which changes where we place agents in real systems. #HackerNews #LlamaCpp #PS5 #GGUF #EdgeAI #AgenticAI #LlamaCppOnAJailbrokenPS5RunAnyGGUFModel

calvinluttrell's tweet photo. HN has Llama.cpp running on a jailbroken PS5, GGUF models native on console. Edge inference keeps getting cheaper, which changes where we place agents in real systems.
#HackerNews #LlamaCpp #PS5 #GGUF #EdgeAI #AgenticAI #LlamaCppOnAJailbrokenPS5RunAnyGGUFModel https://t.co/8YBEx0107D

1

2

0

123

lejars.g @g_lejars

15 days ago

@jaro3th @swarogan Makes sense, bandwidth alone (~640 vs ~960 GB/s) explains a lot. Mine is stock llama.cpp, q8_0 KV: 53.5 → 35.5 tok/s from 1k to 30k ctx on ROCm. Custom kernels + MTP heads is another league, would love to see your long-context numbers. #LocalLLM #llamacpp #ROCm #Qwen

0

2

0

31

Top Tweets for #LLamaCpp

Last Seen Hashtags on Sotwe

Trends for you

Most Popular Users