213 tok/s VS 71 tok/s, same intel b70s 32 GB, same qwen 27b. the only thing i changed was the software.
one card
stock llama.cpp + mtp: 61.1 tok/s
tensorfold + dflash2 drafter: 123.6
two cards
stock llama.cpp + mtp: 71.6
tensorfold + dflash2 drafter: 213.6
on stock, the second card bought me 17%. on tensorfold it bought 73%.
if you just bought hardware, spend a weekend on your harness before you buy more. the engine, the drafter and how you split across cards decide more of your speed than the card itself. we are so early
(llama.cpp ran unsloth q4_0 gguf, tensorfold ran mlx 4-bit)
🥖 De la farine de blé. ''De la vraie, sans rien d'autre bien sûr !"
Un peu de levure, des mains qui doivent ''avoir de la chaleur pour faire monter la pâte. Une pâte qui doit ensuite réagir comme un sein de jeune fille.''
Un signe de croix qui fait rencontrer la matière et la vie, avec un verre de rouge pour faire glisser.
C'est juste Barjavel qui fait son pain, et ça tire presque une larme tellement c'est beau de simplicité.
Following his ouster as CEO of Nvidia Jensen Huang is reportedly considered for a high executive position at Mistral. Some experts, however, warn that for a high-profile position in France, two affairs might not be enough.