@minosn@luksamuk Ele nao se compara em termos de inteligência, nao chega perto. Mas resolveu bem a task de configurar o lance no Prowlarr com tracker de torrent usando o modelo uncensored. O opus se negou a fazer a task, então to satisfeito hehe
Fiz o setup
- Jellyfin (media center)
- Radarr (pesquisa por filme)
- Prowlarr (index de torrent)
- Bazarr (baixador de legenda)
- qBittorrent
Com o Opus, e ele aceitou. Na hora de adicionar os sites de torrent, óbviamente ele se negou dizendo que "blabla pirataria"
+
@minosn@luksamuk 27b é modelo "denso", pode testar ai mas vc vai ver que vai ficar mto mto lerdo. Procura os MoE (misture of expert), vai melhor nesses apple
@BrOrlandi Nao use modelo Dense, use MoE que fica bem melhor.
E sim, com janela de contexto melhor melhora a velocidade, mas procura os MoE
To bem satisfeito com o Qwen3.6 35 A3B, vê se tu consegue rodar ele ai com algum quant. Pego uns 30+tok/s nele usando um M4 Pro
@whotfisabreu Testei no M4 Pro 48gb e ta batendo 12-13 tok/s
Achei mto lerdo por enquanto, mas vai melhorar. Se vc olhar la no repo do llama.cpp eles tao trabalhando em melhorar a performance desse modelo
@luksamuk Conseguiu rodar com um tok/s adequado? Qual context size? No M4 pro nao ta legal os tok/s. E fora esse mac so tenho uma 3060 com 8gb de vram, nao sei se roda. Tem dicas?
@stressedapple_ Por enquanto to novo no setup e ainda nao peguei os "pobrema". Botei 5 filmes e achei todos pelo Radarr e um tempo depois ja apareceu no Jellyfin
Sinceramente achei a "arquitetura" bem zoneada, tanto que meti até numa VM esse setup, nao confio nessas merdas de softwre n kkk
@luksamuk mas assim, eu fui deep. papo de compilar llama.cpp com um PR ainda aberto de hoje, abrir meu próprio PR em cima do PR do cara implementado FlashAttn accel pro Metal e os caralho, e mesmo assim não ficou rápido pro meu hardware
@luksamuk Lembrando que esse Inkling 2 mini foi adicionado no llama.cpp tipo tem 2 dias. Mais umas semanas e a performance dele deve melhorar bastante, usando fused operations (pelo que vi nos PRs do repo, a galera tava discutindo isso)
@gusthanks Ainda não sei qual é o melhor. Só to testando. Eu boto o nome de um filme pra baixar, e depois de um tempo ele tá pronto pra assistir, só isso
@luksamuk@mudler_it Larguei o Fable torando no llama.cpp, tentando fazer um patch pra implementar o que falta no llama.cpp pro Inkling, pode acelerar ele ou não, vamos ver
@luksamuk@mudler_it aí to por fora, só vi esse fato ai do meu agente quantizar local e meio que bater exatamente com os arquivos do cara
PS: to tentando implementar flash attention pra Metal pra acelerar o Inkling 2 Mini no meu mac, roda mas ficou lerdo (bem mais que o Qwen3.6)
@ryukinix@esquizioto Com certeza! Não é uma chavinha q vc vai virar e vai melhorar não. É um processo. Só confiar e continuar no processo. Pra melhorar, primeiro piora, mas depois melhora consistentemente. Melhoras!
@__simply_ana@Grazinascito Só olhar o linkedin dele. Fica 6 meses numa empresa, 6 meses na outra. Não dura. É um perdedor completo
Mas tem gente que dá moral pra esse tipo de gente inútil
Ele me bloqueou em todas as redes pq não tankou o pai aqui. Eu sei como fazer doer, ele não se cria comigo