Miłosz Kusiciel

Head of Technology @ MERIXSTUDIO

[Miłosz Kusiciel @mkusiciel]

Specjalnie dla rządu i ministry zdrowia Claude wydłużył dostępność modelu Fable 5, aby przy jego pomocy stworzyć jeszcze lepszy plan naprawczy ochrony zdrowia w PL. @donaldtusk do dzieła!

[Claude @claudeai]

We're extending access to Claude Fable 5 on all paid plans through July 12.

[Miłosz Kusiciel @mkusiciel]

@Samaytwt they sign it by hand :D

[Miłosz Kusiciel @mkusiciel]

Apple właśnie pokazuje, że można powiedzieć AI aby napisało maila do znajomego. A ja się pytam, gdzie jest POLSKA SIRI?

#WWDC

[Miłosz Kusiciel @mkusiciel]

@metakognita Nic odkrywczego. wcześniej firmy poświęcały czas pracowników na naprawę błędów, które sami stworzyli ;)

[Miłosz Kusiciel @mkusiciel]

Od ponad 17 lat zajmuję się programowaniem. Jeżeli interesują Cię takie treści, to zaobserwuj mój profil. Niedługo dodam kolejne moje doświadczenia :)

[Miłosz Kusiciel @mkusiciel]

1/5 Korzystając z @ollama mamy możliwość ustawienia kilku parametrów. Dwa z nich mocno wpływają na wydajność (szczególnie gdy mamy ograniczenia sprzętowe - u mnie to 64GB) zapraszam na wątek👇

[Miłosz Kusiciel @mkusiciel]

5/5 Znaczenie ma oczywiście też wielkość modelu. W moim przypadku dwa modele 32b zajmują 44GB, co jest już przy granicy. Na oko wychodzi, że "się zmieści" i faktycznie - mieści się. Ustawiłem wartość na 1, dlatego że drugi model (llava:34b) jest uruchamiany sporadzycznie.

[Miłosz Kusiciel @mkusiciel]

To mój pierwszy wpis na ten temat. Od ponad 17 lat zajmuję się programowaniem. Jeżeli interesują Cię takie treści, to zaobserwuj mój profil. Niedługo dodam kolejne moje doświadczenia :)

[Miłosz Kusiciel @mkusiciel]

Jak zmniejszyłem czas generowania treści AI z ~35s do ~8s! (4,5x szybciej) - w całości lokalnie, na własnym Macu, bez $$$ za API.

Wątek o tym, jak dobierałem model do polskich treści i na czym się przejechałem 🧵

[Miłosz Kusiciel @mkusiciel]

4 lekcje:

1. Sprawdzaj na SWOICH danych i w swoim języku
2. Patrz na p90, nie tylko na medianę
3. „Structured output" zweryfikuj sam
4. Upewnij się, że MLX jest włączony (na macu launchctl setenv OLLAMA_USE_MLX 1)