Ludzie często dziwią się dlaczego jako AI Engineer jestem sceptyczny odnośnie wykorzystania AI.
Odpowiedź jest prosta, mój entuzjazm odnośnie AI jest dokładnie taki sam jak 5 lat temu. To ludzie zaczęli być zbyt optymistyczni.
Od zawsze twierdziłem że AI ma konkretne zastosowania - dobrze uporządkowane, konkretne, powtarzalne procesy z wystarczającą ilością danych historycznych, gdzie jesteśmy w stanie zaakceptować kompromis pomiędzy precyzją a czułością systemu.
Różnica jest taka że kiedyś panowało podejście „AI nie jest w stanie rozpoznać rasy psa na zdjęciu to zbyt skomplikowane”
A teraz jest „Po co komu lekarze, wpisałem moje symptomy do ChatGPT i już mnie zdiagnozował”
Kiedyś trzeba było ten entuzjazm wzbudzać, teraz trzeba go ostudzać ale ja dalej ciągnę do tego samego punktu, tylko teraz trzeba ciągnąć w drugą stronę.
Anoniminer-Flash - nasz nowy model do wykrywania danych osobowych - 4x szybszy, bardziej dokładny.
Jesteś ciekaw, jak to zrobiliśmy?
Rzucę trochę inside info:
- Model bazowy: Roberta 8k od PKO Bank Polski wypada podobnie do bazowej Roberty, a ma dużo dłuższy kontekst, więc czemu nie. Dużo lepsze wyniki niż baza od OpenAI privacy filter
- kilka sztuczek zaczerpniętych z Privacy Filter np. Viterbi Decoding z dynamicznymi wagami.
-Próbowaliśmy użyć Bielika 1.5B podobnie jak Privacy Filter robił z GPT OSS i patch na bidirectional attention ale wyniki były gorsze
-Przede wszystkim dane (i dlatego o reszcie piszę tak otwarcie bo to najcięższe do zreplikowania 😉) Mamy już 30tys danych treningowych w tym z realnych teksów z danymi osobowymi i nasze własne przepisy na tworzenie danych. Mocno pomogły tez beta testy i feedback od testerów i klientow za co serdecznie dziękuję 🙏
@szacilowski Testy były na mac studio m2 max, więc nawet GPU nie oznacza tutaj pełnej nvidii 🙂 Generalnie wymagania są mega małe, 4GB ramu spokojnie wystarczą
@Stasiu_Botowski Nie mówię, że taki laptop jest niezbędny do pracy; mając do wyboru tylko jego albo tylko serwer za te same/trochę większe pieniądze, wybrałbym serwer.
Ale obecnie mam w lapku 16GB ramu i ni cholerę mi to nie starcza więc i tak będe musiał wynienić 🙂
Akuart niedługo planje wymieniać laptopa
Myślałem o M5 ale...musze przyznać że to brzmi bardzo interesująco pod kątem odpalania lokalnych llmów
- do 128GB unified ramu (oczywiście przy obecnych cenach tanio nie będzie)
- 600GB/s bandwidth
- performance na poziomie 5070
Oczywiście liczę na natywne wsparcie linuxa
NVIDIA, ARM tabanlı yeni işlemcisi RTX Spark'ı duyurdu.
- İşlemcide RTX 5070'e denk bir GPU bulunuyor.
- Modern oyunlarda 1440P'de 100 FPS'te çalışıyor.
- Laptop, Windows olmasına rağmen prizden çektiğinizde performans düşmüyor.
- Batarya ömrü uzun.
- Sadece laptoplar için değil masaüstü bilgisayarlarını da hedefliyor.
- Sahnede 007 First Light ve Forza Horizon 6 ile gösterildi.
- Yapay zeka işlem gücü de yüksek.
- 2026 Sonbahar'ında çıkacak.
@Stasiu_Botowski 100B nie, ale 30B tak. Moja praca związana jest z tworzeniem aplikacji pod lokalne LLM-y, dotrenowywaniem ich itd., więc robię to całkiem często.
To niesamowite. Oni opisują prawdziwe życie, jakby jeden 7 latek opowiadał drugiemu jak straszne jest życie dorosłych
- wiesz że podobno jak jesteś dorosły i dostajesz kieszkonkowe to...część musis oddać na "dom" 😮
- Wiesz, że jedzenie nie pojawia się w domu, tylko trzeba je kupić w sklepie?
- A wiesz, że nie wszyscy dorośli dostają tyle samo?
- Wiesz, że czasem nic nie dostajesz, jak nie pracujesz, nawet jak jesteś bardzo grzeczny?
Oczywiście różnie może być.
Ja bym to porównał do danych w chmurze vs lokalnego NAS.
Obie rzeczy mają swoje wady i zalety.
90% osób po prostu trzyma dane w chmurze, bo wygodniej.
Są ludzie, których wolą lokalnie z różnych powodów.
Są ludzie, którzy nie mają wyboru ze względu na specyfikę swojej pracy.
Myślę, że nie, zwłaszcza przy obecnych cenach subskrypcji, które są mocno dotowane przez OpenAI i Anthropic, żeby przyciągnąć klientów.
Przy cenie 20$/mc za subskrypcję taki laptop zwraca ci się za...20lat.
Plus nie oszukujmy się na tym laptopie nie odpalisz modelu na poziomie GPT 5.5 czy Opusa
Więc myśle że to głownie sprzęd dla branż gdzie prywatność ma duże znaczenie i dla pasjonatów