@FinansowyUmysl Background: Jestem 20 lat w IT. Przeszedłem wszystkie role w dostarczaniu oprogramowania. Ciągle jestem programistą.
Projekty AI robię od 2017 roku jako mój główny dochód.
Wykorzystuję LLM'y do mojej codziennej pracy i przyspieszają moja pracę, ale wiem o co pytać tego LLM'a.
@FinansowyUmysl Jeśli chcesz aby LLM generował Ci dobry kod, to musisz mieć wiedzę szeroką o technologiach, inżynierii oprogramowania, doświadczenie. ChatGPT pomaga dobrze doświadczonym inżynierom, a nie juniorom. Junior nie potrafi pisać dobrych promptów i wykorzystać generowany kod właściwie.
@JackGadzinowski Trochę nie zgodzę się z tym, że "retail" się jeszcze nie interesuje. Zaczynają mnie już podpytywać ludzie "ej, co to tak ten BTC wystrzelił", którzy ostatni raz temu interesowali się tym aktywem w 2021.
Co prawda są to pojedyncze osoby, ale zainteresowanie zaczęło się wcześniej.
@KO_Kryptowaluty Gdyby taki scenariusz miał duże szanse, to Fidelity by nie aplikowało na swojego BTC ETF. Za duża instytucja.
Chyba, że zrobili to dla zmyłki ulicy.
Ale znając ciężar ich procesów, ryzyko widzę małe.
Prędzej powiedziałbym, że to Zaor chce wystraszyć ulicę.
i love you all.
today was a weird experience in many ways. but one unexpected one is that it has been sorta like reading your own eulogy while you’re still alive. the outpouring of love is awesome.
one takeaway: go tell your friends how great you think they are.
@piotr_rataj ... jeśli znowu były 2 transakcje po 50 BTC każda, to wolumen = 100 BTC, kupiono 100 BTC i sprzedano 100 BTC. Giełda to też kupujący lub sprzedający (spot). Futures to już inna bajka. Giełda zawiera tylko kontrakt między kupującym i sprzedający, ale może też być stroną kontraktu.
@piotr_rataj@piotr_rataj : w skrócie wolumen transakcji to ilość towaru biorąca udział w transakcji. W każdej transakcji jest kupujący i sprzedający ➡️ jeśli była 1 transakcja na 100 BTC to taki jest wolumen, 1 osoba kupiła 100 BTC oraz jedna sprzedała 100 BTC.
@matheos33@tomaszwyluda Nie da się.
Branża IT się na tym opiera.
Zablokujesz VPN'a i 90% Devs i QAs się rokraczy pracując remote.
Bez VPN nie podłączysz też bezpiecznie infrastruktury pomiędzy oddziałami firm.
And that's also the reason of (already ongoing) works to put #GPT model to #ASIC chip.
Just imagine, that every device in the world has this chip #builtin.
The analogy between GPTs of today to the CPUs of early days of computing are interesting. GPT is a funny kind of programmable text computer. Have to think through it more 🤔 but e.g.:
## Memory
GPT-4 RAM is ~log2(50K vocab size)*(32K context length)/(8 bits/byte) ~= 64kB, roughly a Commodore64. Just as then, optimizing this precious resource is critical.
GPT registers are the residual stream. There are d_model of them, e.g. GPT-3 has ~12K registers. VLIW architecture vibes.
## CPU
The LOAD instruction is the Attention mechanism, except it can address by both location and/or content.
The STORE instruction is forced every n_layer number of clock cycles.
The ALU are the MLPs + LayerNorms. Awkwardly, as their params are not shared across layers, the ALU changes at each clock cycle. Optionally the MLPs may also be interpreted as supporting a kind of fixed knowledge database lookup.
The programs always takes the form [[LOAD, ALU]*N, STORE]*M, where N is n_layer and M is num_tokens.
## Architecture
GPT feels closer to a fixed-function than stored-program computer because the number of parameters is so large. In contrast, the description length of a CPU is very low and all the action is in the memory configuration.
Another way to look at it is that GPT is a much more bloated/complex computer. Which is fine because it is not engineered but optimized and the upshot is that the programs can be shorter.