@deZeZed Trochę ma racji, a trochę nadmiernie generalizuje i daje przestrzeń do mocnej kontry którą pewnie niejeden oburzony samiec chętnie by wyprowadził.
Jedno z potężniejszych zdjęć jakie ostatnio widziałem. Jest smutne, przerażające i przygnębiające pod każdym względem… nie daje też żadnej nadziei.
Znalezione u @ceciarmy
Ukazał się świetny (i darmowy) przewodnik po świecie sztucznej inteligencji z perspektywą human-first. Publikacja napisana przystępnym językiem liczy ok. 190 stron, powstała pod redakcją wyśmienitej badaczki dr Wiktorią Mieleszczenko-Kowszewicz, która na co dzień pracuje w Katedrze Sztucznej Inteligencji Politechniki Wrocławskiej.
Cały przewodnik został przygotowany pro bono przez ekspertów z sekcji AI w edukacji w Grupa Robocza ds. Sztucznej Inteligencji (GRAI) przy Ministerstwo Cyfryzacji @CYFRA_GOV_PL .
Publikacja daje nauczycielom podstawową wiedzę potrzebną do rozmowy z dziećmi i młodzieżą o AI, ale myślę, że innym osobom również będzie on słuzył wieloma cennymi informacjami. Link do przewodnika oraz do mojej rozmowy z dr Mieleszczenko-Kowszewicz w komentarzu.
Pan Jakub Wiech zadał pytanie, jak hipotetycznie miałaby wyglądać zagłada ludzkości przez AI.
Wystarczy uświadomić sobie kilka faktów, aby uruchomić wyobraźnię i nie oczekiwać jakiegoś dramatycznego punktu w czasie - Judgment Day.
↓ Stan obecny:
⭕ Współcześnie każda wystarczająco zaawansowana technologia ma w sobie komputer lub jest komputerem.
⭕ Każdy komputer musi posiadać software, aby działać.
⭕ Podstawą informatyki (w tym miejscu lepiej pasuje angielskie „computer science”) są matematyka i fizyka. Matematycy dali światu algebrę Boole'a, a fizycy tranzystory.
⭕ Współczesne wytwarzanie dóbr fizycznych zależy od komputerów.
⭕ Największa akumulacja kapitału znajduje się w sektorach software i hardware.
↓ Procesy które nabierają tempa:
⭕ Coraz więcej kodu programistycznego jest wytwarzane przez modele lub przy ich wsparciu. Tym samym baza programistyczna staje się coraz trudniejsza do kontrolowania przez ludzi.
⭕ Najbardziej zaawansowane procesory powstają przy wsparciu modeli AI.
⭕ Matematyka - podstawa algorytmiki - przeżywa coraz intensywniejszą penetrację przez systemy AI. Prawdopodobnie podobny proces będzie miał również miejsce w fizyce teoretycznej.
⭕ Współczesne modele bazowe (foundation models) są coraz lepsze w obsłudze fizycznych efektorów (robotyka).
⭕ Współcześnie modele generacji k - 1 są wykorzystywane do tworzenia generacji k, a te do tworzenia generacji k + 1.
Wyobraźmy sobie, że procesy, które opisałem, nadal będą zachodzić w nadchodzących latach. Nie z dnia na dzień, ale sukcesywnie oprogramowanie pisane przez człowieka będzie wypierane przez kod pisany przez AI, a podstawa algorytmiczna będzie coraz mniej zrozumiała i trudna do weryfikacji przez ludzi.
Po kilku, kilkunastu latach trwania tych procesów ludzie nie będą już w stanie rozwijać technologii bez udziału AI, a wręcz przestaną rozumieć, jak działa otaczająca ich rzeczywistość technologiczna, bo tempo i złożoność narzucone przez AI będą poza ich zasięgiem. W efekcie przestaną być sprawczy w dziedzinach, w których dochodzi do największej akumulacji kapitału. Kwestie broni biologicznej czy energii jądrowej są jedynie pochodnymi opisanego, ogólnego procesu. Homo sapiens zostanie zmarginalizowany społecznie i ekonomicznie przez procesy, które sam uruchomił. Kolejne generacje technologicznych artefaktów powstawałyby wyłącznie dzięki pracy AI.
W takim hipotetycznym świecie problem niedopasowania (angielskie „misalignment”) nabiera zupełnie nowego wymiaru. Zagadnienie niedopasowania jest dobrze udokumentowane i ma bogatą literaturę. Chodzi o sytuację, gdy cel, który stawiamy przed systemem AI w procesie jego treningu lub na późniejszym etapie jego funkcjonowania, jest niezgodny z intencją człowieka. To jest rozbieżność pomiędzy tym, co człowiek chciał, aby system AI zrobił, a tym, co system faktycznie optymalizuje. Głośnym przykładem z ostatnich tygodni jest atak agenta AI (najprościej mówiąc: modelu, który potrafi korzystać z narzędzi softwarowych) od OAI na infrastrukturę Hugging Face. Pracownicy HF musieli skorzystać z pomocy innego agenta, aby zrozumieć, co w ogóle się dzieje. Ale przykładów niedopasowania jest bardzo dużo; dotąd interesowały jedynie osoby zaangażowane w uczenie maszynowe (jak definiować funkcję celu podczas treningu, jak zapewnić dobry rozkład danych treningowych itd.).
Jeżeli wyobraźimy sobie takie niedopasowanie, z jakim mieliśmy do czynienia kilka tygodni temu, ale w świecie, w którym technologia jest niezrozumiała dla Homo sapiens lub zrozumiała tylko częściowo, rodzi się pytanie: w jaki sposób powstrzymalibyśmy system, który hakuje inne systemy, skoro nie kontrolujemy stosu technologicznego, na którym to się dzieje? Nie rozumiemy ani algorytmów, ani fizycznej bazy, na której realizowany jest cały proces. Jak dalece taki incydent mógłby eskalować w rzeczywistości, w której wiele fizycznych efektorów jest zawiadowanych przez oprogramowanie, którego nie rozumiemy? Czy w tym hipotetycznym świecie takie pojedyncze incydenty mogłyby się kumulować, na przykład przez lata, poza świadomością ludzi, aż do momentu, w którym cały system zostałby hakowany przez AI? Czy taka sytuacja mogłaby doprowadzić do implozji cywilizacyjnej?
Procesy, które opisałem na wstępie, już zachodzą. Nie wiadomo, dokąd nas zaprowadzą i czy faktycznie będą miały aż tak dalekosiężne skutki. Scenariusz, który opisałem, jest hipotetyczny. Całe zagadnienie jest często dopalane niepotrzebnym "czarnym" marketingiem ze strony firm technologicznych.