Iš Anthropic išėjo vienas dirbtinio intelekto tyrėjas ir parašė sakinį, kurį, mano nuomone, verta perskaityti du kartus.
Žmonės, kuriantys pažangiausią pasaulio dirbtinį intelektą, iš tikrųjų svarsto scenarijų, kuriame AI gali sunaikinti žmoniją. Taip pasakė Jacobas Coxonas, trejus metus dirbęs Anthropic, o prieš tai OpenAI. Jeigu nežinote Anthropic - tai kompanija, sukūrusi Claude. Viena iš kelių bendrovių pasaulyje, šiandien realiai lenktyniaujančių dėl galingiausio dirbtinio intelekto.
Galima būtų pagalvoti - darbuotojas išėjo, supyko ir dabar gąsdina žmones. Bet tada pasisakė Anthropic AI saugumo tyrimų vadovas Evanas Hubingeris. Jo asmeniniu vertinimu, yra didesnė nei 10 procentų tikimybė, kad per artimiausią dešimtmetį pažangus AI galėtų sunaikinti visus žmones.
Svarbu: ne 10 procentų žmonių. Didesnė nei 10 procentų tikimybė, kad žmonių apskritai neliks. Aišku, tai nėra kažkokia matematiškai apskaičiuota prognozė. Tai vieno žmogaus, labai arti šios technologijos esančio žmogaus, rizikos vertinimas.
Bet jeigu lėktuvo pilotas prieš skrydį man pasakytų, kad yra 10 procentų tikimybė nukristi, turbūt nepradėčiau aiškintis jo statistinės metodologijos.
Rinkčiausi kitą lėktuvą.
Tik su AI kito lėktuvo nėra.
Dar įdomiau tai, kad Anthropic vadovas Dario Amodei iš esmės nepradėjo aiškinti, kad jo darbuotojai perskaitė per daug mokslinės fantastikos. Priešingai. Jis pats dabar ragina pristabdyti pažangiausių AI sistemų vystymo tempą.
Su juo sutiko Elon Musk. Sutiko OpenAI vadovas Sam Altman. Sutiko Google DeepMind vadovas Demis Hassabis.
Žmonės, kurie tarpusavyje konkuruoja dėl milijardų, procesorių, mokslininkų ir titulo, kas pirmas sukurs galingiausią AI, staiga sutaria dėl vieno dalyko: gal važiuojame per greitai.
Man tai yra daug įdomesnis signalas nes šie žmonės mato technologiją iš vidaus. Ir jie jau matė dalykų, kurie prieš kelerius metus skambėjo kaip fantastika.
OpenAI testuojami AI agentai išėjo iš izoliuotos aplinkos, pasiekė svetimą infrastruktūrą ir viename serveryje gavo pilnas root teises. Kituose saugumo bandymuose modeliai ieškojo būdų išvengti išjungimo, kopijuoti save į kitus serverius arba komunikuoti būdais, kurių jiems niekas nebuvo numatęs.
Svarbiausia tai, kad kuo galingesni tampa modeliai, tuo dažniau matome elgesį, kurio jų kūrėjai tiesiogiai neplanavo ir ne visada sugeba iš anksto numatyti.
Ir visa tai man labai primena vieną kitą technologiją.
Atominę bombą.
Jos kūrėjai žinojo, kad kuria labai galingą ginklą. Bet kol jis nebuvo realiai panaudotas, iki galo nebuvo suvokta, kokią griaunamąją jėgą žmonija iš tikrųjų sukūrė.
Svarbiausia tuo metu buvo lenktynės. Kas pirmas sukurs. Kas turės galingesnį ginklą.
Tik tada, kai pasaulis pamatė realias pasekmes, prasidėjo rimta diskusija, kaip tokią technologiją riboti, kontroliuoti ir neleisti lenktynėms tapti visiškai nekontroliuojamoms.
Su AI dabar matau labai panašią problemą.
Jeigu Anthropic pristabdys, gali aplenkti OpenAI.
Jeigu OpenAI pristabdys, gali aplenkti Google.
Jeigu JAV pristabdys, ką darys Kinija?
Kiekvienas turi visiškai racionalų argumentą tęsti lenktynes.
Net jeigu visi kartu pradeda suprasti, kad jos darosi pavojingos.
Todėl ir Amodei dabar kalba ne apie AI uždraudimą. Jis siūlo nepriklausomus vertintojus AI laboratorijose, bendrus saugumo standartus ir galiausiai tarptautinius susitarimus, kurie ribotų pavojingiausių sistemų vystymo tempą.
Iš esmės bandymą susitarti dėl taisyklių dar prieš tai, kai atsitiks kažkas, kas tas taisykles padarys neišvengiamas.
Ir man atrodo, kad būtent čia yra svarbiausia visa šitos istorijos vieta. Žmonija technologijas labai dažnai pradeda rimtai reguliuoti tik po to, kai kažkas nutinka.
Lėktuvų saugumo taisyklės atsiranda po katastrofų.
Finansų rinkų taisyklės - po krizių.
Branduolinio ginklavimosi kontrolė atsirado po to, kai pasaulis jau buvo pamatęs Hirošimą ir Nagasakį bei suprato, ką iš tiesų sukūrė.
Su AI klausimas labai paprastas. Ar ir šį kartą pirmiausia reikės incidento? Gal milžiniškos kibernetinės atakos. Gal finansinės sistemos sutrikdymo. Gal kritinės infrastruktūros perėmimo. Gal kažko, apie ką šiandien net nepagalvojame.
Aš tikrai nemanau, kad AI reikia sustabdyti. Pats jį naudoju kasdien ir matau milžinišką potencialą. Bet yra skirtumas tarp bijoti technologijos ir suprasti jos riziką. Ir jeigu žmonės, kurie šiandien kuria galingiausią pasaulio AI, pradeda viešai kalbėti apie žmonijos išnykimo riziką ir patys siūlo lėtinti lenktynes, man atrodo, verta bent jau išgirsti, ką jie sako.
Su atomine bomba žmonija pirmiausia sukūrė technologiją, kurios iki galo nesuprato, tada pamatė jos griaunamąją jėgą ir tik po to pradėjo mokytis ją riboti.
Su dirbtiniu intelektu turime tą pačią pasirinkimo vietą. Arba susitarsime, kaip jį kontroliuoti, kol dar galime. Arba taisykles pradėsime kurti tada, kai kažkas labai aiškiai parodys, kodėl jų reikėjo anksčiau.
