Süni intellekt sənayesi texnologiyasının bəşəriyyət üçün ekzistensial təhlükə yaradıb-yaratmadığı barədə ən gərgin müzakirələrini aparır. Cari müzakirə süni intellekt tədqiqatçısı Jacob Coxon -un Anthropic -dən istefa verdiyini və aparıcı süni intellekt şirkətlərinin “həyatımızla qumar oynadığından” narahat olduğunu bildirməsindən sonra başladı. Daha sonra Anthropic -in uyğunlaşma rəhbəri bir yazı ilə çıxış edərək, “Biz həqiqətən də süni intellektin bütün insanları öldürə biləcəyinə səmimi qəlbdən inanırıq!” dedi və şəxsən onun fikrincə, növbəti on ildə bu şansın “>10%” olduğunu əlavə etdi. TechCrunch -un Equity podkastının son buraxılışında Kirsten Korosec , Sean O'Kane və mən son apokaliptik xəbərdarlıqları müzakirə etdik. Mən bir çox süni intellekt qiyamət ssenarilərinə niyə şübhə ilə yanaşdığımı izah etməyə çalışdım, Kirsten isə bunun “şirkətlərinin süni intellekt modelinin nə qədər inkişaf etdiyini göstərmək üçün qəribə bir yolu olub-olmadığını” soruşdu, xüsusilə də bu şirkətlər ictimaiyyətə çıxmağa hazırlaşarkən. Sean isə bu narahatlıqların Anthropic -in IPO üçün S-1 sənədində necə əks oluna biləcəyini düşündü: “Hazırda S-1 sənədinin həmin hissəsini yenidən yazmaq məcburiyyətində qalan kiçik hüquqşünaslar varmı ki, 'Rəsmi olaraq Anthropic -in mövqeyi budur ki, bütün bəşəriyyəti məhv edə biləcək bir şey inkişaf etdirməyimiz üçün 10%-dən çox şans var və bu, biznesimiz üçün əhəmiyyətli dərəcədə pis olardı' desinlər?” Söhbətimizin uzunluq və aydınlıq üçün redaktə edilmiş önizləməsi üçün oxumağa davam edin. (Qeyd: Biz bu epizodu Anthropic -in CEO -su Dario Amodei -nin daha ehtiyatlı süni intellekt inkişafı planını dərc etməzdən əvvəl qeydə aldıq.) Sean O'Kane : Mən bu qədər sürətlə partlayan bir şey düşünməkdə çətinlik çəkirəm. Bu xəbərdarlıq təkcə OpenAI -də də işləmiş bu gənc tədqiqatçıdan gəlmədi, həm də dərhal Anthropic -in uyğunlaşma rəhbəri tərəfindən X -də paylaşıldı – o, bəlkə də ən yaxşı səhv yerləşdirilmiş nida işarələrindən biri kimi, Coxon -un yazısını və mövzusunu paylaşaraq dedi: “Biz həqiqətən də süni intellektin bütün insanları öldürə biləcəyinə səmimi qəlbdən inanırıq!” Nida işarəsi! Nə qəribə bir atmosfer. Bu, onsuz da gərgin bir yazıya və ya yazı seriyasına tonlarla sürətləndirici əlavə etdi. OpenAI -nin daxili modelindən sonra baş verən Hugging Face haker hücumundan, üstəgəl Anthropic və indi OpenAI -nin bir neçə həftə əvvəl Astra ilə buraxdığı ən son modellərin artan imkanlarından sonra, düşünürəm ki, bu, bu gənc tədqiqatçının deməsi üçün mükəmməl vaxtlanmış bir barıt çəlləyi kimi bir şey idi. Anthony Ha : Sizinlə razılaşmamaq üçün, mən düşünürəm ki, əgər süni intellektin bütün bəşəriyyəti məhv edə biləcəyinə inanırsınızsa, bu, nida işarəsinə layiqdir. Mən iddia edərdim ki, bu, mükəmməl istifadə edilmiş bir nida işarəsidir! Həmin tvitlə bağlı problemim daha çox “biz” idi. Buradakı “biz” kimdir? Süni intellekt cəmiyyəti və ya süni intellekt tədqiqat cəmiyyəti haqqında nə dərəcədə monolit kimi danışa bilərik? Və 10%-dən çox şans – bu, sadəcə uydurma bir rəqəmdir, heç bir məna kəsb etmir. Bəzən həm texnologiya sənayesində , həm də digər yerlərdə bu faizləri sadəcə atmaq vərdişi var, onlar heç bir şeyə əsaslanmır və ya heç bir şeyə əsaslanaraq hesablanmır. [Geriyə baxaraq, tvitin yəqin ki, P(doom) konsepsiyasına istinad etdiyini başa düşürəm, lakin hələ də bunun axmaq olduğunu düşünürəm.] Coxon -un bəyanatı və qərarı haqqında deyəcəyim bir şey var – Equity -də təkrarlanan bir mövzu var, Sam Altman və ya Dario Amodei kimi kimsə bu qiyamət ssenarisini danışanda, həmişə bu element var: Yaxşı, onda niyə etdiyinizi edirsiniz? Əgər həqiqətən də [ süni intellektin bəşəriyyəti məhv edə biləcəyinə] inanırsınızsa, bunu etməyə davam etməzdiniz. [Halbuki] bu, əslində, peşəkar trayektoriyasını sözlərinə uyğunlaşdıran biridir. O, əslində deyir: “Mən bunun həqiqətən, həqiqətən, həqiqətən pis olduğuna inanıram və bunun üzərində işləməyə davam etmək istəmirəm.” Və beləliklə, başqa heç nə olmasa da, bunu etmək cəsarətinə görə tərifə layiqdir. Kirsten Korosec : Bəli, mən onu bunu deyən və təhlükələr haqqında danışan hər kəsdən ayrı bir düşərgəyə qoyuram. Mən spekulyativ şapkamı taxacağam, çünki hər ikinizə bir sual vermək istəyirəm: Hər dəfə süni intellekt agentlərindən birinin qeyri-ixtiyari olaraq sıçrayış etdiyi başqa bir hadisə haqqında artan sayda bloq yazısı gördükdə, və ya bəşəriyyətin risk altında olduğunu danışdıqda, bu, şirkətlərinin süni intellekt modelinin nə qədər inkişaf etdiyini göstərmək üçün qəribə bir yol ola bilərmi? Yəni, bu, çox kinli səslənir, lakin bu məqsədə çatır. Bu da budur: Əgər bu süni intellekt modelləri inkişaf etməmiş olsaydı və bacarıqlı olmasaydı və sıçrayış etməsəydi, bu şeylər haqqında narahat olmaq məcburiyyətində qalmazdıq, elə deyilmi? Bu, öz şirkətinizdə yaratdığınız modellərin imkanları ilə öyünmək üçün çox qəribə bir yoldur. Anthony : Mən mütləq bunun haqqında düşünmüşəm. Mən bunun tamamilə kinli olduğunu düşünmürəm, yəni bunun tamamilə şüurlu bir marketinq hiyləsi olduğunu düşünmürəm. Düşünürəm ki, bu insanların bir çoxu – istər tədqiqatçılar, istərsə də CEO -lar – bu barədə danışanda, onların həqiqi narahatlıqları var. Lakin əlbəttə ki, bu, bir çox cəhətdən onların biznes maraqları ilə üst-üstə düşür, “Vay, biz indiyə qədər yaradılmış ən ölümcül proqram təminatını yaratdıq” demək. Mən burada çox psixoanalitik olmaq istəmirəm, lakin başqaları şəxsi səviyyədə bu cəlbediciliyin olduğunu qeyd etmişlər: Əlbəttə ki, üzərində işlədiyiniz şeyin dünyada ən vacib və ən təhlükəli şey olduğuna inanmaq istəyirsiniz. Sean : Bu sual haqqında düşündüyümdə ağlıma gələn şey budur ki, müəyyən bir element var ki, bu, “Yaxşı, biz bu qədər bacarıqlı bir şey edirik və bu, bir çox cəhətdən pis görünsə də, bizim üçün yaxşıdır” kimi görünür. Düşünürəm ki, bu son nümunələrdən bəzilərində fərqli olan şey budur ki, bu, həqiqətən də bu şirkətlərin müəyyən cəhətdən bu şeylərə nəzarət etmədiyini hiss etdirir, xüsusilə də OpenAI ilə bağlı. Biz getdikcə daha çox digər daxili agentlərin vebdə müxtəlif vikilərə daxil olduğunu və bir-birlərinə mesajlar buraxdığını görürük və bu, OpenAI tərəfindən səlahiyyətli bir şəkildə idarə olunmur kimi görünür. Düşünürəm ki, əgər bu, tamamilə insanları “Aman Allahım, onlar inanılmaz dərəcədə bacarıqlı bir şey yaratdılar” inandırmaqdan ibarət olsaydı, danışılan hekayədə bir az daha cilalanma olardı. Düşünürəm ki, bu barədə xüsusilə maraqlı olan digər şey budur ki, biz Anthropic -in IPO üçün S-1 sənədini görməyimizə ən çox bir neçə həftə qalıb və potensial IPO -ya daha bir neçə həftə və ya bir-iki ay qalıb. Və IPO -dan əvvəl bu cür şeyləri bu aydın dildə demək fikri – bu proses üçün nə demək olduğunu çox maraqla gözləyirəm. Bu cür şeylərin nə qədəri artıq S-1 -ə və həmin sənəddəki risk faktorlarına yazılmışdı? Hazırda S-1 sənədinin həmin hissəsini yenidən yazmaq məcburiyyətində qalan kiçik hüquqşünaslar varmı ki, “Rəsmi olaraq Anthropic -in mövqeyi budur ki, bütün bəşəriyyəti məhv edə biləcək bir şey inkişaf etdirməyimiz üçün 10%-dən çox şans var və bu, biznesimiz üçün əhəmiyyətli dərəcədə pis olardı” desinlər? Kirsten : Siz bunun artıq orada olmadığını güman edirsiniz. Sean : Mən də bunu deyirəm: Bu, artıq oradadır və yenidən ifadə edilirmi? Yoxsa bu, həqiqi bir tələsiklikdir? Orada dil olmalı idi. Bu, SpaceX [ S-1 ]-dən bəzi cəhətdən daha da irəli gedən bir şəkildə bu sənədi oxumağa bu qədər can atmağımın səbəblərindən biridir, çünki əminəm ki, bu ideyalara xas olan maraqlı şeylər olacaq. Kirsten : Məsələ budur: Ənənəvi investisiya mühitində, belə bir dilin şirkətin dəyərinə zərər verəcəyinə inanmaq olar, çünki bu, birdən təhlükəli olur. Lakin biz normal dövrlərdə yaşamırıq. Və beləliklə, yenə də mənim fikrimə qayıdıram, bu, şirkət üçün dəyərləndirmə tərəfində qəribə bir faydalı nümayişə çevrilə bilər. Bu, keçən il gördüyümüz bütün qəzəb-cəlbetmə trendi ilə eyni deyil, lakin eyni, deyək ki, kainatdadır, burada bir şeyin gücü, bacarığı, hətta təhlükə elementləri yüksək dəyərləndirməyə bərabərdir. Beləliklə, yəqin ki, bir neçə həftəyə görəcəyik. Bunu bir dəqiqəlik kənara qoyaq, bununla bağlı nə edilir? Və biz buna nəzarət edə bilərikmi? ControlAI adlı qeyri-kommersiya təşkilatının ABŞ icraçı direktoru Connor Leahy bu həftə şouda bu barədə danışırdı. Bəs süni intellektin təhlükəli aspektlərinə necə nəzarət etmək baxımından nəyə diqqət yetirirsiniz, yoxsa əllərimizi qaldırıb hər şeyin inkişafını izləyirik? Anthony : Mənim özümün buna mütləq yaxşı bir cavabım yoxdur, lakin bu müzakirənin bəzi aspektləri və bəlkə də niyə belə reaksiya verdiyim haqqında düşünürəm. Sean -ın fikirlərindən birini təkrarlayaraq, mən düşünürəm ki, bu, əsas süni intellekt şirkətlərinin bu modellərə artıq həqiqətən nəzarət etmədiklərini hiss etmələri ilə bağlıdır. Bu, mütləq yaxşı deyil. Bu, hamımızın narahat olmalı olduğumuz bir şeydir. Mən düşünürəm ki, qiyamət ssenarisinə şübhə ilə yanaşmağımın və ya ona müqavimət göstərməyimin səbəblərindən biri də onun “Vay, bu, növbəti 10 ildə bəşəriyyəti məhv edə bilər” səviyyəsində isteriyaya çatmasıdır. Bu, süni intellektin daha təcili zərərlərindən, istər əmək, istərsə də ətraf mühit və iqlimlə bağlı olsun, bir az yayındırıcıdır. İdeal olaraq, düşünürəm ki, biz bütün bu şeyləri müzakirə edə bilməliyik və bütün bu şeylərə [o cümlədən süni intellektin ekzistensial təhlükəsinə] qarşı tənzimləyici və digər növ təhlükəsizlik tədbirlərinə sahib olmalıyıq. Lakin AGI və superintellekt kimi ifadələri istifadə etməyə başlayanda, bu, otaqdakı bütün oksigeni çox faydalı olmayan bir şəkildə udur.