Anthropic tədqiqatçısı Jacob Coxon süni intellektin onilliyin sonuna qədər hamımızı məhv edə biləcəyi ilə bağlı narahatlıqlar səbəbindən işindən ayrıldıqdan bir gün sonra, mən təsisçilər və qayınlar Rune Kvist və Rajiv Dattani ilə görüşdüm. Onlar düşünürlər ki, hamımızı xilas edə biləcək, ya da ən azından süni intellekt agentlərinin müəssisələrdə nəzarətdən çıxmasının qarşısını almağa kömək edə biləcək bir həll yolu tapıblar. Dattani -nin bacısı ilə evli olan və Anthropic -in ilk əməkdaşlarından biri olan Kvist dedi: “Süni intellekt getdikcə daha sürətli inkişaf edir. Süni intellektin təəccüblü tərəfi odur ki, o, ağıllılaşdıqca onu qəbul etmək və ona nəzarət etmək asanlaşmır, əksinə çətinləşir”. Dattani süni intellekt təhlükəsizliyi tədqiqat təşkilatı METR -in keçmiş baş əməliyyat direktoru (COO) idi. Cütlük süni intellekt təhlükəsizliyini müəssisələrə və süni intellekt modelləri və agentləri quran şirkətlərə gətirməyi hədəfləyən Artificial Intelligence Underwriting Company (AIUC) adlı bir startap qurdu. Startap Cursor , Lovable , Harvey və ElevenLabs -ı müştəriləri kimi qeyd edir. Çərşənbə axşamı AIUC , Ribbit Capital -ın rəhbərliyi və First Harmonic -in iştirakı ilə 40 milyon dollarlıq A Seriyası investisiya elan etdi. O, əvvəllər Nat Friedman -dan öz fondu NFDG vasitəsilə, həmçinin Emergence , Terrain və Anthropic -in həmtəsisçisi Ben Mann -dan 15 milyon dollarlıq ilkin investisiya almışdı ki, bu da ümumi maliyyələşdirməni 55 milyon dollara çatdırır. Bu yüksək səviyyəli investor qrupunun diqqətini çəkən şey, AIUC -nin tanış bir kiber təhlükəsizlik modelini yeni süni intellekt risklərinə tətbiq etmək cəhdidir. Şirkət süni intellekt agentləri üçün üçüncü tərəf audit və sertifikatlaşdırma təbəqəsi qurub. Kvist dedi: “Banklar, xəstəxanalar, hökumətlər və ordular artıq bir modelin kifayət qədər ağıllı olmaması səbəbindən süni intellekti tətbiq etməkdən imtina etmirlər”. “Onlar imtina edirlər, çünki öz müştərilərinə bir sistemin nə edəcəyi və nə etməyəcəyi barədə öhdəliklər götürüblər və hazırda heç kim buna zəmanət verə bilməz.” Geniş yayılmış kiber təhlükəsizlik standartı SOC 2 -ni ilham mənbəyi kimi istifadə edərək, AIUC AIUC-1 adlı bir standart və agentləri bu standarta qarşı yoxlamaq üçün bir test xidməti hazırlayıb. Standartı qurmaq üçün AIUC təxminən 250 təhlükəsizlik və risk liderindən – agentlərin alıcılarından ibarət bir konsorsium yaratdı. Dattani TechCrunch -a dedi: “Bunlar aylıq olaraq görüşdüyümüz insanlardır və onlara verdiyimiz sual budur: Kimdənsə agent alarkən nə axtarırsınız? Hansı sualları vermək istərdiniz və nəyin həll olunmasını istərdiniz?” Bu rəy testləri formalaşdırır. Startap daha sonra agenti təxminən 5 000 testdən ibarət bir dəst vasitəsilə yoxlayır ki, o, “jailbreak”lər, hallüsinasiyalar və məlumat sızmaları ilə bağlı ssenarilərdə necə davrandığını görsün. Nəticələr agentin təhlükəsiz və etibarlı şəkildə işlədiyi yerləri – və işləmədiyi yerləri ətraflı izah edən təxminən 100 səhifəlik bir hesabat yaradır. Maraqlıdır ki, AIUC testləri aparmaq üçün süni intellekt agentlərindən və məlumatları təhlil etmək üçün süni intellektdən istifadə edir. Lakin, son auditi insanlar təsdiqləyir, Kvist dedi. Əgər bu bir qədər tanış səslənirsə, elədir. Dattani -nin keçmiş işəgötürəni METR , burada o, 2024-cü ildən 2025-ci ilə qədər COO vəzifəsində çalışmış və hələ də idarə heyətinin üzvüdür, sərhəd laboratoriyaları üçün oxşar testlər aparır, baxmayaraq ki, onun işi bu yaxınlara qədər əsasən performans (agentlərin tapşırıqları etibarlı şəkildə yerinə yetirə bilib-bilməməsi) üzərində cəmləşmişdi. METR OpenAI -nin Hugging Face insidentini araşdırmaq üçün istifadə etdiyi müstəqil tədqiqat təşkilatlarından biri idi. Anthropic -in baş direktoru Dario Amodei də bu yaxınlarda pis davranış insidentlərinin sürətli artımını qeyd edərək, süni intellekt sənayesini sərhəd inkişafını yavaşlatmağa çağırmışdı. Öz yazısında Amodei , sərhəd laboratoriyalarının təhlükəsizliyi müşahidə etmək və yoxlamaq üçün daxili üçüncü tərəf qiymətləndiricilərindən istifadə etməsi ideyasını irəli sürmüş və METR -i mümkün variantlardan biri kimi göstərmişdi. AIUC özünü müştəri sahələrində yerləşdirməyi təklif etməsə də, ümumi ideya oxşardır: müəssisələrə süni intellekt agentlərinin nə qədər təhlükəsiz olduğuna dair müstəqil qiymətləndirmə vermək. “Baxın, burada keçir və burada ona etibar edə bilərsiniz. Və burada narahatlıqlar var. Satınalma qərarı verməzdən əvvəl bu istinadlardan xəbərdar olmalısınız,” Dattani dedi. Tövsiyə olunan Hekayələr