Süni intellekt (AI) sahəsindəki sürətli inkişaflar, modellərin mürəkkəb tapşırıqları yerinə yetirmə qabiliyyətini qiymətləndirmək üçün yeni yanaşmalar tələb edir. Bu kontekstdə, Model Evaluation and Threat Research (METR) təşkilatı AI modellərinin avtonom və kompleks vəzifələri icra etmə dərəcəsini anlamağa yönəlmişdir. METR bu qiymətləndirməni xüsusilə vacib bir meyar hesab edir, çünki süni intellektin bir gün rekursiv özünü təkmilləşdirmə prosesinə girərək insan amilini dövrədən çıxarma riski mövcuddur. Bu cür ssenarilərin qarşısını almaq və ya idarə etmək üçün modellərin real qabiliyyətlərini dəqiq ölçmək kritik əhəmiyyət kəsb edir. Bəs bir modelin mürəkkəb problemləri həll etmək qabiliyyətini necə dəqiq ölçmək olar? Və tam olaraq nə ölçülür? Bu suallara cavab tapmaq üçün Bloomberg-in “Odd Lots” podkastında METR-in prezidenti Chris Painter və təşkilatın qiymətləndirmə metodları üzərində işləyən texniki heyət üzvü Joel Becker ilə danışılıb. Onlar METR-in işinin həm mexanikasını , həm də fəlsəfəsini ətraflı şəkildə izah ediblər. Müzakirə zamanı, məsələn, Clause Opus 4.6 kimi bir modelin insan üçün təxminən 12 saat çəkəcək bir tapşırığı yerinə yetirə biləcəyini göstərən qrafiklərin nə anlama gəldiyi də aydınlaşdırılıb. Bu cür qrafiklər AI-nin hesablama gücü və effektivliyi haqqında mühüm məlumatlar verir. METR-in əsas məqsədi, AI sistemlərinin potensial risklərini və imkanlarını daha dərindən başa düşməkdir. Onların qiymətləndirmə metodologiyaları , modellərin yalnız müəyyən tapşırıqları yerinə yetirmə sürətini deyil, həm də onların mürəkkəb düşünmə , problem həll etmə və öyrənmə qabiliyyətlərini dəyərləndirir. Bu yanaşma, AI-nin gələcək inkişaf istiqamətlərini müəyyən etmək və potensial təhlükələri erkən aşkar etmək üçün əvəzsizdir. Təşkilatın işi, AI-nin cəmiyyətə inteqrasiyası zamanı təhlükəsizlik və məsuliyyət prinsiplərinin təmin edilməsində mühüm rol oynayır. Bu, həm tədqiqatçılar , həm də siyasətçilər üçün AI-nin gələcəyi ilə bağlı qərarlar qəbul edərkən əsaslı məlumat bazası təmin edir.