Bugünkü qabaqcıl Süni İntellekt (Sİ) modelləri insan nəzarəti üçün kritik olan “düşüncə zənciri” adlanan bir şeyə malikdir: Bu, onların emal etdiyi məlumatlara və gördüyü işlərə aydınlıq gətirmək üçün nəzərdə tutulmuş yazılı qeyddir. Mən “nəzərdə tutulmuş” deyirəm, çünki gündəlik yazan hormonal yeniyetmələr kimi, Sİ-lər də daxili həyatlarının ən etibarlı nağılçıları deyillər. İndi isə tədqiqatçılar xəbərdarlıq edirlər ki, bu güclü texnologiyaların necə işlədiyinə dair hətta bu kövrək qeyd də daha az etibarlı ola bilər. Düşüncə zəncirlərini daha az faydalı edən bir şey, onların əsaslandığı, mühəndislərin “əsaslandırma izi” adlandırdıqları əsas düşüncə tokenlərinin özlərinin insanlar tərəfindən daha az oxunaqlı olmasıdır. Tədqiqatçılar deyirlər ki, Sİ-nin nə üçün belə etdiyinə dair bu əsas qeyd olmadan, biz Sİ-lərin hakerlik, aldatma və digər zərərli hərəkətlər etmək cəhdlərinin səbəblərinə kor ola bilərik. Düşüncə zənciri qeydləri və əsaslandırma izi təhlilləri OpenAI -nin agentlər sürüsünün Hugging Face -i necə sındırdığını anlamaq üçün kritik idi. Sİ agentlərinin daxili düşüncələrinin bu qeydləri onların nə üçün nəzarətdən çıxdığının sübutlarının böyük hissəsini təşkil edir. OpenAI -dəki tədqiqatçılar xəbərdarlıq ediblər ki, bu qeydlər gələcək superintellektual Sİ-ləri cilovlamaq üçün kritik olacaq. OpenAI -nin baş alimi Jakub Pachocki bu yaxınlarda blog yazısında qeyd edib ki, “təəssüf ki, qiymətləndirmələrimiz göstərir ki, [düşüncə zənciri] monitorinqinə etibar etmək qabiliyyətimiz getdikcə azalır.” Bu həftənin əvvəlində OpenAI , təhlükəsizlik narahatlıqları səbəbindən ən güclü modeli olan Astra -nın ən son versiyasını buraxmayacağını elan etdi. Bəzi Sİ təhlükəsizlik tədqiqatçıları daha əvvəl modelin əvvəlki versiyasının mövcud alətlərlə izlənilə bilməyən yeni əsaslandırma metodlarından istifadə etməsi ilə bağlı narahatlıqlarını ifadə etmişdilər. Yazılarında və məqalələrində OpenAI tədqiqatçıları düşüncə zənciri qeydlərinin sadiqliyini və etibarlılığını qorumaq arzusunu dəfələrlə ifadə ediblər. Lakin müstəqil və universitetlərlə əlaqəli Sİ tədqiqatçıları iddia edirlər ki, Sİ-ni getdikcə daha güclü (və sərfəli) etmək təzyiqi bunu təhlükə altına qoyur...