Generativ süni intellekt modelləri milyonlarla iş yerinin avtomatlaşdırılması və dəyişdirilməsi ilə daim gündəm mərkəzindədir. Lakin, MIT alimləri xəbərdarlıq edir ki, süni intellekt ağlabatan cavablar verə bilsə də, mürəkkəb sistemləri başa düşmür və proqnozlarla məhdudlaşır. Bununla yanaşı, artıq bir çox sahədə hədsiz imtiyazlara sahib olan süni intellekt sistemlərinin dünyanın quruluşunu başa düşmədiyi aşkar edilib.
Məntiqi əsaslandırma, naviqasiya, kimya və ya oyun kimi real işlərdə süni intellekt məhdudiyyətlər ilə üzləşir. GPT-4 kimi müasir böyük dil modelləri (LLM) mürəkkəb istifadəçi sorğularına təfərrüatlı cavablar verdiyi təəssüratını yaratsa da, onlar əslində yalnız müəyyən kontekstdə sözləri dəqiq proqnozlaşdırırlar. Süni intellekt modellərinin real dünyanı həqiqətən “anlaya bildiyini” yoxlamaq üçün MIT alimləri onların intellektini obyektiv şəkildə yoxlamaq üçün nəzərdə tutulmuş araşdırma aparıblar. Təcrübənin məqsədlərindən biri süni intellektin Nyu York küçələrində naviqasiya üçün addım-addım təlimatlar yaratmaq qabiliyyətini qiymətləndirmək idi. Məhsuldar süni intellektlər ətrafdakı dünya qanunlarının müəyyən dərəcədə sadəcə səthdən başa düşsə də onların həqiq mənalarını başa düşməkdə çətinlik çəkib.
MIT tədqiqatının diqqət mərkəzində GPT-4 kimi məşhur xidmətlərdə istifadə olunan generativ süni intellekt modeli olan çatbotlar idi. Çatbotlar böyük həcmdə mətn verilənləri üzərində öyrədilir ki, bu da onlara söz ardıcıllığının uyğunlaşdırılmasında yüksək dəqiqliyə nail olmağa və inandırıcı mətnlər yaratmağa imkan verir. Bu cür sistemlərin imkanlarını daha da araşdırmaq üçün elm adamları məntiq, coğrafi naviqasiya, kimya və hətta oyunlarda strategiya kimi sahələri əhatə edən Deterministik Sonlu Avtomatlar (DFA) kimi tanınan problemlər sinfindən istifadə etdilər. Təcrübənin bir hissəsi olaraq, tədqiqatçılar süni intellektin əsas qaydaları dəqiq başa düşmək qabiliyyətini yoxlamaq üçün iki fərqli tapşırığı seçiblər. Onlardan biri Nyu-York küçələrində maşın sürmək digəri isə Othello oynamaq olub. Təcrübənin əsas məqsədlərindən biri süni intellekt modellərinin mürəkkəb sistemlərin daxili məntiqini bərpa etmək qabiliyyətini yoxlamaq idi.
Bunu Harvard Universitetinin postdoktorant tədqiqatçısı Keyon Vafa belə izah edir ki, “Bizə dünya modelinin necə göründüyünü dəqiq bildiyimiz sınaq mühitlərinə ehtiyacımız var idi. Biz indi dünyanın bu modelini yenidən qurmağın nə demək olduğunu diqqətlə düşünə bilərik”. Test nəticələri göstərir ki, missiya şərtləri dəqiq müəyyən edildikdə, süni intellekt dəqiq marşrutlar yarada və Othello oyununda düzgün hərəkətlər təklif edə bilər. Bununla birlikdə, Nyu-Yorkda dolama yollar kimi çətinləşdirici amillər əlavə edildikdə, AI modelləri əslində mövcud olmayan təsadüfi keçidləri təklif edərək məntiqsiz marşrut variantları yaratmağa başlayır. MIT tədqiqatı, xüsusən də düşüncə çevikliyi və real dünya şəraitinə uyğunlaşma qabiliyyəti tələb edən tapşırıqlarda generativ süni intellekt modellərinin əsas məhdudiyyətlərini nümayiş etdirib. Nəticə etibarı ilə araşdırma göstərir ki, süni intellekt dünyanın quruluşunu başa düşmür və çətinə düşdükdə xəyali proqnozlar verir.
