Meta AI tədqiqatçıları mobil cihazlar üçün hazırladıqları MobileLLM adlı kompakt dil modelini açıqlayıblar. Son zamanlarda smartfon istehsalçıları öz cihazlarında süni intellekt funksiyalarından istifadə etmək üçün böyük sərmayələr qoyurlar. Meta həmçinin mobil cihazlar və planşetlər kimi məhdud həcmli cihazlar üçün daha yığcam dil modeli qurur.
Bu model ilə birlikdə Meta səmərəli süni intellektin ölçülərini də dəyişməyi hədəfləyir. Meta Reality Labs komandası, PyTorch və Meta AI Research (FAIR) 1 milyarddan az parametrə malik bir model hazırlamaq üçün birləşib. Bu model GPT-4 kimi daha böyük modellərin mində bir ölçüsüdür. Qeyd edək ki, GPT-4 1 trilyondan çox parametrə malikdir. Beləliklə, Meta AI mobil cihazlar üçün daha kompakt dil modeli üzərində çalışmağa başlayıb.
Araşdırmaya görə, daha kiçik modellər genişliyə deyil, dərinliyə üstünlük verərək model performansını artırır. Əlavə olaraq, qabaqcıl çəki paylaşma üsullarından istifadə edilərək yaddaş məhdudiyyətləri olan cihazlarda səmərəliliyi artırmaq mümkündür. Bu prosesdə daxili paylaşma, qruplaşdırılmış növbə sorğusu və bloklu çəki paylaşımı ilə diqqət çəkir. Tədqiqatda diqqəti çəkən digər məqam isə cəmi 350 milyon parametr ilə MobileLLM-in 7 milyard parametrli LLaMA-2 modeli ilə bərabər performans göstərməsidir. Yeni dil modelinin nə zaman tam hazır vəziyyətə gətiriləcəyi və təqdim ediləcəyi isə hələlik məlum deyil.
