Bir proqramçı cəmi 10 dollar dəyərində olan ESP32-S3 mikrokontrollerində 28,9 milyon parametrə malik süni intellekt modelini uğurla işə salaraq diqqət çəkən nəticə əldə edib. Layihə göstərir ki, düzgün optimallaşdırma üsullarından istifadə etməklə böyük hesablama gücü tələb edən süni intellekt modellərini belə çox zəif avadanlıqlarda işlətmək mümkündür.
ESP32-S3 mikrokontrolleri cəmi 520 KB SRAM və 8 MB PSRAM yaddaşa malikdir və əsasən ağıllı sensorlar, IoT qurğuları və digər kiçik elektron sistemlər üçün nəzərdə tutulub. Bu səbəbdən müasir böyük dil modellərinin belə bir cihazda işləməsi mümkün deyil. Layihənin müəllifi bunun əvəzinə Microsoft Research tərəfindən hazırlanmış və 28,9 milyon parametrə malik TinyStories modelini seçib.
Lakin TinyStories modeli də ilkin formada mikrokontroller üçün həddindən artıq böyük idi. Model 16 bit dəqiqlikdə təxminən 60 MB yaddaş tələb etdiyindən müəllif əvvəlcə kvantlaşdırma üsulundan istifadə edərək çəkiləri əvvəl 8 bitə, daha sonra isə 4 bitə qədər sıxışdırıb. Bunun nəticəsində modelin həcmi 14,9 MB-a qədər azaldılıb və layihə üçün 16 MB fləş yaddaşa malik ESP32-S3 versiyasından istifadə olunub.
Bundan sonra proqramçı Google-un Gemma modellərində tətbiq olunan Per-Layer Embedding (PLE) yanaşmasına bənzər optimallaşdırma tətbiq edib. Bu üsul sayəsində modelin təxminən 25 milyon parametrini fləş yaddaşa köçürmək, operativ yaddaşda isə cəmi 2 MB məlumat saxlamaq mümkün olub. Nəticədə model saniyədə 9,88 token yaratma sürətinə çatıb ki, bu da orta insanın oxuma sürətindən daha yüksək hesab olunur.
Hazırda TinyStories yalnız qısa hekayələr yaratmaq üçün nəzərdə tutulduğundan tam funksional çatbot kimi istifadə oluna bilmir. Layihə müəllifi qeyd edir ki, eyni ölçüdə olan Barista adlı başqa bir model də ESP32 üzərində işləyir və daha sürətli cavab verə bilir, lakin yalnız qəhvə və espresso ilə bağlı sualları cavablandırmaq üçün hazırlanıb. Buna baxmayaraq, bu nəticə süni intellekt modellərinin gələcəkdə daha kiçik və ucuz cihazlarda da işləyə biləcəyini nümayiş etdirən mühüm texnoloji nailiyyət kimi qiymətləndirilir.
