Yapay Zekâyı Cebimize Sığdıran Kuantizasyon Sanatı

Notes de l'épisode

Bu bölümde büyük yapay zekâ modellerinin telefonlara, gömülü sistemlere, mikrodenetleyicilere ve düşük güçlü cihazlara nasıl sığdırıldığını konuşuyoruz. Kuantizasyon, model sıkıştırma ve verimli çıkarım teknikleri sayesinde yapay zekâ artık yalnızca dev sunucularda değil, cebimizdeki cihazlarda da çalışabilir hâle geliyor.

Peki bir modeli küçültürken zekâsından ne kadar kaybederiz? 32-bit sayıları 8-bit’e, hatta daha da düşük hassasiyetlere indirmek gerçekten ne anlama gelir? Bu bölümde kuantizasyonun yalnızca teknik bir optimizasyon değil, yapay zekâyı erişilebilir kılan bir mühendislik sanatı olduğunu ele alıyoruz.