03 · ADAPTER
DoğrulandıLoRA ve QLoRA
Donmuş tabana küçük bir düşük-rank düzeltme ekleyerek 16 GB sınıfında ölçülebilir adaptasyon yap.
LoRA, W' = W + scale × BA biçiminde yalnızca A ve B adaptörlerini eğitir. B=0 başlangıcı sayesinde ilk adım taban model davranışından başlar.
QLoRA donmuş tabanı 4-bit biçimde saklar; adaptör ve kritik hesaplar daha yüksek hassasiyette kalabilir. Bu seçenekleri genişletir, belirli bir modelin 16 GB'a sığacağını garanti etmez.
01
İlk düşünce
QLoRA bütün modeli 4-bit integer olarak eğitir.
02
Düzeltme
4-bit olan donmuş tabandır; küçük LoRA adaptörleri eğitilir ve hesaplama hassasiyetleri ayrı ele alınır.
03
Karar kuralı
16 GB'ta önce QLoRA; kalite kararı bağımsız benchmark ile.