Rank r adaptör kapasitesini ve r × (d_in + d_out) parametre bütçesini belirler. Alpha standart LoRA'da alpha/r, rsLoRA'da alpha/√r ölçeğini etkiler.

Target modules, adaptörün attention ve MLP içindeki gerçek matrislere nereye ekleneceğini belirler. Modül adları mimariye özgüdür ve eğitim öncesinde modelden doğrulanmalıdır.

İlk düşünce

Aynı alpha/r, aynı adaptör kapasitesi demektir.

Düzeltme

Aynı etkin ölçek korunabilir; daha yüksek rank yine daha çok parametre ve kapasite taşır.

Karar kuralı

r=8/alpha=8 baseline; kapasite yetersizse diğer her şeyi sabit tutup r=16/alpha=16 dene.

Rank, Alpha ve Target Modules