role/content kayıtlarını modelden bağımsız sakla; her model için kendi tokenizer ve chat template'iyle yeniden render et. Eğitim, evaluation ve inference boyunca aynı doğrulanmış template'i koru.

Response-only maskelemede assistant başlangıç ve bitiş işaretleri gerçek render ile eşleşmezse cevaplar loss dışında kalabilir veya prompt yanlışlıkla eğitime katılabilir.

İlk düşünce

QLoRA yanlış template'i adaptasyon sırasında düzeltir.

Düzeltme

QLoRA bellek ve optimizasyon yoludur; yanlış kontrol tokenlarını veya mask sınırlarını onarmaz.

Karar kuralı

En az bir render edilmiş örnekte BOS/EOS ve rol sınırlarını elle incele.

Chat Template Uyumsuzluğu