Önerilen veri karışımı: %55 standart, %10 farklı ifade, %15 eksik bilgi, %10 negatif ve %10 eskale örneği. Test seti eğitimden farklı ekipman veya kaynaktan dondurulur.

100 soruluk benchmark domain doğruluğu, format, güvenlik, belirsizlik ve genel yetenek korunumunu ağırlıklı ölçer. Eğitim verisini evaluation diye yeniden kullanmak genelleme kanıtı değildir.

İlk düşünce

Train split'teki loss, bağımsız kalite ölçümüdür.

Düzeltme

Ayrı validation ve test seti gerekir; loss gerçek iş hedefini tek başına temsil etmez.

Karar kuralı

Benchmark'ı eğitimden önce dondur ve base/adapted modeli aynı üretim ayarlarıyla ölç.

Dataset ve Değerlendirme Disiplini