Micro-step bir micro batch için forward/loss/backward geçişidir. Optimizer step, accumulation tamamlandıktan sonra birikmiş gradientlerle ağırlığı bir kez günceller.

Effective batch = micro batch × accumulation × GPU sayısı. OOM'da micro batch veya sequence length düşürülür; hedef effective batch korunacaksa accumulation artırılır.

İlk düşünce

Accumulation 8 ise ağırlık sekiz kez güncellenir.

Düzeltme

Sekiz backward yapılır, ardından bir optimizer step ile ağırlık bir kez güncellenir.

Karar kuralı

Önce VRAM'e sığan micro batch'i bul; step sayılarını optimizer step olarak kaydet.

Epoch, Step ve Gradient Accumulation