VRAM

Distillation LLM : réduire la VRAM avec des logits Top-K

Multiverse Computing propose une distillation hors ligne et une perte KL découpée pour alléger fortement la mémoire nécessaire à l’entraînement des LLM.