Liquid AI publie des modèles brouillons DSpark pour LFM2.5. Le décodage spéculatif accélère l’inférence jusqu’à 3,18x sur H100, tout en conservant exactement la sortie greedy du modèle cible.
Liquid AI publie des checkpoints GGUF Q4_0 pour LFM2.5 entraînés par distillation consciente de la quantification. Objectif : conserver la vitesse et la faible empreinte mémoire du 4 bits, avec une perte de précision largement réduite.
Llama.cpp évolue avec son router mode pour charger et gérer dynamiquement des modèles sans redémarrage. Un atout pour les développeurs.
GGML et llama.cpp s'allient à Hugging Face pour accélérer l'adoption de l'IA locale, avec un engagement open-source renforcé.