router mode

Llama.cpp optimise la gestion de modèles avec router mode

Llama.cpp évolue avec son router mode pour charger et gérer dynamiquement des modèles sans redémarrage. Un atout pour les développeurs.