Messages API : Transition simple d’OpenAI aux LLMs ouverts

Tu veux passer d’OpenAI à des modèles de langage ouverts sans embûches? La nouvelle API Messages de Hugging Face, compatible avec l’API Chat Completion d’OpenAI, te permet de le faire en toute simplicité. Dès la version 1.4.0 de Text Generation Inference (TGI), cette compatibilité est au cœur de l’innovation, facilitant les transitions pour les utilisateurs habitués à la robustesse d’OpenAI vers un environnement LLM ouvert.

Messages API : Une transition sans douleur pour les utilisateurs existants

Avec l’arrivée de l’API Messages, Hugging Face offre une alternative élégante pour ceux qui souhaitent migrer de GPT-4 vers des modèles tels que Mixtral ou Llama2. La compatibilité avec les bibliothèques clientes d’OpenAI et d’autres outils tiers comme LangChain et LlamaIndex garantit une adoption rapide et presque transparente. Johnny Crupi, CTO chez Ryght, témoigne:

« La nouvelle API Messages avec compatibilité OpenAI simplifie notre migration de GPT-4 vers Mixtral/Llama2 en offrant un workflow simplifié avec plus de contrôle sur nos solutions AI. »

Johnny Crupi, CTO chez Ryght

Création et gestion des Inference Endpoints

L’usage des Inference Endpoints via Hugging Face offre une solution de production sécurisée pour déployer des modèles ML sur une infrastructure dédiée. En utilisant la bibliothèque Python huggingface_hub, déployer un modèle comme Nous-Hermes-2-Mixtral-8x7B-DPO devient un jeu d’enfant. Avec un simple appel API, tu définis le nom de l’endpoint, le dépôt du modèle, et les configurations matérielles requises.

Compatibilité directe avec les bibliothèques clientes d’OpenAI

La transition vers les LLMs ouverts se fait sans perte grâce à l’API Messages qui rend les Inference Endpoints compatibles avec l’API OpenAI Chat Completion. Plus de limitations de taux, un contrôle total sur les modèles et les données, et une personnalisation complète sont autant d’avantages qui te permettront de répondre précisément à tes besoins avec ces modèles ouverts. Voici un exemple d’utilisation avec la bibliothèque OpenAI en Python :

from openai import OpenAI

client = OpenAI(
 base_url= "<ENDPOINT_URL>" + "/v1/",
 api_key= "<HF_API_TOKEN>"
)
chat_completion = client.chat.completions.create(
 model= "tgi",
 messages=[
 {"role": "system", "content": "You are a helpful assistant."},
 {"role": "user", "content": "Why is open-source software important?"}
 ],
 stream= True,
 max_tokens= 500
)

En conclusion, la nouvelle API Messages de Hugging Face ouvre la porte à une transition fluide vers les LLMs ouverts, évitant les limitations traditionnelles des plateformes propriétaires comme OpenAI. Elle te permet de personnaliser tes modèles selon tes besoins spécifiques, tout en assurant une compatibilité large avec les outils et bibliothèques existants.