Meta pourrait publier la prochaine version de son grand modèle de langage Llama 3 dès la semaine prochaine, selon les rapports.
L’information affirme qu’une petite version de Llama 3 bénéficiera d’une version anticipée, le modèle open source complet étant toujours disponible en juillet et capable de rivaliser avec Claude 3 et GPT-4.
Le propriétaire d’Instagram dépense des milliards pour créer des systèmes d’IA avancés, notamment en achetant des centaines de milliers de GPU H100 à Nvidia pour entraîner Llama et d’autres modèles.
Qu’est-ce que Lama 3 ?
Llama 3 est un grand modèle de langage qui sera disponible dans une gamme de tailles allant de très petites pour rivaliser avec Claude Haiku ou Gemini Nano, à des modèles plus grands entièrement capables de réponses et de raisonnement comme GPT-4 ou Claude Opus.
On sait peu de choses sur Llama 3, à part le fait qu’il devrait être open source comme son prédécesseur et qu’il sera probablement multimodal, capable de comprendre les entrées visuelles et textuelles.
Il y aura probablement une gamme de versions et de tailles pour Llama 3 allant d’aussi petits que 7 milliards de paramètres à plus de 100 milliards de paramètres. Ce serait toujours plus petit que les paramètres de plus de mille milliards utilisés pour entraîner GPT-4.
Llama 3 est également susceptible d’être moins prudent que son prédécesseur, qui a suscité des critiques pour des contrôles de modération excessifs et des garde-fous trop stricts.
Pourquoi seulement une petite version de Llama 3 ?
Meta a publié Llama 2 en juillet de l’année dernière et c’est probablement aussi simple que de vouloir s’en tenir à un calendrier de sortie cohérent.
Le lancement précoce d’une petite version de la prochaine IA contribuera à créer un battage médiatique sur ses capacités. Certaines fonctionnalités du petit modèle Anthropic Claude 3 Haiku sont comparables à celles du modèle massif GPT-4 d’OpenAI.
L’espace des modèles d’IA se développe rapidement et devient compétitif, y compris dans l’espace open source avec les nouveaux modèles de DataBricks, Mistral et StabilityAI.
Les modèles plus petits deviennent également de plus en plus précieux pour les entreprises, car ils sont moins chers à exploiter, plus faciles à régler et, dans certains cas, peuvent même fonctionner sur du matériel local.
- La nouvelle IA VLOGGER de Google vous permet de créer un avatar réaliste à partir d’une simple photo
- Apple pourrait intégrer Google Gemini sur iPhone pour les tâches d’IA
- J’ai donné à Claude, ChatGPT et Gemini une photo des ingrédients pour voir lequel a donné la meilleure recette
