Intel a présenté Gaudi 3, son accélérateur taillé pour supporter les charges de travail et d’inférence d’IA des grands modèles de langage (LLM) et faciliter leurs adoptions par les entreprises.
Dans un monde dominé par Nvidia, quelques acteurs osent tout de même défier le Goliath Nvidia. Dernier en date, Intel, avec Gaudi 3. L'entreprise a présenté, lors de son événement Vision à Phoenix, mardi 9 avril, cet accélérateur gravé en 5 nm et taillé pour l’IA, qui permet de réaliser « un bond significatif en performances et en productivité pour la formation et l'inférence de l'IA sur les grands modèles de langage (LLM) et les modèles multimodaux populaires », selon l’entreprise.
Capable de traiter de grands ensembles de données de GenAI, il affiche sur le compteur 128 gigaoctets (Go) de capacité de mémoire HBMe2, 3,7 téraoctets (To) de bande passante mémoire et 96 mégaoctets (Mo) de mémoire vive statique (SRAM). Concrètement, il permet 4 fois plus de calculs d'IA en format BF16, une augmentation de 1,5 fois de la bande passante de la mémoire par rapport à son prédécesseur, et une bande passante réseau multipliée par 2. Chaque Intel Gaudi peut effectuer 64 000 opérations parallèles et peut ainsi gérer des opérations matricielles complexes, indispensables pour les algorithmes d’apprentissage en profondeur.
Plus performant que les puces Nvidia ?
Chaque accélérateur embarque vingt-quatre ports Ethernet de 200 gigabits (Gb) pour faciliter la mise en réseau et la mise à l’échelle afin de prendre en charge de grands clusters de calcul. « L'accélérateur Intel Gaudi 3 est conçu pour évoluer efficacement d'un seul nœud à des milliers afin de répondre aux exigences étendues des modèles GenAI. », écrit Intel qui place son nouveau jouet comme une alternative aux solutions existantes destinées aux entreprises désireuses de déployer des systèmes d’IA.
« Les commentaires de nos clients et du marché en général soulignent le désir d’un choix accru. Les entreprises prennent en compte des considérations telles que la disponibilité, l'évolutivité, les performances, le coût et l'efficacité énergétique. », a déclaré dans un communiqué Justin Hotard, vice-président exécutif d'Intel et directeur général du Data Center and AI Group.
L'entreprise n’hésite d’ailleurs pas à vanter les performances de son Gaudi 3 comparées aux puces H100 de Nvidia. Il revendique ainsi un temps de formation 50% plus rapide sur les paramètres Llama2 7B et 13B et les modèles de paramètres GPT-3 175B. Idem pour le débit d’inférence, 50% plus rapide et plus économe en énergie de 40%. Intel promet un gain de rapidité de 30% au niveau de l'inférence et de 30% sur les modèles Llama 7B et 70B et le modèle Falcon 180B comparé au H200 de Nvidia.
Gaudi 3 sera disponible dans un premier temps pour les fabricants d’équipement d'origine (Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro) au deuxième trimestre 2024, puis plus largement dans le courant de l’année.