Le fournisseur de services Cloud Suisse lance un service de LLM souverain et respectueux de l’environnement et des réglementations européennes.
Basé sur Mixtral 8x7B, une technologie libre dont l'algorithme et le fonctionnement peuvent être vérifiés par les ingénieurs du monde entier, le service d’Infomaniak est capable de traiter des textes en français, allemand, espagnol, italien, et anglais pour exécuter rapidement des tâches complexes de programmation et d'analyse de données. Les informations traitées et envoyées à l'IA ne sont pas conservées par Infomaniak et sont exclusivement utilisées pour les besoins du client. Exclusivement hébergé en Suisse dans l'infrastructure d'Infomaniak, cette IA générative garantit aux entreprises une maîtrise des données et une conformité à la législation européenne.
Les activités d'Infomaniak sont exclusivement alimentées avec de l'énergie renouvelable. L'indicateur d'efficacité énergétique (PUE) des centres de données d'Infomaniak en production est de 1.09 en moyenne contre 1.8 en Europe, car ils sont exclusivement refroidis avec de l'air naturel filtré, sans climatisation. Actuellement en test intensif, le nouveau centre de données d'Infomaniak dans lequel seront installés les GPU les plus puissants revalorisera intégralement l'énergie qu'il consomme pour chauffer jusqu'à 6 000 ménages en hiver et plus de 100 000 en été.
De plus, Mixtral est plus efficace sur le plan énergétique que ses alternatives propriétaires : son architecture gère 45 milliards de paramètres au total, mais n'en utilise que 12 milliards par jeton, ce qui réduit considérablement la consommation énergétique tout en fournissant des résultats supérieurs à Llama 2 et ChatGPT 3.5 d'après la startup française. Disponible à la demande sous forme d'API pour les développeurs, l'IA interprète dès son lancement jusqu'à 32 000 jetons par prompt et permet de modéliser, classifier et analyser des données complexes ainsi que de synthétiser, reformuler, corriger, traduire et générer des textes complexes.
L'utilisateur paie uniquement ce qu'il consomme sur une base mensuelle. La facturation du service fonctionne avec un système de jeton (token) qui est une unité de mesure correspondant à environ 4 caractères.
Au lancement, L'IA en tant que service d'Infomaniak offre 1 million de jetons avec au final des tarifs plus avanatgeuex que ceux d’OpenAI et de Mistral. Après la création de son compte, le service est disponible immédiatement et un tableau de bord permet de suivre sa consommation en temps réel.