VERS UNE IA MOINS ÉNERGIVORE

Le BitNet b1.58 2B4T change la donne

Un modèle plus efficace avec de bons résultats

---

Les poids des LLM sont habituellement stockés en format 16 ou 32 bits à virgule flottante. Cela rend les modèles extrêmement lourds. Une nouvelle alternative s'appelle BitNet, des LLM à 1 bit. La quantité de mémoire nécessaire pour faire fonctionner ces modèles est grandement réduite, permettant de les faire tourner sur des ordinateurs beaucoup moins puissants.

Microsoft vient de publier le plus grand modèle de langage à 1 bit jamais produit, le premier à être doté de deux milliards de paramètres. Il a été baptisé BitNet b1.58 2B4T et s'appuie sur le framework bitnet.cpp de Microsoft. Contrairement aux autres modèles qui nécessitent des puces graphiques (GPU) ou accélérateurs d’IA (NPU), BitNet b1.58 2B4T fonctionne sur de simples processeurs (CPU).

Des performances au rendez-vous

BitNet b1.58 2B4T a été testé sur un ensemble de données d'environ 4 000 milliards de tokens, l'équivalent à 33 millions de livres. Selon Microsoft, il offrirait de meilleures performances que d'autres de taille similaire, . Le modèle occupe 0,4 gigaoctet de mémoire, contre 2 Go pour LLaMA 3.2 1B et jusqu'à 4,8 Go pour MiniCPM 2B. La latence est également réduite, avec un temps de réponse de 29 ms, contre 41 à 124 ms pour les concurrents.

De même, l'énergie utilisée est largement réduite, estimée à 0,028 joules, contre 0,186 à 0,649 pour les concurrents. Une sacrée diminution qui permettrait de réduire la consommation énergétique des chabots tout en les faisant tourner sur les ordinateurs beaucoup moins puissants.

Les résultats Les résultats des tests ARC-Challenge, PIQA, WinoGrande, et GSM8K sont meilleurs que ceux de ses rivaux. Tout en étant plus rapide, le BitNet b1.58 2B4T parvient à battre des modèles bien plus grands.

Toutefois, à la différence d'autres modèles, ce qui constitue à la fois sa force et sa faiblesse, le framework bitnet.cpp n'est compatible qu'avec certains matériels, et ne prend pas encore en charge les GPU et NPU.

Nul doute que pour la firme de Richmind, ce n'est qu'une question de temps. Les chercheurs travaille actuellement au développement d'une accélération matérielle optimisée pour les calculs à 1 bit qui devrait améliorer la vitesse et l'efficacité énergétique du modèle de manières très significative.

Un article sous licence libre MIT dédié au BitNet b1.58 2B4T est disponible sur le site Hugging Face.