Jeudi 15 octobre, Mistral AI a lancé Timestral, sa première famille de modèles de fondation dédiés aux séries temporelles, déployables chez les clients et sans processeur graphique. Explications.
L’entreprise française élargit sa gamme au-delà du langage. Dans l’annonce publiée sur son site le 15 octobre, Mistral AI écrit : « Today, we’re releasing Timestral, our first family of time-series foundation models » (traduit de l’anglais : « Aujourd’hui, nous publions Timestral, notre première famille de modèles de fondation pour séries temporelles »). Une série temporelle, c’est une suite de mesures datées : consommation d’énergie, relevés de capteurs, flux de trésorerie.
Quatre tailles, de 5 à 209 millions de paramètres
Timestral se décline en quatre modèles de 5, 28, 123 et 209 millions de paramètres, construits sur la même architecture et la même recette d’entraînement. Ils produisent des prévisions probabilistes et multivariées sur 21 quantiles, avec une fenêtre de contexte de 32 768 pas de temps. Ils acceptent des covariables connues seulement dans le passé comme des covariables connues dans le futur.
Ces tailles sont sans commune mesure avec celles des modèles de langage. Mistral Large 4, présenté le 6 octobre, compte « environ 1 000 milliards de paramètres, dont 49 milliards sont activés pour chaque requête », écrit MacG, qui rappelle que Mistral Large 3 en totalisait 675 milliards, dont 41 milliards actifs. Le plus gros Timestral en pèse 209 millions.
De 10 à 140 millisecondes sur un processeur de serveur
L’argument central tient à l’infrastructure. « Timestral does not need a GPU at inference » (traduit de l’anglais : « Timestral n’a pas besoin de GPU pour l’inférence »), précise l’annonce. Sur un processeur de serveur à huit threads, une prévision à un jour établie à partir de trois semaines d’historique, au pas de 15 minutes, demande 10 millisecondes avec le modèle de 5 millions de paramètres et 140 millisecondes avec celui de 209 millions.
Le déploiement suit la même logique. « The full pipeline can be deployed on our clients’ hardware, including air-gapped environments » (traduit de l’anglais : « L’ensemble de la chaîne peut être déployé sur le matériel de nos clients, y compris dans des environnements isolés »), affirme Mistral AI. L’annonce évoque aussi un fonctionnement sur site ou en cloud privé virtuel.
Premier sur GIFT-Eval, TIME et fev-bench, selon Mistral
Sur la performance, Mistral AI revendique la première place. Timestral « ranks first on all three of the field’s main public benchmarks, GIFT-Eval, TIME, and fev-bench » (traduit de l’anglais : « se classe premier sur les trois principaux benchmarks publics du domaine, GIFT-Eval, TIME et fev-bench »). Le classement concerne les modèles pré-entraînés évalués en zero-shot, c’est-à-dire sans réglage préalable sur les données testées, avec un seul point de contrôle et sans combinaison de modèles.
Selon l’annonce, le modèle de 209 millions de paramètres dépasse l’état de l’art précédent avec les deux tiers de ses paramètres. Celui de 28 millions devance Chronos-2, environ quatre fois plus grand, sur GIFT-Eval et sur TIME. Ces résultats proviennent de l’éditeur lui-même : un rapport technique complet est annoncé, sans date.
Mistral Forge, GitHub et Hugging Face pour la diffusion
Pour la mise à disposition, Mistral AI s’appuie sur plusieurs canaux. Un dépôt GitHub public permet d’utiliser les modèles sur ses propres données et une collection est publiée sur Hugging Face. La licence est une licence MIT modifiée.
Les entreprises qui veulent aller plus loin passent par la plateforme maison. « Timestral is available through Mistral Forge, the same training pipeline we use for our language models » (traduit de l’anglais : « Timestral est disponible via Mistral Forge, la même chaîne d’entraînement que nous utilisons pour nos modèles de langage »). Forge couvre l’usage zero-shot, les extensions d’architecture, le réglage fin sur données propriétaires et le contrôle du mélange d’entraînement.
Maintenance industrielle, énergie et finance en ligne de mire
Les cas d’usage cités relèvent d’activités où la donnée de capteur ou de flux est sensible. Mistral AI mentionne la détection d’anomalies sur capteurs en maintenance industrielle, avec un agent qui compare aux pannes passées et propose un diagnostic, ainsi que la planification de capacité, l’énergie, les chaînes d’approvisionnement et le risque. Côté finance, l’annonce cite les prévisions de flux, de volumes et de volatilité.
Aucun tarif n’est publié et aucun partenaire ou client n’est nommé dans l’annonce.
Prochaine échéance côté Mistral AI : la publication des poids de Mistral Large 4, attendue « d’ici la fin du mois d’octobre », selon MacG.
