Mistral presenta Large 4, un modelo de un billón de parámetros que publicará en abierto

Mistral AI presentó el 6 de octubre Mistral Large 4, un modelo de lenguaje de un billón de parámetros, los valores numéricos que el modelo ajusta al aprender. Para producir cada token, el fragmento de texto con el que trabaja, usa solo 52.000 millones de ellos, porque está dividido en partes especializadas y activa unas pocas cada vez, una arquitectura llamada mezcla de expertos. Admite imágenes además de texto y, según la empresa, se entrenó con textos en más de 160 idiomas.

Ya puede probarse en versión preliminar a través de la API de Mistral Studio (la conexión con la que otros programas usan el modelo), a 1,36 dólares por millón de tokens de entrada y 4,18 por millón de salida. Mistral dice que publicará los pesos, es decir, los valores de sus parámetros, que permiten instalarlo en servidores propios, «a finales de mes». Las comparativas de rendimiento que acompañan al anuncio las publica la propia empresa.

Mistral lo entrenó desde cero en 3.800 GPU de NVIDIA, los procesadores con los que se entrenan los modelos, en sus propios centros de datos en Europa. Es el primer modelo financiado con la ronda de financiación de 3.000 millones de euros que Mistral describe como la mayor captada por una tecnológica europea. La empresa ofrece usarlo con todo el servicio alojado en Europa, «bajo derecho europeo», o instalarlo en una nube privada o en los equipos del cliente.