Velvet-14B
Un LLM básico equilibrado, con 6 idiomas, para una gama más amplia de aplicaciones y con un fuerte enfoque en el razonamiento y la comprensión de textos.
La esencia de Velvet-14B
Velvet-14B es un modelo instructivo ajustado a partir de la base Velvet-14B utilizando una combinación de conjuntos de datos de instrucciones de código abierto con licencia permisiva y conjuntos de datos sintéticos recogidos internamente diseñados para resolver problemas de contexto prolongado.
Idiomas
Arquitectura
Modelo de lenguaje auto-regresivo con un diseño causal basado únicamente en transformadores, con 50 capas de transformadores.
Conjunto de datos de entrenamiento
El proceso de entrenamiento comenzó con más de 10 mil millones de tokens y terminó con más de 4 mil millones de tokens.
Ventana de contexto
128K Tokens.
Esto garantiza la capacidad de procesar documentos extensos, incluso superando las 400 páginas.
Parámetros
14 mil millones de parámetros.
Vocabulario
127K tokens.
Seguridad
50 mil intrucciones.
Especialización
2 mil millones de ejemplos.
Codificación
Más de 400 mil millones de tokens de más de 100 lenguajes de programación para facilitar inferencias más estructuradas.
Frescura de los datos
Los datos de preentrenamiento tienen un corte entre agosto y octubre de 2024.
Licencia
Open weights con licencia Apache 2.0.
Infraestructura de formación
Construido desde cero sobre una arquitectura densa, fue entrenado en el superordenador italiano Leonardo, alojado por CINECA.
Capacidades
Inferencia en lenguaje natural
Extracción de información
Razonamiento multietapa
Razonamiento de sentido común
Function Calling
Traducción automática
Implicación textual
Clasificación de texto
Respuesta a preguntas
Conversación multiturno
Completado de texto
Resumen automático
Paráfrasis
RAG
Evaluación del rendimiento
Un Comité de Evaluación Independiente comparó Velvet con otros modelos bajo parámetros 30B construidos desde cero, utilizando varias métricas para evaluar el razonamiento lógico, las capacidades de resolución de problemas y la capacidad de ir más allá de las correlaciones estadísticas.
Idioma italiano
| Categoría | Índice de referencia | Velvet-14B |
|---|---|---|
| General | MMLU (5 disparos) | 58.6 |
| Sentido común | Hellaswag (0 disparos) | 72.7 |
| WinoGrande ITA-banquillo (0-shot) | 73.2 | |
| PIQA ITA-press (0-shot) | 71.7 | |
| SciQ ITA-press (0-shot) con p. | 91.9 | |
| Razonamiento | ARC-Challenge (0-disparo) | 55.2 |
Idiomas de la UE
| Categoría | Índice de referencia | Velvet-14B |
|---|---|---|
| General | MMLU (5 disparos) | 56.4 |
| Seguimiento de la instrucción | IFEval (0-shot) - en | 65.4 |
| Sentido común | Hellaswag (10 disparos) | 72.8 |
| WinoGrande (0-disparo) - en | 72.5 | |
| Razonamiento | ARC-Challenge (25 disparos) | 57.3 |
| MUSR (0-tiro) - en | 12.3 | |
| Llamada de función | BFCL (resumen AST) - en | 67.5 |
Estas métricas evalúan su razonamiento científico, su capacidad para generar respuestas plausibles y contextualmente relevantes basadas en el sentido común y su comprensión general en múltiples materias, centrándose en proporcionar respuestas precisas e informadas.