Velvet-2-3B text
29 de Outubro de 2026
Um modelo de linguagem compacto, submetido a um amplo pós-treinamento para compreender instruções complexas, realizar tarefas de raciocínio e gerar resultados estruturados, equilibrando desempenho, tempo de resposta e requisitos computacionais.
A Essência do Velvet2-3B Text
Projetado para aplicações reais, o Velvet2-3B combina um amplo pós-treinamento com uma arquitetura compacta, oferecendo uma base versátil para uma ampla variedade de tarefas linguísticas.
Idiomas
Arquitetura
Dense autoregressive decoder-only Transformer com 38 Transformer Layers.
Dataset de treinamento
Cerca de 5 trilhões de tokens provenientes de fontes públicas, selecionados com base em critérios de qualidade, segurança, desduplicação e equilíbrio multilíngue.
Context Window
32K tokens, expansível com YaRN.
Parâmetros
3 bilhões de parâmetros.
Vocabulary
127K tokens.
Specialization
3,5 milhões de exemplos de instruções anotados por pessoas e sintéticos.
Data Freshness
Limite dos dados de pré-treinamento: dezembro de 2025 a janeiro de 2026.
Training Infrastructure
Treinado no supercomputador italiano Leonardo, hospedado pelo CINECA.
License
Open-weight com licença Apache 2.0.
IA Responsável
Medidas de segurança integradas à curadoria de dados, ao treinamento e ao pós-treinamento, incluindo filtragem de dados, controles de qualidade, alinhamento e avaliação de segurança, apoiadas por governança e supervisão internas contínuas.
Capacidades
Compreensão de Instruções
Extração de Informações
Compreensão de Contextos Extensos
Geração de Resultados Estruturados
Function
Calling
Geração Condicionada por JSON e Esquemas
Compreensão de Tabelas e Dados Semiestruturados
Geração de Texto Multilíngue
CoT Tasks
Conversas Multiturno
Generalização Few-Shot
Sumarização
Question Answering
RAG
Performance Evaluation
O Velvet2-3B foi avaliado em uma ampla variedade de benchmarks que abrangem conhecimento, compreensão de instruções, raciocínio, compreensão de contextos extensos, function calling, capacidades multilíngues e segurança.
Métricas
Italian language
| Category | Benchmark | Velvet-14B |
|---|---|---|
| General | MMLU (5-shot) | 58.6 |
| Commonsense | Hellaswag (0-shot) | 72.7 |
| WinoGrande ITA-bench (0-shot) | 73.2 | |
| PIQA ITA-bench (0-shot) | 71.7 | |
| SciQ ITA-bench (0-shot) with p. | 91.9 | |
| Reasoning | ARC-Challenge (0-shot) | 55.2 |
EU languages
| Category | Benchmark | Velvet-14B |
|---|---|---|
| General | MMLU (5-shot) | 56.4 |
| Instruction Following | IFEval (0-shot) - en | 65.4 |
| Commonsense | Hellaswag (10-shot) | 72.8 |
| WinoGrande (0-shot) - en | 72.5 | |
| Reasoning | ARC-Challenge (25-shot) | 57.3 |
| MUSR (0-shot) - en | 12.3 | |
| Function Calling | BFCL (AST summary) - en | 67.5 |
Discover Velvet AI Models
Velvet Speech-2B
Velvet-2B-1.5
Velvet-2B
Velvet-14B
Velvet-25B
Velvet2-3B speech
Por Que Escolher o Velvet2-3B?
Tarefas Estruturadas e Raciocínio
Realiza tarefas com múltiplos requisitos, relaciona diferentes informações por meio do raciocínio e gera resultados no formato esperado.
Conteúdos Longos e Complexos
Processa documentos e conversas extensos; a janela de contexto pode ser ampliada para até 128K por meio do YaRN.
Aplicações Sensíveis e Regulamentadas
Oferece suporte a aplicações que exigem validação, medidas de proteção e supervisão humana, inclusive na Administração Pública e na área da saúde.