Emir BardakçıA Xiaomi deu um salto gigantesco no campo da inteligência artificial com o código aberto de seu modelo inicial de raciocínio especializado, o Xiaomi MiMo. Esse modelo histórico de 7 bilhões de parâmetros já agitou as águas no campo da IA, superando rivais substancialmente maiores, como o modelo o1-mini de código fechado da OpenAI e o modelo QwQ-Preview maior da Alibaba, com 32 bilhões de parâmetros. O modelo é uma grande vitória para a recém-criada Big Model Core Team da Xiaomi e é uma prova do foco crescente da empresa em levar os recursos de IA adiante, do hardware ao desenvolvimento de software inovador.
Quebrando padrões de referência com raciocínio inovador
O que é tão notável no MiMo é seu alto desempenho em testes de raciocínio difíceis em comparação com seu tamanho relativamente pequeno. Em conjuntos de avaliação de raciocínio matemático (AIME 24-25) e de competição de código (LiveCodeBench v5) disponíveis publicamente, o modelo de parâmetro 7B superou rivais com tamanhos de parâmetro substancialmente maiores.
O grupo de desenvolvimento atribui essa conquista à sua estratégia inovadora em duas vertentes:
Inovações no pré-treinamento
- Corpus de raciocínio rico: A ênfase está na extração de informações de raciocínio rico
- Aprimoramento sintético: Geração de cerca de 200 bilhões de tokens de dados de raciocínio em nível de especialista
- Treinamento com dificuldade progressiva: Três fases separadas de dificuldade crescente de implementação
- Treinamento extensivo: Treinamento total em um número impressionante de 25T tokens
Descobertas pós-treinamento
A evolução do MiMo não terminou com o pré-treinamento. As inovações pós-treinamento da equipe de pesquisa aprimoraram ainda mais os recursos do modelo:
- Recompensa orientada pela dificuldade do teste: Um método inovador para lidar com a escassez de recompensas em tarefas algorítmicas de complexidade
- Abordagem simples de reamostragem de dados: Aplicação de métodos para estabilizar o treinamento do aprendizado por reforço
- Sistema de implementação contínua: Um sistema orientado para a eficiência que acelerou o treinamento de RL em 2,29 vezes e a verificação em 1,96 vezes
O que isso representa para o futuro da Xiaomi em IA
O lançamento do MiMo marca a entrada séria da Xiaomi no campo da IA. Embora a Xiaomi tenha estabelecido sua credibilidade por meio da inovação de hardware, a iniciativa indica uma mudança estratégica em direção à pesquisa e ao desenvolvimento de ponta em IA. Ao abrir o próprio modelo, a Xiaomi também está adotando a natureza aberta e coletiva da inovação em IA, potencialmente acelerando a inovação no setor.
Os desenvolvedores e entusiastas de IA que desejam experimentar ou criar extensões para o MiMo podem adquirir o modelo no repositório Hugging Face da Xiaomi, juntamente com a documentação técnica detalhada.
Fonte: Hugging Face, GitHub
