Kimi K3 in CKimi K3 in C

What it isO que é

A pure C99 open source implementation of inference for the Kimi K3 model (2.78 trillion parameters) on a single CPU, with no BLAS, framework or GPU.

Implementação open source em C99 puro da inferência do modelo Kimi K3 (2,78 trilhões de parâmetros) em uma única CPU, sem BLAS, framework ou GPU.

What it’s forPara que serve

A reference for studying large-model inference on CPU with MXFP4 quantization and AVX2 optimizations; not a general-purpose tool.

Referência para estudar inferência de modelos grandes em CPU com quantização MXFP4 e otimizações AVX2; não é ferramenta de uso geral.

BenefitsVantagens

• Portable C99 code with CMake and a Makefile, no dependencies
• Mixture-of-experts architecture with linear attention and MXFP4 quantization

• Código portável em C99 com CMake e Makefile, sem dependências
• Arquitetura mixture-of-experts com atenção linear e quantização MXFP4