从 R1 到 V4：震后的半年迭代

2026-06-24 发布：V4-Pro 1.6T 参数（49B 激活）、V4-Flash 284B（13B 激活），均支持 1M token。

预训练 32T+ tokens，经历完整后训练与领域专家 On-Policy Distillation。

混合注意力 CSA + HCA：对 KV 按序列维度极致压缩，Flash 的 KV cache 仅为 V3.2 的 7%。

mHC 流形约束超连接：将残差混合矩阵投影到 Birkhoff 多面体，保证双随机、信号均值守恒，n=4 时仅 +6.7% 开销。

Muon 优化器替代 Adam，加速收敛与稳定性。

1M 上下文：V4-Pro 单 token FLOPs 27% / KV 10% vs V3.2；Flash 10% / 7%。

基础设施：MoE 融合核、TileLang DSL、ZeRO 混合、KV 异构存储与磁盘卸载，让百万上下文可上生产。

V4-Pro-Max 在知识、推理、Agent、长上下文基准接近或超越 Gemini-3.1-Pro、GPT-5.4。

标志着开源模型首次在百万上下文上定义 SOTA。