智东西7月12日报道，昨夜，国内大模型独角兽月之暗面发布并开源了其最新一代MoE架构基础模型Kimi K2，总参数量达到1万亿（1T），激活参数为32B。Kimi K2已在Kimi Web端和App端中可用。 Kimi K2在预训练阶段使用了“MuonClip”优化器实现万亿参数模型的训练。这一优化器能提高Token利用效率，缓解高质量人类数据的短缺问题。月之暗面还应用了大规模Agentic Tool Use数据合成和引入自我评价机制的通用强化学习等技术。 Kimi K2系列中的两个模型版本现已开源，包括未经过指令微调的基础预训练模型Kimi-K2-Base和通用指令微调版本Kimi-K2-Instruct（非思考模型）。前者适合科研与自定义场景，后者则可用于大多数问答与Agent任务。 根据月之暗面博客文章，在前端开发任务中，Kimi K2能生成有设计感与视觉表现力的代码，支持粒子系统、可视化和3D场景等表现形式。官方Demo中，Kimi K2开发了一个支持昼夜循环的山川峡谷3D景观： 在难度较低的个人网站开发任务上，Kimi K2展现出一定规划能力。在未收到明确指示的情况下，Kimi K2主动梳理了网站的目录结构，打造出的网站可扩展性更好。 比如，将13万行的原始数据丢给Kimi K2，它可以帮用户分析远程办公比例对薪资的影响，分析显著差异，自动生成统计图表与回归模型解读，并用统一色调做出小提琴图（violin plot) 、箱线图（box plot）、散点图（scatter plot）等专业图表，整理成报告。 再比如，如果用户是Coldplay粉丝，Kimi K2可以帮忙制定今年的追星计划，完成演唱会所在城市的机酒与旅游规划，并且生成日历，再用html概括完整行程规划并发送邮件。 根据月之暗面博客文章，Kimi K2用MuonClip优化器支撑万亿参数模型训练，提升token利用效率。结合大规模Agentic数据合成与通用强化学习，这一模型的通用智能能力获得提升。 为了缓解大规模训练中的attention logits偏大问题，月之暗面抛弃了传统的Adam优化器，提出MuonClip优化器，并将其扩展到万亿参数规模，提升了训练稳定性和token使用效率。Kimi K2完成了15.5T token的训练，全程无loss spike。 月之暗面还构建了可大规模生成多轮工具使用场景的合成pipeline，其大规模Agentic Tool Use数据合成可覆盖数百领域、数千工具，样本由LLM评估筛选后用于训练。 Kimi K2在可验证任务上（代码、数学）使用了强化学习，还通过引入自我评价机制（self-judging），解决了不可验证任务的奖励稀缺问题，实现通用强化学习，提升泛化任务表现。
