月之暗面日前发布并开源旗下首个万亿参数模型

日前,月之暗面正式发布新一代MoE架构基础模型Kimi K2,并同步开源。据了解,Kimi K2总参数达1T、激活参数为32B,同时也是月之暗面发布、并开源的首个万亿参数模型。


据悉,目前月之暗面方面已开源 Kimi K2系列中的两个模型版本,包括Kimi-K2-Base、Kimi-K2-Instruct。其中,Kimi-K2-Base是未经过指令微调的基础预训练模型,适合科研与自定义场景,Kimi-K2-Instruct是通用指令微调版本(非思考模型),在大多数问答与 Agent 任务中表现卓越。

月之暗面发布并开源首个万亿参数模型

根据月之暗面方面公布的相关信息显示,Kimi K2在自主编程(Agentic Coding)、工具调用(Tool Use)和数学推理(Math & Reasoning)三项能力维度的基准性能测试中取得优秀表现。例如在 SWE Bench Verified、Tau2、AceBench等基准性能测试中,Kimi K2均取得了开源模型中的SOTA成绩。


除了基准性能测试,Kimi K2还宣称在多个实际场景中也展现出更强的能力泛化和实用性。以前端开发任务为例,Kimi K2擅长生成兼具设计感与视觉表现力的代码,支持粒子系统、可视化和 3D 场景等表现形式,具备较强的图形能力与交互性。


值得一提的是,Kimi K2的预训练阶段使用MuonClip优化器实现了万亿参数模型的稳定高效训练,从而在人类高质量数据成为瓶颈的背景下,有效提高Token利用效率,找到新的Scalin空间。


目前用户访问月之暗面旗下智能助手Kimi官网或下载App,即可体验全新Kimi K2模型。同时Kimi K2 API服务也已同步上线,其支持最长128K上下文,具备更强的通用性与工具调用能力,价格为每百万输入tokens 4元,每百万输出tokens为16元。


面向未来,月之暗面指出,Kimi K2是构建通用Agent能力的坚实基础,但通用Agent还需要更高级的能力,比如思考和视觉理解。为此,未来其将为Kimi K2加入这些能力,“我们希望通过全面开源性能更强的模型,进一步加速AGI研究与应用落地的整体进程”。


【本文图片来自网络】

踩(0)

最新文章

相关文章

大家都在看