6月30日，百度方面宣布开源文心大模型4.5系列模型，并实现预训练权重和推理代码的完全开源。据了解，文心4.5系列开源模型共10款，涵盖激活参数规模分别为47B和3B的混合专家（MoE）模型（最大的模型总参数量为424B），以及0.3B的稠密参数模型。
对于开源文心大模型4.5系列模型，此前百度CEO李彦宏就曾表示，这一决策源自于百度对自身技术领先地位的坚定信心，并且相信开源将进一步促进文心大模型的广泛应用，以及在更多场景中扩大其影响力。同时他也指出，“但我想强调的是，无论开源闭源，基础模型只有在大规模解决现实问题时，才具备真实价值”。
据百度方面介绍，文心4.5系列开源模型针对MoE架构提出了一种创新性的多模态异构模型结构，通过跨模态参数共享机制实现模态间知识融合，同时为各单一模态保留专用参数空间。该架构适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强了多模态理解能力，其优越的性能主要得益于多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术点。
同时，文心4.5系列开源模型均使用飞桨深度学习框架进行高效训练、推理和部署，在大语言模型的预训练中，模型FLOPs利用率（MFU）达到47%。实验结果显示，该系列模型在多个文本和多模态基准测试中达到SOTA水平，尤其在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果突出。
目前，文心4.5系列开源模型已在飞桨星河社区、HuggingFace等平台可供下载部署，同时开源模型API（应用程序编程接口）服务也可在百度智能云千帆大模型平台使用。据了解，文心4.5系列开源模型权重按照 Apache 2.0协议开源，支持开展学术研究和产业应用。
值得一提的是，基于多年飞桨开源技术与生态系统积累，此次百度方面还同步升级发布文心大模型开发套件ERNIEKit和大模型高效部署套件FastDeploy，为文心4.5模型及开发者提供开箱即用的工具和全流程支持。
【本文图片来自网络】
