在日前举行的开年AI大课暨猎户星空企业应用大模型发布会上，猎豹移动董事长兼CEO、猎户星空董事长傅盛进行了题为《AI大潮下企业如何创新？从技术狂欢到企业落地-私有化大模型是王道》的主题分享，并正式发布猎户星空大模型（Orion-14B）。
据悉，猎户星空大模型是由猎户星空研发的预训练多语言大语言模型，专为企业应用而生，且通过140亿参数实现了千亿参数大模型才能实现的效果。同时猎户星空大模型还支持私有化部署，大模型服务器可安置于企业内网，且所有数据无需连接公网。
据了解，作为百亿参数大模型，猎户星空大模型的基座能力在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上，均为同级别的SOTA（最佳模型）。并且在700亿参数以下的基座模型中，猎户星空大模型在中文数据集的表现上总分位列榜首。对此猎户星空方面表示，Orion-14B没有提前刷基准测试里面的真题，成绩绝对真实。
据悉，猎户星空大模型最长可支持320K token超长文本。而且在针对大模型“记忆力”的权威测试“大海捞针（Needle in A Haystack）”中，Orion-14B对200k Token的召回率是100%。同时通过AWQ Q4量化技术，猎户星空大模型的大小减少70%，推理速度提升30%，性能几乎无损（损失小于1%），在千元级显卡即可流畅运行。
值得一提的是，针对不同的需求，猎户星空进一步扩展了猎户星空大模型的功能和实用性，并着重打磨检索增强生成（RAG）和Agent两个方向。其中，RAG能力微调模型（Orion-14B-RAG）对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力，进行了专项微调，让其能更好配合企业整合自身知识库，构建定制化的应用。
为辅助企业构建AI Agent，猎户星空还推出了插件能力微调模型（Orion-14B-Plugin），该插件能通过Orion-14B-RAG更好理解用户需求，并调用相关的工具解决问题。
此外，猎户星空方面还推出了大模型深度应用“聚言”，面向企业客户提供大模型咨询与服务一站式解决方案。据悉，基于“聚言”打造的“数字老板”，可帮助企业负责人全面掌握经营细节、不留遗漏，包括人力资产、云资产、数字资产等。
【本文图片来自网络】
