当地时间4月18日，Meta方面发布、并开源新一代大模型Llama 3系列，并表示“根据我们目前看到的基准测试结果，Llama 3无疑是市场上目前免费提供的同类产品中最智能、性能最出色的大模型”。
据了解，Llama 3支持8K上下文长度、是Llama 2的两倍，其在两个定制的24K GPU集群上基于超过15T token进行训练，数据集大小相当于Llama 2数据集的7倍还多，代码量则是Llama 2的4倍。同时Meta方面透露，Llama 3预训练数据集中有超过5%的部分为高质量的非英语数据、涵盖超过30多种语言，而加入这部分数据的目的在于更好地满足不同语言背景用户的使用需求。
在安全性方面，据了解，Llama 3带有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具，还具有比Llama 2有更好“错误拒绝表现”。
据悉，Meta方面此次首批发布的Llama 3系列包括Llama 3 8B和Llama 3 70B的预训练和指令微调版本，需要注意的是，两个参数版本的Llama 3模型的数据截止日期略有不同，其中8B版本截止日期为2023年3月，70B版本为2023年12月。
在MMLU、ARC、DROP、GPQA、HumanEval等九项基准测试中，Llama 3 8B的表现均领先Mistral 7B、Gemma 7B。同时，Llama 3 70B在MMLU、HumanEval和GSM-8K等基准测试上的表现已领先于Gemini 1.5 Pro、Claude 3 Sonnet等。
值得一提的是，据Meta方面方面透露，Llama 3系列还有一个参数量达400B的大版本正在训练中，将在训练完成后正式发布。对此英伟达高级研究经理Jim Fan认为，“它将标志着社区获得对GPT-4级别模型开放权重访问的分水岭时刻，这将改变许多研究工作和草根创业公司的计算方法”。
据了解，在发布Llama 3的同时，Meta方面还推出了基于Llama 3构建的Meta AI，并称其为目前最智能的免费AI助手。据了解，Meta AI将与Meta旗下的Facebook、Instagram、WhatsApp和Messenger等多个应用深度整合，届时用户可在对话框、搜索框等场景畅用Meta AI。同时，Meta方面也已推出了网页版Meta AI，用户无需登录即可访问。
【本文图片来自网络】
