通义千问开源72B、1.8B模型，实现“全尺寸”开源

继此前在今年早些时候开源通义千问70亿参数模型Qwen-7B、140亿参数模型Qwen-14B，以及视觉理解大模型Qwen-VL后，今天阿里云方面宣布，开源通义千问720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。

其中，Qwen-72B基于3T tokens高质量数据训练，延续了通义千问预训练模型一贯以来的强势表现，在10个权威基准测评中夺得开源模型最优成绩，并在部分测评中超越闭源的GPT-3.5和GPT-4，适配企业级、科研级高性能应用。

具体而言，在英语任务上，Qwen-72B在MMLU基准测试取得开源模型最高分；在中文任务上，Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基准，得分超越GPT-4；在数学推理方面，Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型；而在代码理解方面，Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升，代码能力实现质的飞跃。

同时Qwen-72B可处理最多32K的长文本输入，在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16K的效果。此外阿里云研发团队还优化了Qwen-72B的指令遵循、工具使用等技能，使之能更好地被下游应用集成。

而作为目前国内尺寸最小的开源大模型，Qwen-1.8B推理2K长度文本内容仅需3G显存，可在消费级终端部署。Qwen-Audio则能够感知和理解人声、自然声、动物声、音乐声等各类语音信号，用户可以输入一段音频，要求该大模型给出对音频的理解，甚至基于音频进行文学创作、逻辑推理、故事续写等等。

对此阿里云方面表示，从18亿、70亿、140亿到720亿参数规模，从视觉理解到音频理解，通义千问已实现“全尺寸、全模态”开源，并成为业界首个“全尺寸开源”的大模型。阿里云CTO周靖人指出，“开源生态对促进中国大模型的技术进步与应用落地至关重要，通义千问将持续投入开源，希望成为‘AI时代最开放的大模型’，与伙伴们共同促进大模型生态建设”。

据阿里云方面公布的相关数据显示，自开源以来，Qwen-7B、Qwen-14B和Qwen-VL累计下载量已超过150万，并催生出150多款新模型、新应用。

此外值得一提的是，通义千问闭源模型也在持续进化。据了解，发布于一个月前的通义千问2.0版闭源模型，目前已进阶至2.1版，上下文窗口长度扩展到32K，代码理解生成能力、数学推理能力、中英文百科知识、幻觉诱导抵抗能力分别提升30%、10%、近5%、14%。目前，用户可以在通义千问App中免费体验最新版本的闭源模型。

【本文图片来自网络】