继此前马斯克宣布旗下人工智能（AI）公司xAI将开源自研大模型Grok后，当地时间3月17日，xAI方面宣布已按约正式开源旗下大模型Grok-1。
据了解，Grok-1是由xAI于2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的模型，其发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI AI训练师提供的数据。其窗口长度为8192tokens、精度为bf16、Tokenizer vocab大小为131072（2^17），与GPT-4接近，参数规模达3140亿，其中25%的参数能够针对特定的数据单元（Token）激活。
据悉，Grok-1是“迄今为止全球参数量最大的开源大模型”，相比之下，OpenAI GPT-3.5的参数量为1750亿。同时xAI方面透露，由于Grok-1的规模较大，因此需要有足够GPU和内存的设备才能正常运行。
值得一提的是，Grok-1具备混合专家模型（Mixture of Experts, MoE）8架构，每一个数据单元（Token）由2位专家处理，共64个处理层，用于处理查询的有48个注意力机制单元(attention heads)，用于处理键（key）/值（value）的有8个注意力机制单元，嵌入向量（embeddings）的维度为6144，采用旋转式嵌入表示（RoPE），使用SentencePiece分词系统处理，包含131072种数据单元，支持激活数据分布计算（activation sharding）和8位数字精度量化（8-bit quantization）。此次开源的模型是Grok-1预训练阶段的原始基础模型，没有针对任何特定应用（例如对话）进行微调。
据了解，Grok-1遵照Apache 2.0协议开放模型权重和架构，因此意味着其允许用户自由地使用、修改和分发软件，无论是用于个人还是商业用途。发布至今，其已经在GitHub上揽获超6.5k星标，且热度还在持续增加。目前，用户可直接通过磁链下载基本模型权重和网络架构信息。
需要注意的是，Grok-1开源的背景之一，是马斯克已于今年2月对OpenAI及其CEO萨姆·奥尔特曼（Sam Altman）、总裁格雷格·布罗克曼（Greg Brockman）等人提起诉讼，要求后者开源相关AI技术。
具体而言，马斯克对OpenAI提出了包括违反合同、承诺违约、违反信托义务、不公平商业行为等在内的指控。其中在违反合同方面，马斯克表示，从2015年至2020年9月，他不仅为OpenAI贡献了数千万美元的资金，提供研究方向的关键建议，还在招募世界级的优秀人才上发挥了关键作用。而这些贡献是他基于OpenAI的创始协议考虑，包括但不限于OpenAI将作为一个非营利组织开发通用人工智能（AGI）来造福人类，并将保持技术开源，不会为了商业原因而封闭。但OpenAI以多种方式违反了协议，包括将GPT-4独家授权给微软；没有向公众披露GPT-4的架构、硬件、训练方法等信息；为使用GPT-4设置了“付费墙”等。
相关诉讼文件中还指出，“OpenAI已经转变成了全球最大科技公司微软的事实上的闭源子公司。在其新的董事会的领导下，它不仅仅是在开发，而且实际上正在完善一种AGI，以最大化微软的利润，而不是为了造福人类。”
据了解，马斯克要求OpenAI能回归将AI技术向公众开放、即恢复开源，并希望法院下达禁令，禁止萨姆·奥尔特曼、格雷戈里·布罗克曼，以及微软从OpenAI的AI技术中获利。同时，其还要求OpenAI返还其不当行为期间获得的任何收益、披露原告和其他捐助者的资金使用情况，以及补偿性或惩罚性赔偿等。
随后在3月初OpenAI正式发布回应声明，反驳了马斯克的所有主张，并称为事情发展到这一步感到遗憾，以及公开了团队多位核心成员与马斯克的往来邮件细节。
在相关声明中显示，OpenAI最初作为非营利组织，总计从马斯克处筹集了不到4500万美元，从其他捐助者那里筹集了超过9000万美元。但随后该团队意识到构建AGI所需资源远远超过了作为非营利组织能够筹集到的资金，因此与马斯克一致认为，“下一步的任务是创建一个营利性实体”以筹集更多资金。
但马斯克希望获得这一营利性实体的多数股权、初始董事会控制权，并担任CEO。在OpenAI团队拒绝这一提议后，马斯克再次建议将OpenAI并入特斯拉，但OpenAI方面仍未同意。由于分歧，马斯克很快就选择离开OpenAI，并称OpenAI成功的概率为0。
对此马斯克则发文称，如果OpenAI同意将名称改为“ClosedAI”，他就撤销针对该公司的诉讼。据悉，马斯克还进一步批评OpenAI，称该公司需要放弃 “虚伪的幌子”。
而日前Grok-1正式宣布开源后，马斯克在X平台发文称，“我们想了解更多OpenAI的开放部分”。
【本文图片来自网络】
