Elon Musk开源了xAI的Grok大型语言模型

摘要: 埃隆·马斯克（Elon Musk）的Xai在周末发布了其Grok大语言模型为“开源”。亿万富翁显然希望使他的公司与

Elon Musk开源了xAI的Grok大型语言模型

Elon Musk的xAI公司最近开源了名为Grok的大型语言模型。这一举动被认为是为了与OpenAI竞争，OpenAI虽然名为“开放”，但实际上并不是特别开放。但是，像Grok这样的代码开源是否真的有助于AI开发社区呢？答案有肯定也有否定。

Grok是一个由xAI训练的聊天机器人，类似于CHAT GPT或Claude：你提问，它回答。与其他模型不同的是，这个大型语言模型具有一个时髦的语调，并且额外获得了Twitter数据的访问权限，以区别于其他模型。

总体而言，Grok被认为与上一代中等规模模型（如GPT-3.5）具有竞争力。Grok是一个现代化、功能强大的大型语言模型，开发社区能够更多地了解这类模型的内部结构，这是非常有价值的。但是，“开放”这个词的定义是一个问题，不能仅仅让一家公司（或亿万富翁）声称自己站在道德制高点。

AI模型的“开源”与其他软件不同。在制作文字处理软件这样的应用程序时，很容易将其开源：公开发布所有代码，让社区提出改进意见或制作自己的版本。开源概念的价值之一在于应用程序的每个方面都是原创的或归功于其原始创作者，这种透明度和正确归因的遵循不仅是副产品，而且是开放概念的核心。

然而，对于AI模型来说，这种透明度是不可能的，因为机器学习模型的创建涉及一个大部分不可知的过程，大量的训练数据被提炼成一个复杂的统计表示，其结构几乎没有人类真正指导，甚至理解。这个过程无法像传统代码那样被检查、审计和改进，因此虽然在某种意义上它仍然具有巨大的价值，但它永远无法真正实现开放。（标准化组织甚至还没有定义在这种情况下“开放”是什么，但正在积极讨论。）

有人认为，AI模型最接近“开源”的方式是当开发人员发布其权重时，也就是说，其神经网络的无数节点的确切属性，这些节点按照精确的顺序执行向量数学运算，以完成用户输入开始的模式。但即使像LLaMa-2这样的“开放权重”模型也排除了其他重要数据，比如训练数据集和过程，这些数据对于从头开始重新创建模型是必要的。（当然，有些项目走得更远。）

所有这些都没有提到创建或复制这些模型需要数百万美元的计算和工程资源，这实际上限制了谁能够创建和复制这些模型，只有拥有相当资源的公司才能做到。

xAI的Grok发布在这个光谱的哪一端呢？作为一个开放权重模型，任何人都可以下载、使用、修改、微调或提炼它。这是好事！从参数的角度来看，它似乎是目前任何人都可以免费访问的最大模型之一，有3140亿个参数，这给了好奇的工程师很多工作空间，如果他们想测试在各种修改后它的表现如何。

然而，这个模型的规模也带来了严重的缺点。你需要数百GB的高速RAM才能以这种原始形式使用它。如果你手头没有一打Nvidia H100，一个价值六位数的AI推理设备，那么就别想下载了。

总的来说，发布这些数据是件好事，但它并不像一些人们所希望的那样具有改变游戏规则的作用。

人们不禁要问Musk为什么要这么做。他的新兴AI公司真的致力于开源开发吗？还是这只是对OpenAI的挑衅？如果他们真的致力于开源开发，这将是许多发布中的第一个，他们将希望考虑社区的反馈，发布其他关键信息，描述训练数据的过程，并进一步解释他们的方法。如果不是，如果这只是为了让Musk在在线争论中指向它，那也是有价值的，只是不会是AI界在未来几个月内会依赖或关注的东西。