金磊 发自 凹非寺

量子位 | 公众号 QbitAI

就在方才 ，马斯克一手开源动作，引发了年夜 伙儿的高度关注——

xAI现在正式开源Grok 2.5，Grok 3将在半年后开源。

实在早在本月初的时间，马斯克就公开表现过：

是时间开源Grok了，将会鄙人 周。

虽然开源的时光 已经凌驾 了他说的节点，但也正如网友所说：

迟到总比没有的好。

42个文件，500个G

现在，Grok已经可以在HuggingFace中下载（链接附文末）：

xAI官方建议用SGLang来运行Grok 2，详细步骤如下。

第一步，下载权重文件。

你可以把 /local/grok-2 换成任何你喜欢的文件夹名字：

hf download xai-org/grok-2 —local-dir /local/grok-2

官方表现，这个下载进程 中年夜 概会遇到一些毛病 ，如果堕落了，可以多试反复直到下载乐成。

下载乐成后，文件夹里应当 有42个文件，年夜 小约为500GB。

第二步，启动办事 器。

xAI官方建议安装最新版的SGLang推理引擎（版本号 >= v0.5.1，地点为：https://github.com/sgl-project/sglang/）。

然后用下面的下令来启动推理办事 器：

python3 -m sglang.launch_server —model /local/grok-2 —tokenizer-path /local/grok-2/tokenizer.tok.json —tp 8 —quantization fp8 —attention-backend triton

值得一提的是，这个模型 必要8个GPU（每个都得有凌驾 40GB的显存）才能运行。

末了一步，就是发送哀求。

这是一个经过预训练的模型 ，所以我们必要确保利用的是正确的聊天模板：

python3 -m sglang.test.send_one —prompt “Human: What is your name?<|separator|>\n\nAssistant:”

发送哀求后，我们就应当 能看到模型 会中兴 它的名字了，即Grok。

那么xAI最新开源的Grok 2，到底是什么水平？

虽然其能力定然是不及当下的各类 开始进的主流模型 ，但我们可以从客岁xAI发布的Grok 2相干模型 的技能博客中略知一二。

当时，它在LMSYS排行榜上，总体Elo分数已经逾越了Claude和GPT-4。

而且在一系列学术基准测试中，Grok 2系列在研究生级别科学知识 （GPQA）、一般知识 （MMLU、MMLU-Pro）和数学竞赛题目（MATH）等领域 达到了与其他前沿模型 相竞争的性能 水平。

不外有一说一，网友们虽然认为 马斯克开源的动作还挺好的，但也有不少诟病的谈吐 。

比方在HuggingFace中，我们并没有看到xAI明确指出开源模型 的参数权重。

是以 网友们就只能根据以往的信息，推测它是2690亿个参数的MoE模型 。

其次，就是开源协定 的题目，因为xAI在HuggingFace中的表述是这样 的：

用网友的话来说，这基本上就是一个非贸易答应的：

Mistral、Qwen、DeepSeek、微软，甚至是OpenAI都在用MIT或Apache 2.0答应来开源模型 。

以及，也是最紧张的一点，就是运行这个开源模型 的前提 ：

谢谢，我现在只必要8块显存超40GB的GPU……

Two More Thing：

除了开源动作之外，马斯克还发布了Grok APP上的一些新功效 。

这次的更新（v1.1.58）主如果 聚焦在了AI视频天生，详细效果如下：

感兴趣的小搭档可以在APP上体验喽。

以及马斯克还发了一段有趣的谈吐 ：

xAI很快就会逾越谷歌，但中国公司才是最年夜 敌手 。

参考链接：[1]https://x.com/elonmusk/status/1959379349322313920[2]https://x.com/HuggingPapers/status/1959345658361475564[3]https://x.com/elonmusk/status/1959384678768447976[4]https://x.com/elonmusk/status/1959388879888302363