计算机行业Grok 3:RL成为共识,持续看好预训练算力需求-华泰证券-20250219.pdf

计算机行业Grok 3:RL成为共识,持续看好预训练算力需求-华泰证券-20250219.pdf
该报告主要探讨了人工智能大模型领域中Grok-3的发布及其对预训练算力需求的影响。报告核心观点如下: **1. Grok-3 发布及关键进展:** * xAI发布了基于全球最大算力集群(约20万块GPU)训练的新一代大模型Grok-3,包括预训练模型Grok-3和Grok-3 mini。 * Grok-3在Math、Science、Coding等测评集上超过了Gemini-2 Pro、GPT-4o 和DeepSeek-V3,推理模型Reasoning版本在性能上超越了OpenAI 03 mini (high)。 * Grok-3系列将首先面向X平台的Premium Plus订阅用户开放,包括聊天功能、DeepSearch与高级推理模式。 **2. 大模型预训练算力需求持续增长:** * xAI指出,Grok-3训练算力提升了10倍,训练集群已达到20万卡级别。 * 报告认为,尽管预训练数据存在瓶颈,但合成数据、RL数据、工程能力优化等可能突破瓶颈,Grok-3证明预训练依然有突破空间。 **3. RL (强化学习)成为2025年模型迭代主线:** * RL已成为全球模型厂商共识的技术迭代路径。 * Grok-3发布了Reasoning 模型,运用RL+CoT方式实现Test-Time Compute,并基于更好的Grok-3基座模型,超过了O3-mini的推理性能。 * 报告认为,RL将成为2025年模型迭代的主线,迭代方法或是继续加大RL的步数或改进RL框架。 **4. DeepSearch 成为 Agent 集中的方向:** * Agent 整合信息进行输出,成为集中落地方向。 * xAI发布基于Grok-3的第一代Agent产品DeepSearch,能深入思考用户意图,浏览多个网站内容,在输出最终答案前会验证不同来源,确保答案正确。 * 马斯克表示,当下一个版本模型完全发布时将开源上一个版本,开源化趋势将推动应用层发展。 **5. 语音交互与多模态能力值得期待:** * Grok 语音助手也将尽快推出,将理解用户话语并直接生成音频,也将融入RL的能力。 * xAI团队正在开发对话记忆功能,未来用户可以选择拥有一个或多个Grok,实现个性化交互。 * 结合RL能力后模型的多模态能力也有望加强。 **风险提示:** * AI技术迭代不及预期。 * AI商业化不及预期。
在线阅读 下载完整报告 | 3.01 MB | 10页
阅读和下载会消耗积分;登录、注册、邀请好友、上传报告可获取积分。
成为VIP会员可免费阅读和下载报告