中文大模型基准测评2025年上半年报告-SuperCLUE团队-202508.pdf
SuperCLUE（中文大模型综合性测评基准）发布了《中文大模型基准测评2025年上半年报告》，深入分析了2025年上半年大模型的发展趋势和关键进展。报告的主要内容如下：
**一、大模型发展趋势与关键进展**
* **技术与生态构建期：** ChatGPT和Llama2的发布加速了AI大模型的技术革新与生态构建。
* **多模态与深度推理拓展期：** Sora引发了视频AIGC创业潮，OpenAI开启了对更复杂推理的探索，国内多模态领域快速发展。
* **智能体崛起与AGI探索期：** 顶级大模型能力持续突破，智能体Agent产品快速涌现，DeepSeek-R1以开源和高性价比优势引人关注。
**二、测评方法与基准**
SuperCLUE基准是中文通用大模型评测基准，涵盖通用基准、文本、多模态、推理、Agent、AI应用、性能等系列基准，并持续更新。7月通用基准测评聚焦于通用能力测评，包含数学推理、科学推理、代码生成、智能体Agent、精确指令遵循、幻觉控制六大维度，总题量为1288道。
**三、测评结果与分析**
1. **整体表现：** 头部模型竞争激烈，o3在全球中文综合能力排行榜中排名第一。国内模型在智能体Agent和幻觉控制任务上表现良好，但推理任务仍有差距。
2. **开源模型：** 开源模型崛起势头强劲，DeepSeek-R1表现突出，Qwen3系列表现亮眼。
3. **性价比：** 国内模型性价比普遍高于海外模型，Qwen3系列表现尤为突出。
4. **效能：** 海外模型在高效能区表现更优，部分国内模型在推理任务上有所提升。
**四、各维度任务分析**
* **数学推理：** 主要考察运用数学概念和逻辑进行推理的能力。
* **科学推理：** 考察跨学科背景下的推理能力。
* **代码生成：** 包含独立功能函数生成和Web应用生成。
* **智能体Agent：** 考察中文场景下智能体调用工具的能力，Doubao-Seed-1.6-thinking-250715表现最佳。
* **精确指令遵循：** 考察模型指令遵循能力，包括格式、语义、量化和复合约束。
* **幻觉控制：** 评估模型在生成任务时的忠实性，头部模型间差距较小。
**五、专项模型分析**
报告对Doubao-Seed-1.6-thinking-250715、DeepSeek-R1-0528和GLM-4.5等模型进行了详细分析，涵盖其技术特点、能力优势和应用场景。
**六、10B级别小模型与端侧模型**
Qwen3-8B(Thinking)领跑10B级别小模型，端侧模型在幻觉控制方面表现突出，但在复杂场景适配方面仍有挑战。
**七、DeepSeek-R1 API测评**
第三方平台DeepSeek-R1 API调用稳定性测评显示，字节火山引擎、商汤科技和微软云的DeepSeek-R1 API在不同维度表现上各有优劣。
相关报告
-
13.29 MB 73页 2025年上半年中国零售地产与消费市场报告-仲量联行-202508.pdf
-
1.13 MB 10页 2025上半年人才供需洞察报告-猎聘-202508.pdf
-
13.45 MB 72页 中文大模型基准测评2024年4月报告.pdf
-
2.48 MB 22页 2025上半年零售格局演变和机会分享报告-尼尔森IQ-202509.pdf
-
4.7 MB 36页 2025年招聘市场年中洞察报告-瀚纳仕-202508.pdf
-
7.59 MB 60页 2025年新时代央国企青年人才的选拔培养与发展报告-智联测评研究院-202508.pdf
-
3.94 MB 33页 2025年线上香水香氛品类消费趋势洞察报告-用户说-202508.pdf
-
2.57 MB 32页 2025年欧洲网红营销生态报告-Nox聚星-202508.pdf
-
3.09 MB 10页 2025年轻人演唱会报告-后浪研究所-202508.pdf
-
3.72 MB 26页 2025年商超消费变革洞察报告-腾讯-202508.pdf
-
2.83 MB 37页 2025年全球跨境支付服务行业洞察报告-艾瑞咨询-202508.pdf
-
2.57 MB 24页 灵活就业群体调查暨2025年二季度灵活就业景气指数报告-蚂蚁集团-202508.pdf
-
3.94 MB 39页 2025年食品饮料行业全球网红营销趋势报告-Nox聚星-202508.pdf
-
9.99 MB 73页 2025上半年TikTok Shop调研报告-TT123-202508.pdf
-
11.4 MB 64页 2025年边缘计算市场调研报告-AIOT星图研究院-202508.pdf
-
10.76 MB 34页 2025一线城市青年婚育观全景报告-上海市青少年研究中心X陌上花开-202508.pdf
-
9.25 MB 52页 2025视频号半年度生态洞察报告-友望数据-202508.pdf