超越Chatgpt的AI agent综述.pdf
这份文档主要介绍了 AI Agents 的发展趋势，以及如何在 ChatGPT 之外构建更强大的 AI Agent。以下是核心内容的总结：
**1. AI Agent 的定义与构成：**
* AI Agent 是一种能够感知环境、进行推理、规划、反思和行动的智能体。
* 其核心构成包括：感知（多模态输入），规划（内部独白，例如 Chain-of-Thought 推理），反思（元推理），行动（函数/工具调用，具体行动）。
**2. AI Agent 发展阶段：**
* 文档提出了 AI Agent 的五个发展阶段，包括：
* **Level 1:** "Just Wanna Chat" – 简单地响应用户提示，不使用工具。
* **Level 2:** "Your Work Assistant" – 基于 LLM 的软件系统，协助完成实际任务。
* **Level 3:** "Agent-as-a-Service" – 基于 LLM 的服务系统，自动化预定义工作流程。
* **Level 4:** "Autonomous Agents" – 能够完成各种任务的自主系统。
* **Level 5:** "Human, hold my beer" – 类似于 L5 级自动驾驶的 agent，能够高效、独立地完成日常任务。
**3. 如何改进 LLM 的性能：**
* **Self-Improvement（自改进）：**
* 通过交互式演示，让 LLM 自行改进。
* 强调小模型通过prompt方式进行自我改进比较困难。
* **Tree Search（树搜索）：**
* 利用树搜索来增强模型的推理能力。
* 结合 look-ahead search，例如棋类游戏中的搜索方法，来增强对话决策能力。
**4. TriPosT（Interactive Trajectory Editing）方法：**
* TriPosT 是一种通过交互式轨迹编辑来改进 LLM 的方法。
* 利用 LLM/Python 脚本作为编辑模型。
* 收集小模型和 LLM 之间的交互记录。
* 通过 (attempt, feedback, update) 三元组来重构交互数据。
* 对数据进行过滤和再平衡。
* 使用加权 SFT (Supervised Fine-tuning) 来训练 LLaMA-1/LLaMA-2 模型。
**5. Model self-improvement with LLMs (使用 LLM 进行模型自改进)：**
* 该方法核心思想是：
* 让较弱的 LLM 尝试自我改进。
* 使用更强的 LLM 进行“过程监督”。
* 利用改进后的数据来训练 LM。
* **结果：** TriPosT 能够提高整体性能，并能够提高模型在 Big Bench Hard 上的表现。
**6. Tree Search 在对话决策中的应用 (Enhanced Model Capability via Tree Search)：**
* 将对话决策视为树搜索问题。
* 使用零训练 MCTS (MCTS with Zero-training) 框架，包括：
* 搜索潜在的有希望的行动。
* 模拟行动结果。
* 评估行动质量。
* 更新每个行动质量的估计。
* **GDP-Zero方法：**
* GDP-Zero 在说服任务中有所改进，GPT-Zero 能够学习领域知识，避免了“主动捐赠” 并采用了平衡的策略。
* **Open-Loop MCTS：**
* Open-Loop MCTS 考虑来自对话状态的随机转换。
* 能够提高模型的对话能力。
**7. Exploratory Learning (探索性学习) ：**
* 通过在树遍历上进行训练来实现。
* GPT-4o 在 R-MCTS 树上进行探索性学习后，表现出计算量扩展特性，而无需增强搜索算法。
**8. Arklex Agent 框架：**
* 展示了 Agent-First Organization Framework。
* Arklex 框架的优势：更智能、更可控。
* 提供了与其它框架的对比，突出其优势。
相关报告
-
4.47 MB 14页 AI Agent，智能经济时代的生产力解压缩器-东吴证券-20250728.pdf
-
4.6 MB 20页 大模型时代，基于AI Agent的数据分析与决策新趋势-黎科峰 博士.pdf
-
1.46 MB 36页 2024年AI Agent实施的明路应用实践报告：智慧灯塔，照亮企业.pdf
-
20.25 MB 54页 甲子光年2023中国AIGC市场研究报告ChatGPT的技术演进变革风向与投资机会分析54页.pdf
-
1.09 MB 12页 商贸零售行业跟踪周报：ChatGPT迅速成长下，关注AI+教育在应用层面的具体投资机会
-
3.68 MB 41页 计算机行业AIGC专题二：ChatGPT更懂人类的叙事
-
2.15 MB 18页 计算机行业周报：ChatGPT是否是AI的革命？-20230114-国盛证券-18页.pdf
-
11.26 MB 19页 2025年全球AI Agent行业洞察报告-极光月狐-202507.pdf
-
6.84 MB 98页 生成式AI赋能产业变革的实践与路径报告-毕马威-202507.pdf
-
2.52 MB 29页 2025年AI驱动下通信云行业的全球化变革-艾瑞咨询-202507.pdf
-
9.25 MB 49页 AI浪潮下的职业真实图景分析报告-数说故事-202507.pdf
-
11.31 MB 49页 OpenAI Agent测试报告-郎瀚威-202507.pdf
-
19.64 MB 126页 2025年AI应用（AI_Agent）开发新范式报告.pdf
-
3.98 MB 122页 面向全民的人工智能：推动亚太地区劳动力向AI能力转型.pdf
-
14.16 MB 74页 从流量到订单：AI驱动的B2B出海营销增长引擎白皮书-ZOHO-202507.pdf
-
41.83 MB 68页 AI+行动，迈向财务的下一个时代.pdf