GPT-4技术报告（英）-2023-98页-20230317.pdf
这份技术报告介绍了 GPT-4，一个能够接受图像和文本输入并生成文本输出的大型多模态模型。
**1. 模型能力与评估**
* **多模态性：** GPT-4 能够处理图像和文本输入，并生成文本输出。
* **考试表现：** GPT-4 在各种专业和学术基准测试中表现出色，在模拟律师考试中，得分接近前 10% 的考生水平。
* **传统 NLP 基准测试：** GPT-4 在多个传统 NLP 基准测试中超越了之前的语言模型和最先进的系统。例如，在涵盖 57 个科目的 MMLU 基准测试中，GPT-4 不仅在英语方面表现出色，还在其他语言方面展现出强大的能力，在 26 种语言中有 24 种语言的表现超越了英语的 SOTA 模型。
* **代码生成：** GPT-4 在 HumanEval 数据集上的通过率，展示了它在生成 Python 函数方面的能力。
**2. 模型架构与训练**
* **基于 Transformer 的模型：** GPT-4 是一个基于 Transformer 的模型，它经过预训练，可以预测文档中的下一个token。
* **RLHF：** 通过后训练对齐过程，在事实性和符合预期行为的衡量标准上有所改进。
* **可预测的缩放：** 开发了基础设施和优化方法，以便在各种尺度上具有可预测的行为，从而可以根据训练规模较小的模型来预测 GPT-4 的性能。
**3. 模型局限性**
* **不可靠性：** GPT-4 仍然存在可靠性问题，例如“幻觉”事实和产生推理错误。
* **上下文窗口有限：** 存在有限的上下文窗口。
* **知识截止：** GPT-4 知识截止于 2021 年 9 月，不具备此后发生的事件知识。
**4. 安全性与缓解措施**
* **红队测试：** OpenAI 进行了广泛的红队测试，以了解 GPT-4 的风险。
* **内容分类器开发：** 不断开发和改进内容分类器，以识别和过滤有害内容。
* **RLHF：** 使用 RLHF（从人类反馈中进行强化学习）微调模型，以产生更好的符合用户意图的回复。
* **规则奖励模型（RBRMs）：** 使用基于规则的奖励模型 (RBRMs) 来引导模型产生合适的行为。
* **安全指标改进：** 在减少模型产生违禁内容、改善模型对敏感请求的响应方面有所改进。
**5. 风险与影响**
* **增强能力带来的新风险：** GPT-4 具有增强的能力，但也带来了新的风险。
* **潜在危害：** 可能会产生有害内容，例如有害建议、错误代码或不准确的信息。
* **社会影响：** GPT-4 的影响可能涉及对社会各方面的改变，需要考虑其长期影响。
**6. 未来工作与展望**
* **持续改进：** 致力于进一步了解和改进模型的安全性。
* **预测能力：** 计划完善预测未来能力的方法，并在大规模模型训练开始之前注册不同能力方面的性能预测。
* **开放性和透明度：** 致力于开放和透明，以促进对模型的研究和理解。
**7. 系统卡和文档：** 附有 GPT-4 的系统卡，提供了更全面的信息。
相关报告
-
1.08 MB 98页 2023年GPT-4技术报告（英）-OpenAI.pdf
-
81.58 MB 89页 麦肯锡2023年环境社会及治理ESG报告英文版89页.pdf
-
3.89 MB 46页 2024年十大新兴技术报告（英）-世界经济论坛-2024.6-46页.pdf
-
8.96 MB 21页 英敏特：2023年关于Z世代消费者的4个事实及其为品牌带来的机遇分析报告英文版-21页.pdf
-
20.25 MB 54页 甲子光年2023中国AIGC市场研究报告ChatGPT的技术演进变革风向与投资机会分析54页.pdf
-
2.08 MB 35页 IMF-亚太地区经济展望报告（英）-2023.5-35页.pdf
-
5.07 MB 126页 IMF-2023全球金融稳定报告（英）-2023.4.pdf
-
7.52 MB 235页 联合国-2023年技术与创新报告（英译中）.pdf
-
4.08 MB 24页 《2023年技术和创新报告》-22页.pdf
-
3.63 MB 151页 GPT-4技术报告（中文）.pdf
-
1004.43 KB 21页 宏观深度报告：优等生vs.差等生，放开下的全球消费复苏-20230104-东吴证券-21页.pdf
-
12.77 MB 407页 2025中国AIoT产业全景图谱报告-智次方研究院-406页.pdf
-
1.1 MB 16页 全球技术报告：能源行业洞察-15页.pdf
-
5.39 MB 98页 亚太区智算中心液冷应用现状与技术演进白皮书-中国电信&深知社-2024-98页.pdf
-
5.77 MB 128页 IMF-2024全球金融稳定报告（英）（2024年10月版）-2024.10-128页.pdf
-
5.76 MB 142页 联合国重磅报告《东南亚跨国有组织犯罪的欺诈报告》（英）-2024.10-142页.pdf