视觉中的生成物理人工智能：综述.pdf
这份文档是一篇关于视觉中物理感知生成式人工智能（AI）的调查研究，综述了将物理知识融入视觉生成模型的各种方法，并探讨了未来的研究方向。
**核心内容：**
* **研究背景：** 生成式AI在视觉领域取得了显著进展，但传统模型往往忽视了生成内容的物理合理性。为了在机器人、自动驾驶和科学模拟等需要遵守物理规律的应用中发挥作用，生成式AI需要具备对物理世界的理解，包括动力学、因果关系和材料特性。
* **定义：**
* **物理模拟 (PS)：** 使用物理模型将输入观察转化为输出观察的过程。
* **物理理解 (PU)：** 从观察中推断出潜在的物理模型或参数的过程。
* **生成 (G)：** 从输入条件创建新内容的过程。
* **物理感知生成 (PAG)：** 具有对现实世界物理现象的深刻理解的生成过程。
* **分类：** 物理感知生成被分为两类：
* **PAG-E (显式物理模拟)：** 生成模型显式地使用物理模拟模型来提高物理感知能力。
* **PAG-I (隐式物理模拟)：** 生成模型不显式使用物理模拟模型。
* **PAG-E 的常用范式：**
* **GtS (生成到模拟)：** 生成过程后，应用物理模拟。
* **SiG (模拟在生成中)：** 将模拟模型嵌入到生成模型中。
* **GnS (生成和模拟)：** 生成和模拟同时发生，如使用共享模型。
* **ScG (模拟约束生成)：** 模拟模型提供约束或知识给生成模型。
* **GcS (生成约束模拟)：** 生成模型提供约束或知识给模拟模型。
* **SeG (模拟评估生成)：** 使用物理模拟来评估生成模型或生成的模型用于模拟环境。
* **物理模拟的构成要素：**
* **物理材质：** 刚体、软体、牛顿流体、非牛顿流体、粘塑性材料、弹性体、颗粒介质等。
* **模拟方法：** 基于连续介质力学、物质点法 (MPM)、有限元法 (FEM)、基于位置的动力学 (PBD)、欧拉方法 (EM)、拉格朗日方法 (LM)、3D 弹簧-质量模型、牛顿动力学等。
* **物理引擎和平台：** Bullet Physics、Havok Physics、NVIDIA PhysX、Unity Physics、Unreal Engine Physics (Chaos Physics)、Open Dynamics Engine、Box2D、Mantaflow、Simulink/Matlab、Blender、Isaac Gym、Vortex Studio、PyBullet、Gazebo、Genesis、Taichi 等。
* **物理理解的方法：**
* **手动设置物理参数：** 由领域专家显式定义物理属性。
* **自动学习物理参数：** 从视觉观察中自动推断物理参数。
* **LLM 推理的物理参数：** 使用大型语言模型推理物理属性。
* **生成模型：** 涵盖了 GANs、DMs 和神经渲染方法（NeRF 和 GS 等）。
* **物理感知生成：**
* **方法综述：** 总结了各类范式中，使用不同生成模型（GANs、DMs、NeRFs、GS 等）实现物理感知的具体方法。
* **关键论文总结：** 针对不同范式下的具体实现方法，例如 GtS 中将模拟应用于 NeRF 或 GS 的工作， SiG 中将物理模拟模块嵌入 DM 中的工作，GnS 中同时进行生成和模拟的工作，以及 ScG 和 SeG 中利用物理约束和评估的方法等。
* **评估：** 介绍了专门用于评估物理感知能力的基准和指标。 包括 PhyBench, PhyGenBench 和 VideoPhy.
* **未来发展方向：**
* **改进物理感知能力的评估指标。**
* **利用大型语言模型提升物理感知能力。**
* **生成式模拟引擎。**
* **机器人技术和具身智能。**
* **在跨学科领域的应用。**
相关报告
-
15.75 MB 41页 2026工业AI智能体研究报告：打造工厂原生的AI智能体-甲子光年-202608.pdf
-
15.84 MB 154页 2026中国人工智能产业发展与商业应用白皮书-中欧国际工商学院-202607.pdf
-
4.68 MB 47页 智能体工具大全-清华x北航-202607.pdf
-
4.42 MB 58页 2026年中国工业具身智能行业发展研究报告-艾瑞咨询-202607.pdf
-
12.51 MB 140页 2026生成式人工智能与OpenClaw智能体实践报告.pdf
-
43.54 MB 64页 2026人工智能+场景化、图谱化智能制造发展蓝皮书-维科网-202607.pdf
-
2.43 MB 18页 2026年上半年中国人工智能投融资报告-IT桔子-202607.pdf
-
4.92 MB 54页 2026欧洲人工智能产业机遇研究报告：AI 创新新纪元驱动欧洲科技产业发展.pdf
-
4.56 MB 28页 2026年中国智能体工程化人才与组织发展报告-InfoQ-202606.pdf
-
15.31 MB 99页 2026年人力资本趋势研究：技术驱动 以人为本-人类如何增强在人工智能时代的成果260617.pdf
-
7.12 MB 58页 2026AI大压缩：智能经济时代的生产范式转移研究报告-香港大学人工智能-202606.pdf
-
9.74 MB 100页 中国人工智能系列白皮书-具身智能(2026).pdf
-
43.59 MB 86页 中国具身智能产业发展白皮书-太原理工大学-202604.pdf
-
7 MB 121页 第二届“兴智杯”全国人工智能创新应用大赛优秀成果汇编.pdf
-
2.83 MB 36页 AI领域趋势深度洞察报告——从蛮力到智能：2025年人工智能发展的三大核心趋势.pdf
-
28.38 MB 85页 A IAgent智能体技术发展报告-中国工业互联网研究院-202601.pdf
-
5.6 MB 80页 物流人工智能技术.pdf
-
6.49 MB 59页 2025智能教育发展报告-人工智能赋能教师发展(精华版).pdf
-
3.62 MB 77页 利用人工智能于社会保障：用例、治理和劳动力准备.pdf