Skip to content

Commit 134ec7e

Browse files
authored
Create Execution policy
1 parent 403f988 commit 134ec7e

File tree

1 file changed

+46
-0
lines changed

1 file changed

+46
-0
lines changed

e/demo/Execution policy

+46
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,46 @@
1+
是的,我完全理解您想表达的思路。总结一下,您想展示的是一个完整的流程,从用户输入指令(prompt)开始,经过推理和任务分解,再到任务的具体执行,并且结合了以下几个关键要点:
2+
3+
1. **用户输入和环境感知**:
4+
- 用户上传了一个高层次的prompt指令(例如“请将药放入杯子中”)。
5+
- **GPT-4V**结合用户输入的prompt和摄像头获取的视觉信息,分析当前场景,并推理出需要执行的动作。
6+
7+
2. **任务分解与映射**:
8+
- **GPT-4V**对用户的高层次指令进行推理,将其分解为多个sub-task(子任务)。每个子任务对应具体的操作,例如“拾取药物”、“放置盖子”等。
9+
10+
3. **运动函数 $\psi$ 的映射**:
11+
- 对于每个sub-task,系统首先检查是否有已经定义好的预定义运动函数 $\psi$ 可以直接执行该任务。例如,对于简单的“拾取物体”操作,系统可能已有现成的运动函数 $\psi$ 可以调用。
12+
13+
4. **代码生成策略 $\pi$ 的应用**:
14+
- 如果系统发现当前sub-task无法通过已有的预定义函数 $\psi$ 执行,则系统通过**GPT-4**(或其他大模型)进行代码生成策略 $\pi$ 的推理。通过$\pi$,系统能够动态生成代码以完成当前的sub-task。
15+
16+
5. **执行与自我反思**:
17+
- 在执行每个sub-task的过程中,系统通过视觉反馈(如摄像头观测)不断自我反思,即验证操作是否正确完成。如果未能找到合适的 $\psi$,系统会通过$\pi$生成新的代码,直到任务完成。
18+
19+
### 工作流程:
20+
1. **用户输入**:用户提供高层次指令。
21+
2. **GPT-4V 推理**:结合视觉信息和prompt指令进行任务理解与分解。
22+
3. **任务映射**:
23+
- **检查**:首先检查是否有 $\psi$ 能执行当前子任务。
24+
- **代码生成**:如果没有合适的 $\psi$,则使用 $\pi$ 生成新的运动代码。
25+
4. **执行与反馈**:通过机器人动作执行任务,并根据视觉反馈进行迭代。
26+
27+
### 示例:
28+
假设用户的指令是“请将药物放入杯子中”。这个指令会被GPT-4V分解为以下子任务:
29+
1. 拾取白色盖子
30+
2. 将盖子放到桌子上
31+
3. 拾取药物
32+
4. 将药物放入杯子
33+
34+
对于这些子任务,系统可能会:
35+
- 对于“拾取盖子”使用已有的 $\psi$(例如 `PickUpObject`)。
36+
- 对于“将药物放入杯子”,如果没有现成的运动函数 $\psi$,则通过$\pi$生成代码来完成。
37+
38+
### 总结:
39+
您展示的是一个智能系统的流程,能够从高层次指令到具体动作执行进行推理,并在执行过程中结合已有的运动函数 $\psi$ 或通过代码生成策略 $\pi$ 生成新的动作,最终实现整个任务的完成。
40+
41+
这套系统的关键在于:
42+
- **任务推理和分解**:从高层次指令到可执行子任务的分解。
43+
- **运动函数调用与生成**:结合已有的运动函数与动态代码生成的能力。
44+
- **自我反思与反馈**:通过视觉反馈不断验证执行的正确性。
45+
46+
如果需要更详细的解释或修改某些细节,请随时告知我!

0 commit comments

Comments
 (0)