项目背景
VisionX 的实习工作涉及视觉引导布料折叠,需要把多模态模型观测、策略动作输出与仿真环境连接起来。以下内容仅描述我在该流程中完成的工作。
项目目标
建立可运行、可检查的本地视觉到动作验证流程,并为后续折叠策略集成提供可复用的仿真组件。
我的贡献
- 在 Linux 本地部署 X-VLA,处理运行依赖、多模态观测、策略动作输出与集成约束。
- 实现客户端/服务端推理与运动轨迹可视化。
- 在官方示范数据上运行训练与评估,对比训练前后预测,检查感知到动作的链路。
- 调整公司仿真代码中的布料刚度与配置问题,封装并交接布料组件。
方法与过程
- 先回放数据集轨迹,再接入模型预测,以区分数据、动作映射、布料物理与仿真器问题。
- 使用 MuJoCo 轨迹可视化与 Isaac Sim 基础布料场景进行分阶段检查。
- 流程涉及跨本体 soft-prompt 适配;具体实现范围与实验配置待补充。
结果
- 完成本地推理、轨迹可视化与分阶段验证流程。
- 将可复用布料组件交接,供后续折叠策略集成使用。
简历未提供折叠成功率或真实机器人验证结果,因此此处仅展示流程与组件交付。