← 返回项目与实践

实习实践 · VisionX LLC

视觉引导布料折叠仿真

连接 X-VLA 推理与仿真环境,检查视觉观测到策略动作的集成流程。

2026.07 — 2026.08Vision-to-action validation

我的职责
本地部署、推理通信、轨迹可视化、分阶段验证与布料组件交接。

项目背景

VisionX 的实习工作涉及视觉引导布料折叠,需要把多模态模型观测、策略动作输出与仿真环境连接起来。以下内容仅描述我在该流程中完成的工作。

项目目标

建立可运行、可检查的本地视觉到动作验证流程,并为后续折叠策略集成提供可复用的仿真组件。

我的贡献

  • 在 Linux 本地部署 X-VLA,处理运行依赖、多模态观测、策略动作输出与集成约束。
  • 实现客户端/服务端推理与运动轨迹可视化。
  • 在官方示范数据上运行训练与评估,对比训练前后预测,检查感知到动作的链路。
  • 调整公司仿真代码中的布料刚度与配置问题,封装并交接布料组件。

方法与过程

  • 先回放数据集轨迹,再接入模型预测,以区分数据、动作映射、布料物理与仿真器问题。
  • 使用 MuJoCo 轨迹可视化与 Isaac Sim 基础布料场景进行分阶段检查。
  • 流程涉及跨本体 soft-prompt 适配;具体实现范围与实验配置待补充。

结果

  • 完成本地推理、轨迹可视化与分阶段验证流程。
  • 将可复用布料组件交接,供后续折叠策略集成使用。

简历未提供折叠成功率或真实机器人验证结果,因此此处仅展示流程与组件交付。