简智机器人开源600小时全身操作数据集

图片来源： 简智机器人

此次开源的数据集覆盖16976个场景和1281种不同的人类技能。在精度方面，模型预测与真值的逐帧对比显示，该数据集上半身平均关节位置误差约2厘米，下半身约3.5厘米，全身平均误差约3厘米。面对弯腰、快速移动、长程运动及部分遮挡等复杂真实动作，数据能够重建连续且稳定的全身运动轨迹，保留真实交互过程中的运动信息。

在技术方案上，简智机器人采用第一视角的Ego视觉方案进行数据采集，使数据获取更容易融入自然发生的任务。依托自研的数据基础模型（DFM），原始的第一视角人类行为被高效转化为结构化的全身数据。该数据集实现了多模态统一对齐，全身动作、双手操作、物体交互、接触状态、视觉信息及任务语义等多种训练信号共享统一的时空坐标系，能够直接投入机器人策略训练与实验验证。

全身操作数据不仅需要提供手部操作信号，还需记录身体姿态调整、移动与双手协同的连续过程，并关联人与环境的交互状态。传统的动捕采集方案依赖专用设备和场地布设，部署成本较高且难以走出受控空间，导致高质量全身操作数据的规模化供给面临瓶颈。简智机器人通过轻量化设备深入真实场景，试图以可控成本实现高质量数据的持续采集与规模化生产。

简智机器人表示，600小时的开源共享是探索可规模化全身数据生产路径的起点。未来，该公司将持续扩展真实场景与技能覆盖，推动全身移动操作数据的规模化生产，为具身基础模型训练及人类动作向机器人技能的迁移提供更多支持。