这里是说UMI的外部显示出来的接口的策略。

这里说的是UMI模型策略接口的设计

Fast UMI

P1

• 基于远程操作的技术：费力、昂贵，并且受到非直观和特定于任务的人到机器人映射挑战的限制（遥操作）

• 视觉驱动的演示：缺乏对政策学习至关重要的丰富、细粒度的交互动态（直接用视频？）

• 传感器增强界面：直接捕获与机器人的机载传感模式紧密一致的各种多模态信号（RGB、IMU等等），保持保真度和精度，同时使人类演示数据能够无缝传输到机器人框架中。此外，这些接口可以以较低的成本制造和部署，从而有助于在实际条件下更快、更高质量地收集数据（UMI夹爪）。在此过程中，他们缩小了人类演示和自主机器人执行之间的差距（无法区分主体是人还是机器人），从而实现了快速和高质量的数据收集。

• 它与特定机器人组件（例如 Weiss WSG-50 夹持器）的紧密耦合限制了适应性，并增加了经济和物流负担。将 UMI 集成到不同的机器人平台中，不仅需要特定的夹具和相关硬件，还需要大量的工作，包括机械重新设计、传感器重新校准和代码参数修改。这些调整会带来大量的人力开销，并且缺乏通用性，最终阻碍了在不同部署环境和应用程序上下文中的广泛采用——硬件耦合，需要特定的硬件，还需要校准

• 第二个限制来自软件框架，特别是对基于 GoPro 的 VIO（视觉惯性里程计）管道与开源 SLAM 算法的依赖 [7]。通过实验评估，我们观察到 UMI 系统在涉及长时间闭塞的任务中遇到困难，例如长时间、前后动作依赖的作业。因此，当视觉信号间歇性丢失时，UMI 软件配置难以保持稳健运行，从而降低数据质量并降低其对后续学习任务的效用。此外，VIO 过程对参数化很敏感，需要复杂的校准程序和多个坐标转换。这些因素共同增加了运营复杂性，阻碍了可重现性，并破坏整个框架的用户友好性——软件耦合，原来的UMI软件架构性能不高，而且处理过程比较复杂，，没办法重现

• 硬件解耦

• 通过软件驱动的即插即用功能提高效率。我们的软件堆栈强调即时可用性，需要最少的配置和用户培训。这种设计选择有助于快速收集数据，并显著降低操作复杂性。此外，它会自动适应不断发展的硬件配置，确保当前和未来机器人平台的长期兼容性和可靠性。

• 建立强大的生态系统以确保数据质量和算法兼容性。我们的生态系统旨在通过提供基本数据类型，如末端执行器轨迹和联合轨迹，来支持各种模仿学习算法（例如，Action Chunking with Transformers （ACT） [49] 和扩散策略 （DP） [9]）。此外，我们还提供用于快速数据验证的工具，以确保收集的数据集始终满足提高作能力所需的质量标准。

P2

• 物理解耦：标准化接口和模块化组件支持跨一系列机器人平台无缝集成，无需进行大量特定于硬件的修改。

• 视觉一致性：手持式和机器人安装配置之间的相机视角一致，确保在一种设置中采集的数据可以轻松传输到另一种设置，而无需进行大量重新校准。这种一致性使人工演示的数据可以直接应用于机器人执行。

• 操作独立性：该系统包含独立的跟踪和传感模块，减少了对外部计算框架的依赖，并确保了在各种部署场景中的稳健性能。

• 鱼眼摄像头模块（2）：捕获广角图像，可以有效地捕捉更多的环境背景并增强视觉特征提取，从而提高策略学习结果。

• 姿态跟踪模块（1）：消除了原版UMI复杂的校准步骤并增强了可用性。另外这个还是可以替换的，也就是文章中说的

Moreover,our system is robust to different camera models, allowing smooth integration of alternative sensors without major modifications to the existing pipeline

文章中举的例子是可以 RoboBaton MINI 替换 T265

• 顶盖、指尖和标记 （3）（4）（5）：在原始 UMI 设计中，顶盖经常出现在 GoPro 的视野中，从而防止硬件完全解耦。为了解决这一限制，我们将 GoPro 重新定位到更靠近指尖的位置，并确保顶盖保持在鱼眼镜头范围之外。虽然将相机移近指尖自然会带来更大的图像失真，但我们通过优化标记的大小和位置来应对这一挑战。这些改进最大限度地减少了镜头失真效应，提高了标记检测的准确性，并增强了耐用性和易于安装。这种重新设计提高了系统的灵活性和可靠性。

• 法兰盘：为了减少安装时间

• 插入式的指尖：可以适应不同的夹持器形状，提升了手持式夹爪和不同机器人之间的兼容性

• 可调节摄像机安装结构（6）（7）（8）：模块化延伸臂有助于将 GoPro 与夹持器的指尖精确对齐，确保不同机器人设置的视点一致。即使夹持器的大小或形状差异很大。可插入的指尖扩展进一步确保在异构硬件配置之间保持一致的视点。
💡
这里有一个视觉对齐原则：为了确保手持设备和机器人安装设备之间的视觉一致性，我们采用了一个简单的规则：“GoPro 的鱼眼镜头图像的底部与夹持器指尖的底部对齐”，如图 3 所示。此标准视点可确保所有用户捕获几乎相同的观测结果，从而增强不同部署之间的互作性。尽管可以定义替代标准，但偏离这种一致性会降低共享数据集对更广泛应用的效用。如果夹持器尺寸不同，我们的可调节机械设计可适应精细的机械臂调整，以保持视觉对齐。在实践中，手持设备采用固定的摄像头配置，而由于手臂几何形状和末端执行器设计的变化，安装在机器人上的设备需要可调节的设置。
所以后面如果需要使用Fast UMI开源的数据的话，需要将GoPro摄像头调整到这个位置

• 加固的关键安装结构： 提高结构完整性以减少振动。

• 碳纤维组件： 加强材料特性，同时减轻重量。

• 标准化的公母接口设计：允许延长臂的顺序连接以调整长度，而不会产生明显的振动。

P3

• 首先，摄像机节点从 GoPro 摄像机连续流式传输广角图像（例如，1920×1080，帧率为 60 fps）。

• 其次，跟踪节点以更高的速率（例如 200 Hz）提供来自 T265 传感器的姿态估计。每个姿势都表示为 （x， y， z， q， q， q， q），其中 （x， y， z） 表示平移向量（也就是平动），（q， q， q， q） 表示四元数形式的方向（也就是转动）。

• 最后，存储节点将这些流聚合并同步到分层数据格式版本 5 （HDF5） 文件中，以供后续处理。

• 优点：提高了部分遮挡下的可靠性，而且无需进行大量校准和 VIO 参数调整，从而显著加快了部署速度。

• 缺点：
• 数据子采样和同步：在多传感器数据融合中，不同的采样率和数据模式通常会阻碍精确对准。这里同步时钟采用统一的ROS时钟，而数据的子采样就选择以 20 Hz（确定为 200 Hz 和 60 Hz 之间的最大常见频率，200、60分别为T265和GoPro的采样频率）对两个流进行子采样。具体方法是在每三个GoPro帧中保留一个，并将每个保留的帧与时间上最接近的 T265 姿势配对。这种方法实现了亚毫秒级偏移量，减少了插值误差，并确保下游学习任务的数据始终同步。
💡
那这么看的话，之前四轴应该也是有问题的？加速度计和陀螺仪之间可能需要同步。但是感觉因为那个时候传感器延时比较小，所以不考虑对性能也没有太大的影响
• T265 的累积漂移校正：尽管 T265 提供了稳健的姿态估计，但它会在剧烈运动（例如，突然加速）期间累积漂移。为了解决这个问题，我们采用两种主要策略：
💡
类似陀螺仪的积累误差，应该也是因为类似陀螺仪之类的传感器，在进行当前姿态估计的时候是在上一个姿态上的叠加。
• 重新初始化。最简单的补救措施是以固定的预定义参考姿势重新启动 T265。此作将重置设备的内部状态并恢复准确的姿势跟踪。
• 闭环。另一种策略利用视觉上不同的参考区域——桌子上的蓝色 3D 打印凹槽（图 5 左）——来促进环闭合。当 T265 重新访问该区域时，它会重新遇到先前映射的视觉特征（也就是蓝色凹槽），通常在轻微漂移下将估计的轨迹与 RVIZ 中的初始参考（在图 5 右中以绿色虚线框突出显示）重新对齐。但是，如果在返回标记区域后仍然存在明显的错位，则认为闭环关闭无效，必须重新初始化 T265 以恢复准确的姿势跟踪。
💡
大概意思就是使用一个明显的标记点，当机器人返回这个标记点的时候，将根据RVIZ中的初始位置进行重新对齐。

• 绝对 TCP 轨迹：
💡
绝对TCP轨迹应该是指夹爪中心的运动轨迹
首先需要将T265与机器人基坐标对齐，然后在 i 时刻由T265提供相机相对于T265初始位置的姿态信息，那么就可以得到相机在机器人基坐标系中的姿态信息（也就是绝对坐标）；然后再根据相机的绝对姿态和相机和夹爪中心的位置关系，得到夹爪中心的绝对姿态

• 相对 TCP 轨迹：
此轨迹由连续的绝对 TCP 帧形成。对于相邻帧 i 和 i + 1，具有相对TCP轨迹就是后者的绝对TCP轨迹减去前者的绝对TCP轨迹。使用相对TCP轨迹可以消除对全局参考系的依赖，进而有利于泛化。
💡
在UMI的论文中也有提到，使用相对轨迹可以无视机器人基坐标的位置，只要任务能在机械臂的活动范围内完成，机械臂就能完成任务

• 绝对关节轨迹
为了得到绝对关节轨迹需要借助URDF通过对绝对TCP轨迹进行逆运动学求解

P4

• 特写第一人称视角：位于末端执行器附近的摄像机可以捕捉到详细的作线索，但对整个机械臂的可见性有限，从而增加了对先验的依赖，以保持运动学的可行性——通过第一人称视角增强的ACT解决
💡
这个问题在原始UMI上应该也有，同样的，我们可以自己外置一个静态的摄像头

• 可变几何图形和场景布局：FastUMI 的硬件无关设计可在不同的臂配置、基框架和环境之间生成异构数据（就是指一个数据集中有很多种结构的数据，看了文章下面的部分之后，我觉得这里的异构可能是，在一次收集的数据集中，数据对应的夹爪的状态是不一样的，比如TCP是否恒定等等），使实现一致的策略学习工作复杂化——通过动态误差补偿算法解决
💡
意思应该是解耦之后环境变得很多样，而在这些环境下也都能进行数据采集，就导致这些数据是异构的，很难得出一个统一的策略

• 有限的深度信息：单视图鱼眼图像缺乏明确的三维空间线索，因此难以进行精确的深度估计。当没有深度信号时，需要精确定位的任务，包括物体对齐和夹具闭合，特别容易出错————通过深度增强DP解决
💡
这个问题在UMI上是通过侧边镜解决的

• 第一人称视角的增强 ACT
标准 ACT 可预测机械臂的绝对关节轨迹，在第三人称或固定摄像机场景中有效执行。
• Smooth-ACT：在 Transformer 解码器之上加入门控循环单元 （GRU） 层来增强动作连续性
💡
这是因为当原生的ACT出现了非法的配置的时候，通常是比较极端的情况，这些情况表现在机器人上应该就是动作变化幅度的问题？
Transformer 捕获全局时空模式，而 GRU 则优化局部连续性，平滑连续帧之间的突然偏差



最后一项是模型的正则项
• PoseACT：末端执行器姿势预测。PoseACT 是一种用末端执行器 （TCP） 表示姿态代替绝对关节轨迹预测的变体
💡
这个就感觉和上面的绝对关节轨迹没啥区别，也是说的是用末端执行器姿态来反解出关节姿态。
PoseACT在推理过程中，策略会输出相对姿势，然后通过机器人的运动学模型将其映射回绝对关节角度（应该就是反解的意思）。
该公式结合了绝对运动轨迹和相对运动轨迹
• 平台独立性：根据局部末端执行器运动来表示操作会降低对基坐标和机械臂几何形态的依赖
• 数值稳定性：相对轨迹通常表现出较小的可变性，减轻了异常值效应并提高了对新构型的泛化。
💡
有点不太明白为什么是较小的可变性？相对轨迹中的相邻姿态不是也可能会突变，然后导致机器人表现出来异常状态？

• 深度增强DP
Fast UMI当前的硬件设计没办法很好地获取深度信息。Fast UMI团队不希望像UMI那样增加硬件复杂度，而是选择在软件层面上解决这个问题。我们采用后处理策略来生成深度图。使用开源深度估计工具 Depth Anything V2 [43]，我们用相应的深度图补充数据集中的每个帧。
💡
这里在获取了原始数据之后，在补充上深度信息，所以说是后处理。流程应该是获取的原始数据需要喂给Depth Anything，然后DA返回出深度图，最终重新补偿到（文章中说的是嵌入到）数据集的每个帧中。
但是，我们的图像（包含明显的黑色边距）会对 Depth Anything V2 的性能产生负面影响。为了克服这一挑战，我们对图像进行了预处理，裁剪图像以仅保留圆圈内嵌的矩形区域。这确保了高质量的深度图，并专注于与夹持器相关的作区域。

• 动态误差补偿算法（这部分都要换到基坐标系中理解）
非平行夹爪（就是张开和闭合的时候钳口不是平行运动）在钳口向内移动的时候，可能会导致TCP向靠近机器人的一侧移动
• 阶段 1：补偿距离。可以理解为根据夹爪钳口的张开程度来计算应该补偿的距离是多少
• 阶段2：姿势校正。



这个应该是在计算TCP系中的Z轴在基坐标中的表示

P5

P6

• 数据质量：评估 T265 和 MINI 模块在位姿跟踪中的可靠性（就是在二者的误差），以确保收集的数据满足下游应用的先决条件。
T265 在近距离特别容易受到严重视觉阻塞的影响。相比之下，MINI 表现出相对稳定的跨任务性能，尽管准确性略有降低。在低遮挡场景中。当视觉输入基本不受阻碍时，T265 可提供卓越的定位，而 MINI 在不同程度的遮挡下表现出更一致的性能。

• 基线性能：通过包含各种作任务的广泛实验证明了该系统的有效性，从而使用基线 ACT 和 DP 方法突出了其稳健性。
💡
或者说这里是在验证基线策略的可靠性

• 算法增强：量化了由于算法改进而带来的任务成功率的改进（这也应该在复现阶段考虑）。
这里主要集中于使用增强第一人称ACT和深度增强DP的效果

• 其他因素：最后，我们研究了其他变量，例如鱼眼相机的利用率和训练数据集的大小，以评估它们对策略效果的影响。

p7

• 有限的传感模式。FastUMI 目前依赖于视觉数据，这对于需要精确力或触觉反馈的任务（例如处理易碎物体）可能不足
💡
这个不能用UMI中说的夹爪的柔韧性啥的来处理吗
集成触觉或力传感器可以实现更丰富的环境表示和更强大的政策学习（提供了更多的信息，可以让策略考虑到物体的特性）。特别是对于需要精细或高精度交互的任务。

• 限制机器人兼容性。尽管 FastUMI 适用于单臂或双臂平台，但它尚未适应更复杂的形态，包括需要全身控制才能进行的移动机械手操作。未来的努力可以侧重于扩展硬件和软件生态系统，以支持具有更大工作空间和非静态基础的高级平台。

• 有线数据传输。对有线连接的依赖限制了便携性，并限制了移动性或独立作至关重要的现场应用。具有板载处理或无缝网络连接的无线解决方案将大大扩展 FastUMI 的适用性并促进更广泛的部署。

p8

• 不太明白的是，在Fast UMI中GoPro还有什么用？感觉只是把视觉惯性传感器换成更高级的RealScene T265了

但它不再被用作主要的视觉跟踪传感器

说明此时GoPro作为辅助的视觉传感器了。而RealScene T265应该使用的不是VIO管道了

每个模块都有不同的功能：T265 即使在部分遮挡下也能提供准确的姿势跟踪，而 GoPro 则提供对环境上下文捕捉、演示验证和学习算法支持至关重要的广阔视图。由于 GoPro 不负责姿势跟踪，因此可以更灵活地安装，以便在手持和机器人安装设备上保持一致的视点，而 T265 则放置在更安全的位置，以确保稳定的姿势跟踪性能。

• 机器人安装设备上为什么没有T265？这样能确定深度信息吗？没有使用镜子是因为在原始UMI的实验中，侧边镜对精确度的提升好像并不高。没有T265应该是因为SLAM实际上应该只在获取数据集的时候有用，在机器人上只需要知道夹爪和物体的相对位置应该就行了，而不需要对场景重新建模。在收集数据的时候需要建模是因为这个时候只能根据建图来得到需要的坐标信息

ACT算法将模仿学习应用于从机械臂收集的绝对关节姿态数据，并在固定长度的动作序列上利用时间集成技术来实现平滑和自主的双臂控制[49]。这项工作 [35] 将语言模态集成到 ACT 算法中，微调视觉-语言模型以促进与双臂机器人的基于语言的交互。DP 通过条件去噪过程在机器人动作空间中生成动作，具有表达多模态动作分布、处理高维输出空间和提供稳定训练等优势[9]。UMI 表明，UMIlike 数据可以有效地用于训练扩散策略，并产生有希望的结果 [10]。在我们的工作中，我们使用通过 ACT [49] 和 DP [9] 收集的数据来验证系统的性能。 我们进一步分析了 Fast-UMI 收集的数据的特征，并评估了其对这些算法的影响。基于此分析，我们实施了一系列优化和调整，提高了这些算法在应用于 Fast-UMI 数据时的性能。

此外，我们探索了相对 TCP 以减少对绝对坐标的依赖，旨在更稳健地捕捉轨迹的形状和动力学。如表所示，此增强功能在具有扩展或重复轨迹的任务（例如，“Sweep Trash”）上表现良好。但是，对于需要精确高度估计的任务（例如“Pick Bear”），删除绝对姿势信息会降低垂直定位精度，从而强调相对坐标表示和绝对坐标表示之间的权衡。