李飞飞团队机器人模拟训练场2.0版来了！这个拥有超过8000个互动场景的模拟环境iGibson再次进化！iGibson2.0进化后，核心就一句话：机器人不接球，做家务吧！比如模拟环境中温度、湿度、切片等物理状态的升高，急需所有机器人提供清洗、切割、烹饪一站式服务：而这才是真正会变色的烹饪外貌。做饭后，还可以擦拭桌面上的污渍，收拾桌面。将未使用的蔬菜放回冰箱并观察它们“冷冻”。人类也可以通过VR进入模拟环境，向机器人展示如何做标准家务：那么现在，我们就来看看本次版本更新的具体内容吧。添加了5种新的物理状态。现在我们的机器人播放器已经进入模拟环境，它会做一顿饭。而这道菜将使用iGibson2.0扩展的五个新的物理状态：湿度从洗碗开始。洗菜的水来自流体模拟系统。比如下面水槽上的水龙头：水龙头作为飞沫源产生飞沫，然后汇集到其他容器（盘子）或被可浸泡物体（毛巾）吸收。在iGibson2.0中，物体吸收的液滴量与物体的湿润程度相对应。切好洗净后，开始切菜。但这里有个问题：一般来说，仿真环境中的物体都被假设为具有固定节点和三角形面的三维结构，实现“切割”这个动作并不容易。而iGibson2.0是通过更新切片状态和保持对象实例的扩展状态来完成切割动作的。当握住切片工具并施加超过对象切片力阈值的力时，切片状态变为“真”。此时，模拟器会将一个物体替换为两个物体：“切割物体”的两半将继承整个对象的扩展物体状态（例如温度）。并且这种转换是不可逆的，对象在之后的模拟时间里会一直保持这种切片状态。温度现在，我们将使用这个微波炉来煎鱼：为了让温度自然变化，iGibson2.0将WordNet层次结构中的对象类别注释为热源。这是iGibson2.0中的一个新规定：每个模拟对象都应该是WordNet中已有对象类的一个实例。并且这种语义结构能够将特征与同一类别的所有实例相关联。好了，现在我们要利用这个热源来改变其他物体的温度。就像现实中的微波炉一样，被加热的物体用手转动后就会开始升温。具体温度会变化如下：△Δsim：模拟时间r：热源变化率并且，每个物体过去达到的最高温度的历史值也会被保留。例如，上图中的鱼在过去已经达到了烹饪或燃烧的温度。所以即使关火后，它也会呈现出煮过头或烧焦的样子。也就是说，如果在模拟环境中烧焦，那是真的烧焦了！也就是说，洁净程度就是灰尘和污渍的程度。在iGibson2.0中，对象可以用灰尘或污迹粒子进行初始化，并且可以采取行为来改变对象的清洁度。因此，做饭后，机器人可以选择用布擦拭灰尘颗粒：或使用湿工具（洗涤器）清洁去除污渍：状态切换iGibson2.0为某些物体提供了“开”和“关”两种状态在保持其内部状态和外观变化的同时切换功能。这种状态切换是通过触摸虚拟固定链接TogglingLink来完成的。例如，下面的烤箱在“打开”时会改变外观（右）。所以最终，机器人关闭了设备，顺利完成了任务。而如此稳定、真实、便捷的仿真环境，自然意味着机器人可以进行越来越复杂的任务训练。基于逻辑谓词的生成系统，加上这些新的物理状态，足以模拟室内环境中的一系列基本活动。但是，如果我们用日常生活中的自然语言来描述这些状态，emmm……就像重庆人的“微辣”和外国人一样，个人理解肯定存在语义差异。因此，iGibson2.0定义了一组基于通用自然语言的逻辑谓词（LogicalPredicates）：这组逻辑谓词将对象的扩展状态映射到对象的逻辑状态，并以符号的方式描述对象的状态。基于不同的逻辑谓词，我们对有效对象进行不同的采样。例如，对于基于对象扩展状态的谓词，如Frozen，则对满足谓词要求的扩展状态值进行采样。而如果是OnTopOf这样的运动学谓词，则需要结合光线投射等机制和分析方法来保证物体处于静态的物理状态：那么这时候，我们就得到了一个基于逻辑谓词的生成系统.在这个系统中，我们只需要指定一个逻辑谓词列表，就可以更加快捷方便地生成模拟场景。VR可以让机器人学习人类的行为现在，机器人训练场地已经搭好了。我们的最终目标是训练机器人执行越来越复杂的任务。那么也许机器人可以看到人类是如何做的并开发出新的解决方案？因此，iGibson2.0引入了VR，让人类进入机器人训练的场景：团队通过OpenVR兼容市面上主要的VR头戴设备，并额外增加了一个跟踪器来控制主体。借助iGibson的PBR渲染功能，系统可以每秒高达90帧的速度从化身头部的角度接收立体图像。并且通过人类在VR环境中完成任务的过程，研究人员可以更轻松地收集长期、复杂、双人手移动操作任务的演示数据。当然，不能忘记接球这个经典任务。为了提供更自然的抓取体验，团队实现了辅助抓取（AG）机制：当用户通过抓取阈值（50%驱动）后，只要物体在手指和手掌之间，物体就可以被抓住在手掌和目标物体之间。形成一个额外的约束。妈妈再也不用担心机器人接不到球了。最后，李飞飞团队还表示：iGibson是一个完全开源的大型场景交互任务仿真环境。我们希望iGibson2.0成为对社区有用的工具，减轻为不同任务创建模拟环境的负担，并促进开发用于具身AI（embodiedAI）研究的解决方案。下载地址：https://github.com/StanfordVL/iGibson论文地址：https://arxiv.org/abs/2108.03272官网：http://svl.stanford.edu/igibson/
