当前位置: 首页 > 科技观察

用NLP感知世界Facebook开源机器人开发平台

时间:2023-03-18 02:02:17 科技观察

近日,Facebook宣布开源Droidlet机器人开发平台,其特点是能够利用自然语言处理(NLP)和计算机视觉(CV)技术进行感知他们周围的世界。据了解,Facebook声称该平台可以简化机器学习算法在机器人项目中的集成,促进快速软件原型制作。虽然目前的机器人可以通过编程来执行特定的应用程序,例如跳舞,但它们缺乏处理更深层次信息的能力。尽管如此,Droidlet并不是针对所有问题的通用解决方案,而是一种测试不同NLP和CV处理模型的方法。该平台允许开发人员构建可以在现实世界或模拟环境(例如《我的世界》和Facebook的Habitat)中执行相关任务的系统。开发人员可以根据需要更换组件,以支持不同机器人上的同一系统。此外,Droidlet平台还为开发者提供了一个仪表板,用于添加调试和可视化小部件及相关工具,以及用于纠错和注释的界面。据悉,除了针对机器人设置微调的视觉模型测试环境外,Droidlet还附带了一个用于将机器学习模型连接到机器人的包装器。Facebook指出,这些模块中的每一个都可以进一步分解为可训练或启发式组件,相关模块和仪表板支持在Droidlet之外的生态系统中使用。