两个Bot自创新语言!Facebook机器人纽约自由行导航定位碾压人类
![]() |
【新智元导读】在FAIR和蒙特利尔大学合作的最新研究中,研究人员首次将实验中将感知、行动和使用自然语言交互达成目标这三个任务结合在一起:让两个Bot使用自然语言对话,让“导游bot”将“游客bot”带到指定地点,而且导航成功率超越了人类。
Facebook让两个Bot自己游纽约,“导游Bot”在模拟的纽约市中导航定位,使用自然语言跟“游客Bot”交流,成功率超过了88%!
这已经显著超越某些“路痴”人类,而且,两个Bot还是使用自然语言在交流。
两个Bot使用自然语言交流导航定位
在今天最新上传到arxiv的一篇研究论文中,Facebook人工智能实验室(FAIR)与蒙特利尔大学合作,研究人工智能系统如何定位,并比人类更好地传达观测数据。
研究人员把他们的实验成为“Talk the Walk”。在实验中,他们将游客Bot随机放到纽约市的一个街角,再让一个导游Bot将前者引导到2D地图上的某个位置。导游Bot知道地图,也知道目标地点,但是不知道游客Bot在哪里;游客Bot拥有360°视角,但不知道地图,也不清楚目标地点。
游客和导游必须相互沟通,交流彼此所知道的信息,才能实现目标。
想象一下两个Bot的对话:
导游:你好,你在附近吗?
游客:你好,在我面前是“布鲁克斯兄弟”。
导游:这是家商店还是餐馆?
游客:这是一家服装店。
导游:你往地图西北角的十字路口走。
游客:我身后似乎有一家银行。
导游:好的,左转然后沿着那条路直行。
...
研究人员表示,Talk the Walk是首个将所有三个要素结合在一起的任务:感知(游客Bot观察世)、行为(游客Bot在环境中导航),以及语言交互达成目标(导游Bot为游客Bot提供引导帮助其实现目标)。
![]() |
实验中使用的街景地图数据,是MTurk众包手动收集的几个纽约市街区的360°视图。这些街景环境被整合到ParlAI中,这是Facebook的一个用于训练AI的框架,支持很多任务,包含的数据集包括SQuAD, bAbI tasks, MS MARCO, MCTest, WikiQA, WebQuestions等等。
实验中使用的自然语言数据,也是MTurk的真人对话,用几周时间收集,包含10k成功的导航对话。平均来说,人类需要超过62次行动(对话和走路)才能顺利到达目标地点。大部分行动发生在游客这边,平均每次对话44次行动。人类导游大约说了9次话(稍微比游客的8次话多一点点)。
虽然研究人员的目标是让Bot通过自然语言来处理收集到的信息,但他们发现,当Bot使用“合成语言”时,完成任务的效果更好,因为后者更依赖于使用更简单的符号来传达信息和位置。这种不那么自然的数据通信方式不仅优于人类的聊天,还能让Bot比人在自然语言聊天中更简单快读地找到自己的道路。
![]() |
Talk The Walk的实验环境设置全部来自现实世界,因此尤其困难。让两个人用文字描述自己周围的不熟悉环境已经不容易,何况两个Bot?
为了解决这个问题,研究人员提出了一个名为MASC(Masked Attention for Spatial Convolution)的机制,让Bot能快速从语言模型中解析对方回应的关键字的内容。Facebook表示,利用该流程可以使正在测试的结果的准确性翻倍。
![]() |
不仅如此,他们最好的定位模型(continuous communication, with MASC, and T = 3)在整个导航任务测试中达到了88.33%的准确率,超过了人类76.74%的表现。
激动人心的新研究方向:用自然语言对话解决现实世界问题
研究人员表示,这是一项基础性研究,这次实验只是初步结果,还提出了更多的问题等待解决。
“如果你真的想要解决所有人工智能问题,那么你可能要有解决不同子问题的不同模块或组件,”Facebook AI研究科学家Douwe Kiela在接受TechCrunch记者采访时表示:“从这个意义上说,这个问题是一个真正的挑战。”
他希望有更多的人参与进来与他们共同在这个激动人心的新研究方向上与他们合作。
![]() |
![]() |
本文首发于微信公众号:新智元。文章内容属作者个人观点,不代表和讯网立场。投资者据此操作,风险请自担。

- AMD助力微软Windows 11 为用户带来强大、可靠的计算能力2021-10-09 16:20
- 游戏玩家为之疯狂!Chinajoy2021 AMD展台那些火爆的瞬间2021-08-02 15:39
- 全场最佳 AMD Chinajoy2021展台圆满收官2021-08-02 15:38
- AMD 锐龙5000G系列处理器正式亮相Chinajoy20212021-08-02 11:50
- 极速制胜 制霸游戏 AMD携多款游戏神器扬威Chinajoy2021-08-02 11:44
- 央视《新闻联播》头条聚焦铁建重工,聚力攻克“卡脖子”技术难题2021-03-22 11:08
- 刚刚!我又上央视新闻联播头条了!2021-03-22 11:04
- 中国电科(3月1日-3月7日)要闻回顾 | 资讯轻阅读2021-03-22 10:47
- 我国将建第一个国家公园:为何是三江源2021-03-22 10:43
- 美国硅谷上演“大逃亡”:郊区成科技精英避难所2021-03-22 10:41

- 14:26入选上海智库报告文库,第一财经研究院“小巨人”调研专著出版
- 21:03京东科技赋能中原企业,80家企业已成功入驻产业园
- 18:36首次上榜《财富》中国500强,盈峰集团的产业赋能牛在哪?
- 10:08孙宇晨的而立之年:争议未远,传奇已立
- 15:27北京金海汇成投资有限公司谈资产配置
- 12:17寻找自然受益型经济10万亿美元的商机 ——第一财经第十四度携手达沃斯举办
- 12:43燃情“苏超”!苏州队VS扬州队精彩上演!雪中飞助力苏州队3:0夺得首胜!
- 17:23卷不赢的618,中国商家在东南亚集体“回血”
- 13:57“基于北斗与遥感的数字应用产业互联关键技术及应用”科技成果评价会在京成功
- 13:39三贯穿定基调,五纵横拓图,六点连线筑生态——燕京510以全域营销战略登顶
- 10:05由新者胜 至行者达 第三届中国企业碳中和表现榜正式发布
- 09:53相关专家领导赴四川嘉好变频供水设备科技有限公司考察调研
- 21:20甘露特钠胶囊多地断供?谁来续上患者的记忆
- 08:59站酷×北京邮政×微博强强联手!“玩具杂货铺”玩转儿童节艺术营销
- 14:13再破圈!央视端午晚会新松大负载机器人“执手”专业舞者柔美共舞,人机“无间
- 12:30盼星星,盼月亮,就盼九期一
- 09:26双线狂欢引爆510盛夏:狮王“世界风味”VS燕京9號“社区烟火”
- 14:35如何借力抖音7亿日活?京东(郑州)基地手把手教电商企业数字化转型
- 16:35150+项专利死磕滤芯,云米引领家庭饮水进入矿泉时代
- 10:35必有人,重写爱与浪漫 宝珀Ladybird贝蒂女士系列
- 10:34宝珀Ladybird贝蒂女士系列钻石舞会炫彩腕表 焕新演绎尊贵皇家紫色
- 10:36HTX携手HTX DAO共庆BTC披萨节,开启Web3全球化共识新篇章
- 10:08化学工业出版社一行到访外研在线 调研出版数字化转型路径
- 21:31BTC披萨节遇上TRUMP晚宴,HTX送出百万USDT狂欢福利
- 16:09HTX“火星计划特别版”新晋候选人出炉,用户太空之旅进入冲刺阶段
- 13:502025第四届石油石化装备产业科技大会暨科技创新成果展览会成功召开
- 19:352025第四届石油石化装备产业科技大会暨科技创新成果展览会成功召开
- 13:49恩捷李晓明:加速领跑全球锂电隔膜赛道
- 15:17HTX披萨狂欢节用户红包活动开启:联动七大加密项目限时送200,000
- 09:352025燕京啤酒510 BigDay启幕,解码全域营销新范式


