下载APP

一个科研项目正在收集直播间观众的声音来训练AI

跳跳
文化 2020-08-07
文化 > 一个科研项目正在收集直播间观众的声音来训练AI

废声再利用。

现代科学研究越来越需要普通人的参与了。

从最基本的志愿者,到提供闲置算力的分布式运算项目,现在,连普通人在家宅着玩游戏发出的声音,也被科研人员当做研究资源了。

美国卡内基梅隆大学正在收集人们日常生活中家里会出现的声音数据,以此创建一个开源数据库,目的是训练基于家庭场景的人工智能,比如智能家居的AI或者在家开视频会议的降噪算法。

而收集这些声音数据的方法,是在直播平台上直播玩游戏。

研究人员开发了一款名叫《Rolling Rhapsody》的游戏,这个游戏的玩法很像是之前在日本很火的《不要停!八分音符酱♪》,玩家不能用键盘或手柄操作,而是要对着麦克风发出声音,用声音的大小高低来控制游戏中角色的移动。

在《不要停!八分音符酱♪》中,玩家发出的声音越大,音符酱跳得越高 在《不要停!八分音符酱♪》中,玩家发出的声音越大,音符酱跳得越高

就像大多数科研用游戏一样,《Rolling Rhapsody》的玩法也不复杂。玩家需要控制一个圆嘟嘟的仓鼠在地图中滚来滚去,把散落在地下的各种小动物粘到自己身上。玩家可以控制方向,但推动这个仓鼠球的力量则来源于外部输入的声音。

和八分音符不同,《Rolling Rhapsody》不是直接从玩家的麦克风那里收集声音,而是利用专门开发的配套手机APP收集观众们在家里的声音,进行操作。

游戏配套的手机APP 游戏配套的手机APP

具体来说,直播者在Twitch上直播这款游戏时,直播平台会提示观众下载APP,然后根据直播者所需的声音种类将任务下发到APP中,比如“录5段椅子挪动的声音”或者“录1分钟你看直播时的声音”。

观众打开APP在家里录制对应的声音,上传到服务器,游戏中的仓鼠球就会根据所有上传的声音总量开始滚动。在直播过程中,还会随机放出用户录制的声音来炒热气氛。

科研团队博文中放出的运作示意图 科研团队博文中放出的运作示意图

据开发团队说,一个普通人在10分钟内就可以录下500种微波声音。如果科研人员专门去做,成本问题倒还在其次,最大的麻烦是不够真实,没法还原正常人真正在家庭生活会发出的自然声音。

这种涉及参与者个人隐私的项目,保密性当然非常重要。开发团队承诺所有声音都不会带有个人信息,而且所有参与者在签完知情同意协议后,还是可以随时撤销许可。APP本身也提供了声音剪辑功能,允许参与者删除他们不想上传的声音片段。

《Rolling Rhapsody》已经在Twitch上进行了五次测试性质的直播,反响不错。这可能是因为和很多纯粹要求参与者奉献的科研类游戏不同,直播该游戏的也是Twitch上的知名主播,观众可以单纯地当做看主播玩了一个新的休闲游戏,也可以下载APP和喜欢的主播互动,这些直播形式即使去掉科研成分,也是主播们直播时经常做的。

这个项目是由飞利浦医疗保健公司和博世公司赞助的,感兴趣的玩家(或者相关研究者)可以点击这里前往研究团队的博客了解一下。


展开全文

扫码关注

游研社公众号

小程序

游研社精选

5
快速评论
热门评论
全部评论
评论时间
查看全部评论
  • 首页
  • 下一页
  • 页 / 共
App内打开