无障碍语音识别,特殊在哪里?

杨净 萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

直播延迟几十秒,网友竟然还说“真香”?!!

你没听错,这发生在英雄联盟S11这种全球赛事上,而且,延迟高达30秒。

无障碍语音识别,特殊在哪里?

要知道S11观众量可是千万级别,去年决赛最高同时观看人数就多达4595万人

像这种顶尖赛事,保证音、画质的低延迟本就应该是各大平台的“基本操作”,哪怕一点额外的延迟都是绝对不能忍的。

拿前几天Dota2直播举例,延迟15分钟,网友们那可是群情激愤……

无障碍语音识别,特殊在哪里?

而这回,S11直播,一个官方频道延迟高达几十秒——

这似乎是大型直播事故了吧?

但万万没想到的是,弹幕画风竟然一片“舒适”、“真香”。

无障碍语音识别,特殊在哪里?

怎摸回事?

我们顺藤摸瓜来到了这个频道,发现这是B站专门为听障人士推出的无障碍直播间:

无障碍语音识别,特殊在哪里?

跟常规直播间不同的是,这个直播间是有AI实时字幕的,解说提到的队名“T1”、“poke”等黑话基本都能正确显示。

赛后采访还有手语解说,整体会比常规直播间延迟几十秒。

无障碍语音识别,特殊在哪里?

已经有听障人士用上了

其实,像这种直播字幕背后的AI实时语音识别技术,已经有不少应用了。包括油管的直播字幕、谷歌移动设备的视频字幕和微软PPT演讲字幕等,都属于这类技术。

不过,像这样专门为直播留出一个无障碍直播间的平台,目前还不多。

要真正做好一个无障碍直播间,技术上究竟比普通实时字幕特殊在哪里?

我们深入了解了一下,发现它比想象中更难”

无障碍语音识别,特殊在哪里?

在理解无障碍的特殊性之前,需要先知道直播中的实时字幕是怎么来的。

从流程上来看,实时字幕处在直播视频编码和解码中间的位置。

实时字幕是在视频编解码过程中,对音频进行快速语音识别,再与视频一起输出的效果,整体大概是这么一个过程:

无障碍语音识别,特殊在哪里?

简略版流程

可以看到,视频本身还需要经过编解码等传输流程,实时字幕制作则处在编码和解码中间的位置。

从技术本身来看,实时字幕用的是语音识别,具体分为人工识别和自动语音识别(ASR)两种。

此前,由于ASR准确率上不去(尤其是中文识别),人工识别又需要好几分钟延迟,大型比赛直播中采用实时AI字幕的不多。

这些年AI技术上来了,视频中应用自动语音识别ASR制作字幕的也多了起来,具体又分为流式ASR非流式ASR

非流式,指整段输入语音、再输出文字的结果;流式,指像“流水线一样”实时输出转文字结果。

无障碍语音识别,特殊在哪里?

目前的流式ASR可以做到速度极快(毫秒级,肉眼看起来是实时)的输出,经过训练也能达到不错的准确率;但与此同时,它也还有不少优化空间。

对于不同直播来说,选择语音识别方法时,主要会从准确识别速度进行考量,像新闻直播更重视准确率,娱乐赛事直播更侧重识别速度。

无障碍语音识别,特殊在哪里?

BUT,对于无障碍来说,赛事直播还会出现新的挑战

由于听障人士无法快速建立视听之间的联系,错字词需要更多反应时间,字幕的准确性要更高;此外,转录的字句需要有一定视觉流畅性;最后,赛事直播的延迟也不能太高。

一方面,受限于语音的停顿、音频切分的长度,流式ASR目前能做到低延迟和基本的准确率,但往往视觉阅读的流畅性会有所降低,“每个字都会,停顿后就看不懂了”:

无障碍语音识别,特殊在哪里?

每个字都会,就是看不懂

另一方面,流式ASR模型需要满足一定长度的音频输入,才会处理并输出文字,非常依赖语速和说话流畅度的稳定。

例如,主持人通常在电竞团战或是进球前夕等情况下,语速变得非常快(例如华少最快能达到18秒215字),或是因为思考出现频繁断句,就会严重影响流式ASR技术的“发挥”。

在这种情况下,流式ASR语音识别的结果如不经过处理、直接输出的话,就会出现字幕空白、频繁停顿,或是大段爆发输出的情况。

为了让字幕流更加稳定(能输出整段整句)、准确率也更高,B站在采用讯飞听见技术进行流式ASR识别(毫秒级延迟)时,选择将无障碍直播间整体进行适当延迟,来确保阅读流畅性,主要做了这些操作:

其一,B站专门梳理了英雄联盟赛事相关的500+专有词汇,包括战队、选手、赛区、游戏英雄名称、比赛术语、解说相关术语、S赛名句等等,将这些词汇接入到讯飞听见服务器中,进行转译结果优化处理;

其二,针对语速不稳定的情况,在文字处理部分,B站将流式ASR输出的文字,根据阅读习惯进行自动换行,使之更符合用户的视觉理解;

其三,针对整体阅读体验,B站专门制作了一款辅助软件,将人工复查操作进一步流程化,进一步为听障人士提升字幕准确率……

无障碍语音识别,特殊在哪里?

这也解释了B站无障碍直播间略有延迟的原因:提升了字幕阅读体验。

不止实时语音识别技术

事实上,这个无障碍电竞赛事直播间,还不止语音技术服务这么简单。

比如,手语直播了解一下?

无障碍语音识别,特殊在哪里?

B站邀请了手语翻译的代表人物韩清泉老师,由其领衔的专业翻译团队来进行手语辅助,他们会在赛果播报及赛后采访环节提供实时手语翻译。

此外,在每个比赛日,直播间还推出了观赛小助手,即手语教学内容。像网友都很好奇的超神、一血、补刀、中单、辅助、经济等这些热门词汇,此前都已经一一亮相。

无障碍语音识别,特殊在哪里?

不少人认为,之所以上线手语辅助功能,是因为语音转字幕会出错,而手语能够帮助理解。

实际上,还有更深层次的原因。

韩清泉老师解释说,对于会手语的朋友而言,如果只有文字和手语两种交流方式可供选择,他们一定会毫不犹豫选择手语,因为用手语交流会有强烈的代入感。通过这种方式,听障朋友们就能强烈感受到被这么多人关注着。

无障碍语音识别,特殊在哪里?

至于大家很疑惑的“为什么不是全程的手语直播?”事实上,手语也是有方言的。像英雄联盟这类全球性的游戏赛事,要想全程手语直播,需要建立一套新的专有名词。

现有的语音实时字幕虽然无法做到100%准确,但已经能满足大部分听障人士的理解需求。

2006年全国第二次残疾人抽样调查显示,我国残疾性听力障碍人群达到2780万;而根据2017年北京听力协会预估,中国听障人士的数量已经达到7200万,这个数字仍在持续增长。

如今,B站为了照顾这当中一些赛事爱好者的观赛体验,专门开设无障碍直播间,引得不少网友纷纷点赞:

格局大了。

无障碍语音识别,特殊在哪里?

这次的无障碍我真的吹爆!虽然残障人士是少数人,但少数人也有享受一切的资格

无障碍语音识别,特殊在哪里?

科技本身应该是无障碍的

放眼整个游戏行业的发展历程,B站这种对残障人士的关怀思考,其道不孤。

最知名的莫过于是2018年9月,微软推出的Xbox自适应手柄——Xbox Adaptive Controller

30厘米长的手柄上有两个大的可编程按钮和19个插孔,可连接到一系列的操纵杆、按钮和开关。

即便有些玩家对价格表示不满,因为这款手柄要99美元(人民币700元左右),比普通手柄高出40美元,但当时在业内却引起了不少的轰动以及好评。

无障碍语音识别,特殊在哪里?

B站知名游戏区UP主@-鸦-karas

那一年,这件产品还被时代周刊评为50大发明之一,并获得意大利电子游戏奖创新奖。

硬件的突破很吸引眼球,但软件上的支持也同样重要。

三大游戏厂商中的另两家索尼任天堂,这几年也在软硬件改进上做了不少努力。

索尼早在设计PS4时,就做了许多针对障碍玩家的硬件优化和辅助功能。

例如,(手柄等)按钮可以重新编程、文本转语音(TTS)、文本放大器等功能,都是针对肢体障碍、视障等群体的设计。

在某些需要QTE(快速反应)的游戏中,玩家可以修改手柄按键功能,将反复点按换成长按不放,也能达到连续按键效果。

任天堂系列产品,也都包含了相应辅助功能,包括触觉和听觉反馈、灰度显示、运动控制、反转颜色等玩法,为有障碍的玩家拓宽了可玩游戏范围。

无障碍语音识别,特殊在哪里?

色盲人士看马里奥是这样的(右)

去年,游戏届奥斯卡奖The Game Awards(TGA)还专门设立一项最佳无障碍创新奖,来鼓励游戏厂商们为残障玩家服务。

不止是产品中辅助功能的更新,现在,更多的科技公司开始关注到无障碍相关的技术研发。

比如,眼球追踪技术。

如Tobii公司的眼动仪,就允许玩家通过眼球移动来控制数字界面,也已经有更多产品支持这项技术;又如Tribe Game的推出的《超点》动作游戏,玩家就能通过眼球追踪技术,完成对整个游戏的操控:

无障碍语音识别,特殊在哪里?

还有众多企业押注的脑机接口技术。

无障碍游戏就是脑机接口核心应用场景之一。它能让人们只通过意识就完成机械操控、文字输入等操作。

不少科技公司对这项技术投入了研究,其中就包括Steam。G胖表示,Steam正在与开源脑机接口平台OpenBCI合作,共同开发一项脑机接口软件开源项目。

无障碍语音识别,特殊在哪里?

可以明显看到,更多科技公司与平台在关注残障人群“无障碍”体验文娱服务这件事。

而且这个群体,确实不应被忽略。

以往我们多数人只是在电视新闻中看到有企业机构关注他们的现实生计、刚需,但细想一下,这些听障朋友的精神需求,同样是生活中重要一环。

所幸,这样的需求正在越来越被广泛关注。

除了最直接的影响——对残障人士有益之外,科技走向“无障碍”本身还有更多额外价值。

对于他们来说,技术人员正在成为智能时代的“扫盲僧”

如今,数字化智能化服务为大多数人带来便利,但始终存在这样一批被拦截在技术之外的“失语者”“局外人”

他们或是不同程度的残障人士,或是行动不便的老年人、又或是那些因为特殊原因不能享受科技福祉的少数群体。

但谁来扛起这个“扫盲僧”的责任——将科技惠泽到更多群体呢?

如前所述,就是那些原本改变这一切的人,所谓的无障碍”场景,正是技术人员的练兵场。

如何练兵?该往哪个方向练兵?

这就离不开扫盲僧的核心秘籍——企业的“以人为本”价值观。

甚至从某种意义上说,这种价值观是最终实现的关键一环。

即使输出的产品功能再小、技术也不那么前沿,但只要能物尽其用,它所带来的价值就会更加长远。

这次B站是聚焦听障群体,下次也许就是视障群体,再下次可能就是老年用户……细想一下,一个平台最终不正是这么多小众用户共同组成的么?

毕竟,科技本身就应该是无障碍的。

如果哪天,地球上不再存在什么“失语者”、“局外人”,技术无障碍的终极意义,也就真正实现了吧。

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

榜单征集!6大奖项锁定AI TOP企业

「2021中国人工智能年度评选」报名中!本次评选将从公司、人物、产品三大维度寻找优秀的AI企业,欢迎大家扫码报名参与。评选将于12月揭晓,期待与百万从业者们,共同见证这些优秀企业的荣誉!

点击链接查看评选详情:2021中国人工智能年度评选开启:让更多人看到AI的真正价值

无障碍语音识别,特殊在哪里?


点这里

上一篇:直棋
下一篇:

相关推荐

延迟开学、暂不返校!多所985发通知

延迟开学、暂不返校!多所985发通知

1758 锐意医学网

随着全国多个省份近期陆续出现新增确诊病例,新一波疫情受到舆论关注。日前,教育部连发多份文件部署教育系统疫情防控工作,各级教育管理部门持续跟进:江苏省疫情防控工作领导小组学校防控组连发3份通知,明确要迅速采取最严格、最有效措施强化校园封闭管理,无关人员一律不得进入校园。留校学生非必要不外出,驻宁高校大学生离开校园须严格履行请假手续。目前在扬高校的11587名在

被滥用的“延迟满足”,正在一步步毁掉孩子,还不以为然吗?

被滥用的“延迟满足”,正在一步步毁掉孩子,还不以为然吗?

652 育儿须知

文|秘籍君“延迟满足”一词广为人知,源于知名的“棉花糖实验”。实验内容是,让几十名儿童待在有糖果的屋子里,并告诉他们眼前的糖果可以随时吃,但若能等到研究人员回来再吃,可以多获得糖果。最后实验人员再对那些能够延迟对糖果欲望的孩子进行跟踪调查,结果发现这些孩子在学业、人际关系方面的表现更优秀。现在的家长教育孩子,比较讲究科学方法。“延迟满足”对孩子的人生发展有帮

全球首次!基于5G的激光远程诊疗系统实时在线演示

全球首次!基于5G的激光远程诊疗系统实时在线演示

1933 中国医疗科技网

点击上方“中国医疗科技网”关注我们,随时掌握国内医疗政策、市场概况、企业动态等信息。7月12日,位于三亚的解放军总医院海南医院发布消息称,该院近日实现了全球首次基于5G的激光远程诊疗系统的实时在线演示。这是新一代远程医疗的里程碑,使中国在远程诊断、远程手术、远程教学等方面实现升级换代并领跑国际。该成果完成了激光远程诊疗系统的构建,实现了解放军总医院海南医院(

看片喜欢有中文字幕的朋友,有福了!

看片喜欢有中文字幕的朋友,有福了!

1501 一起车世界

01看片喜欢有中文字幕的朋友有福了鸿蒙,最懂中国男人的系统看成仁小视频+Q225630391902合作商家:煲仔饭吃不完的小孩能打包带走吗?03这户型很突出起码E杯,这个形状可以的!04这让人难以置信的天赋这让人难以置信的天赋新东方连夜打来录取电话05真够坑的,路费能报销不?照了这么多次,小强会得癌吗,心疼小强。06盆骨前倾腰间这几根绳子是几个意思?07怎么

以后看片都会有中文字幕了

以后看片都会有中文字幕了

1134 全球逗比搞笑排行榜

低劣的校长拆散情侣优秀的校长亲自插足我不是拆散你们的,我是来加入你们的千万别把猫和孩子一起养猫:你就作吧,挨打的又不是我鱼看了都直摇头其实这条帖子就是在钓鱼建议大学宿舍楼下都备一张这是吃了多少狗粮啊,恨成这样这裙子遮不完胸啊我感到脖子被一股无形的力量扼住,背后有风——毛衣穿反了计划赶不上变化实例你要是多吃了一包,爱奇艺就无法得逞以前的“视频点播平台”我妈回来

重磅!七林要641,九宁要635,四文要626!?成都市各高中学校今年要要多少分(2021年各校收分情况出炉,实时更新中~)

重磅!七林要641,九宁要635,四文要626!?成都市各高中学校今年要要多少分(2021年各校收分情况出炉,实时更新中~)

741 壹牛家长圈

壹牛家长圈不仅是牛爸·牛妈·牛娃的圈子关注右下点右上点【分享】是最好支持家长社群学业指导升学规划留学咨询志愿填报课程推荐试卷资料研学活动电话028-86691808网址www.16jzq.com地址成都市青羊区通惠门路3号锦都1期18楼3号今年的重点线是好多?普高线呢?在大家的满心期待中,一年一度的2021年中考划线终于出来了~重点线556、普高线521,不

审批延迟、高通愿接盘,英伟达400亿美元收购Arm再生新变数?

审批延迟、高通愿接盘,英伟达400亿美元收购Arm再生新变数?

1387 科技杂谈

|科|技|杂|谈|中国通信行业第一自媒体本文作者:林志佳本文来源:钛媒体(taimeiti)杂谈投稿邮箱:[email protected]两家公司都低估了交易面临的监管障碍。英伟达收购Arm交易再生新变数。6月16日消息,据路透社、TheInformation等媒体报道,英伟达(Nvidia)400亿美元收购软银旗下英国芯片设计和IP公司Arm的交易协议将面

快上车!小李子猫罐,K9犬罐1分钱包邮!
萌宠

快上车!小李子猫罐,K9犬罐1分钱包邮!

422 爱哈士奇

“尊敬的旅客,您好!您乘坐的开往阿闻宠物618直播间的K0618次列车就要开始发车了。此列车为阿闻宠物的专享号,请您安抚好自己的宠物,准备好自己的钱包,和我们一起开启愉快地旅程吧…”(特快通道→阿闻宠物618专场直播)

2021年结婚证新规定!
私房话

2021年结婚证新规定!

1836 中考

有人说:“婚姻是女人的第二次生命,在婚姻中得到爱的滋养和在婚姻里被消耗的女人,过着不同的人生。”婚姻不是女人的全部,却是女人再重要不过的选择。别信“和谁在一起都一样”,和谁在一起真的不一样!别信“婚姻就是将就过日子”,也别在不适合的婚姻里蹉跎人生。2021年结婚新规定:结婚的看下吧,没结婚的更要看。贮藏:常温下保存,避免与成群女性、单独帅哥相处,严禁在外过夜

七款皮肤免费送?拿来吧你!这位T0射手加强之后怎么玩?
游戏

七款皮肤免费送?拿来吧你!这位T0射手加强之后怎么玩?

1479 电竞怪客

hello大家好,这里是怪客君!在昨天的内容中怪客给大家做了正式服调整后的数据解读,还没看的小伙伴可以翻一下昨天的内容自行补课~赵云世冠皮肤黄金甲曝光?这位战士英雄再次加强,即将崛起!今天为大家带来调整后马可的出装铭文推荐,另外一起来看看最近有机会免费获得的皮肤消息吧!马可最新出装铭文这次马可波罗增强的幅度很大,主要体现在两个方面。第一点是将原先150%的攻

在与玩家交流后,我为什么说这款SLG新游值得期待?
游戏

在与玩家交流后,我为什么说这款SLG新游值得期待?

1371 GameLook

「点击上方"GameLook"↑↑↑,订阅微信」引言:“我觉得就连游戏制作人,都不一定有我们懂SLG,SLG才是游戏研发商的实力检验机。”采访刚开始,GameLook就从玩家口中听到了这样一句话。接下来的短短30分钟,我从吃惊于玩家的自信,到震撼于玩家对游戏深度了解而改变。毫无疑问,这群玩家的分享值得今天的头条。一如当初的二次元,去年SLG迎来了自己的高光时

深度 | 中国游戏的得与失,中国游戏的工业化还缺什么?
游戏

深度 | 中国游戏的得与失,中国游戏的工业化还缺什么?

139 游戏干线

本文转载自:文化产业评论按照版号发放数量计算,最近十年,中国游戏市场至少新增了2万多款游戏。2020年,中国游戏市场新发版号1413款,但是有多少游戏默默无闻,有多少游戏又被玩家诟病吐槽?数量不代表着质量,即使在近万款游戏上线的2017年,又有多少游戏真正能够铭记于玩家心底?如今,对中国游戏产业的主题集中在三个命题上:首当其冲的是游戏社会价值,这是全社会对游

晒领养的两只小奶狗,可网友:你为啥要养俩杏鲍菇?
萌宠

晒领养的两只小奶狗,可网友:你为啥要养俩杏鲍菇?

1120 大爱萌狗控

爱狗人士关注大爱萌狗控只需回复:汪。内容更精彩!让您开心每一天铲屎官领养了两只黑脸白身的小奶狗,虽然小家伙们是真的很可爱,但网友却忍不住笑起来了:这长得也太像杏鲍菇了吧!铲屎官就做了个对比图...哈哈哈哈哈哈哈,不能说毫不相关,只能说一摸一样,像是长了霉点的杏鲍菇!两个小奶狗是一对小姐妹,身世其实挺坎坷的,是在一个河堤上被人捡到的,当时它俩很虚弱,贫血,还患

狗狗下车后,主人再也没有打开车门
萌宠

狗狗下车后,主人再也没有打开车门

132 狗狗猫咪宠物控

在几个月前一条高速公路边的监控拍下了这样一幕主人在路边带着狗狗停下从后备箱里拿着什么东西是出来玩吗!狗狗不停的观察着周围的环境欢快的摇着尾巴主人拿着它的窝牵着狗狗过了马路主人解开了狗狗的项圈它像往常一样走到一边去熟悉环境这时主人却猛地把它的窝一丢飞快的跑回了车上不明所以的狗狗还紧跟着主人的脚步是上错了车门吗?还是这次要进后备箱?它不明白的是主人明明坐在车里为

“每次吵架,我都害怕分手”:教你一招,吵架后快速和好!
私房话

“每次吵架,我都害怕分手”:教你一招,吵架后快速和好!

1688 陆琪

粉丝提问:这段时间我和男朋友总是吵架,每一次我都气得睡不着,他却能心安理得的睡下,所以我就更加气不过,但是我又拉不下脸去求和,所以我到底该怎么办,才能让我们吵架快速和好,没有“隔夜仇”呢?吵架很正常,但老是吵架不好好处理,容易把感情磨光!其实恋人之间吵架,也有可能变成好事。这节课专门教你吵架急救的方法,24小时内迅速合好,恩爱加倍!福利:新春大礼包重磅来袭,

《APEX英雄》Switch版官宣3月19日
游戏

《APEX英雄》Switch版官宣3月19日

1731 大众软件

《APEX英雄》官方在推特正式宣布其Switch版将于2021年3月9日登陆,并将支持跨平台游玩。《APEX英雄》游戏总监ChadGrenier在官网公告中提供了更多信息,并表示该作Switch版推出时将支持跨平台游戏并且赛季内容与其他版本游戏相同。《APEX英雄》(ApexLegends)是一款战术竞技游戏,由泰坦陨落制作组Respawn研发。https: