互联网时代下,网络直播带货流量数据爆发明显,许多app的出海同时开拓了潜力巨大的海外网购市场,进行跨境电商直播既可以刺激商品消费,又可以把中国文化带向世界。但目前跨境直播带货的问题在于语言问题,很多外国网友并不能听懂中文主播所讲的内容,要兼备外语与带货能力的主播又非常稀缺。
HMS Core机器学习服务提供的一项全新能力——同声传译就可以很好得解决跨境电商直播语言不通的难题,让中文主播也能海外带货,帮助直播类应用开拓海外市场。HMS Core同声传译涵盖了机器学习服务的语音识别、翻译、语音合成等核心技术,首先把输入的实时语音转换成文字,然后再把文字翻译成另一种语言的文字,最后把翻译后的文字转换成语音播放。同声传译能力能够协助解决多种场景下的跨语言实时交流,支持中英文互译,提供多种音色语音播报,可以广泛应用于领域多样、环境复杂、实时性高的会议、直播等场景。
语音识别+机器翻译,兼具质量与效率
对于同声传译而言,准确的源语言输入+译文输出是其重要的衡量标准。而在面对同声传译主要的场景——大会演讲、字幕直播、会议访谈、智慧教育……往往伴随长时间持续输入的音频,端侧识别通过语音能量检测、静音检测、心跳检测等算法,实现长音频的有效断句,从而将有效语音片段送到语音识别模块,提升了语音识别的效率,同时缩小了同声传译时延,降低噪声对识别效果的影响。
另一方面,在语音转成文本后,存在部分识别错误、口语化表达、语气词较多、部分内容重复表达等导致文本不流利以及识别文本并未进行细致断句的问题。针对这些状况,机器学习服务在文本处理模块采用NLP语义理解、同音歧义处理、环境声音处理、口语化处理等纠错技术,来实现文本顺滑、自动断句等功能,确保返回高质量的翻译文本,从而实现语音识别和翻译功能加强,提升同声传译效果。
多种场景全覆盖,中英字幕双语输出
同声传译既能应用在面对面跨语言交流场景,也能在远程沟通中发挥作用。无论是面对面多语种会议、远程会议、还是观看外语视频,同声传译能力可以实时生成双语字幕,降低理解成本,提升工作与学习效率。
定制化语音播报,边听边看两不误
同声传译能力通过先进的深度神经合成技术,能够实时输出音频流数据,同时提供多种中、英文男、女音色可选,以及可通过调整音量、语速(中英文支持5倍调节)从而使发音达到更加真实自然的效果。通过实时语音播报降低延迟,结合实时字幕内容,为参会者提供视听一体的沉浸式同声传译体验。
通过对语音识别、机器翻译、语音合成三项技术的有机整合,HMS Core机器学习服务为开发者提供较低时延、较高准确率的同声传译能力,帮助用户更顺畅地进行国际交流,打造同声传译新“声”态。欢迎开发者访问机器学习服务官网,了解更详细的产品介绍与接入准备。
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~