根據(jù)全國(guó)第二次殘疾人抽樣調(diào)查數(shù)據(jù)，中國(guó)有超過2700萬(wàn)名殘疾性聽力障礙人士，他們也期待及時(shí)了解北京冬奧會(huì)的比賽資訊。2月5日開始，采用我國(guó)首個(gè)超大規(guī)模智能信息模型和虛擬數(shù)字人技術(shù)，為聽障人士打造的“冬奧手語(yǔ)播報(bào)數(shù)字人”每天亮相北京衛(wèi)視的“冬奧賽事集錦”和“一起看冬奧”兩檔節(jié)目，幫助聽障人士感受奧運(yùn)盛會(huì)的精彩，用科技為殘疾人平等參與社會(huì)生活創(chuàng)造無障礙環(huán)境。

　　“冬奧手語(yǔ)播報(bào)數(shù)字人”是在北京市科委、中關(guān)村管委會(huì)支持下，由智譜AI、凌云光和北京廣播電視臺(tái)聯(lián)合打造的，清華大學(xué)賈珈教授團(tuán)隊(duì)和中科院計(jì)算所陳益強(qiáng)研究員團(tuán)隊(duì)也參與了關(guān)鍵技術(shù)的研發(fā)。這一系統(tǒng)以超大規(guī)模預(yù)訓(xùn)練模型為核心技術(shù)，自主搭建多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)，運(yùn)用跨模態(tài)擬人生成算法、超高精度寫實(shí)數(shù)字人等行業(yè)領(lǐng)先技術(shù)，實(shí)現(xiàn)冬奧期間賽事新聞的專業(yè)手語(yǔ)翻譯播報(bào)。

　　“冬奧手語(yǔ)播報(bào)數(shù)字人”系統(tǒng)完成了《國(guó)家通用手語(yǔ)詞典》收錄的8214條通用手語(yǔ)的采集和錄制，并且語(yǔ)法都以聽障群體習(xí)慣打法為準(zhǔn)，以確保手語(yǔ)播報(bào)成果的準(zhǔn)確性和專業(yè)度。由于當(dāng)前國(guó)內(nèi)缺少較完善的手語(yǔ)語(yǔ)料數(shù)據(jù)，研發(fā)人員在北京市殘聯(lián)及其聾人協(xié)會(huì)的支持下，邀請(qǐng)超過40余位聾人老師及手語(yǔ)專家進(jìn)行手語(yǔ)文本轉(zhuǎn)寫和技術(shù)指導(dǎo)，并進(jìn)行大范圍的聽障群體評(píng)測(cè)，最終構(gòu)建了符合國(guó)家通用手語(yǔ)規(guī)范的國(guó)內(nèi)最大規(guī)模多模態(tài)手語(yǔ)語(yǔ)料庫(kù)，詞匯及語(yǔ)句總規(guī)模超10萬(wàn)。

　　為了構(gòu)建能夠理解、翻譯語(yǔ)音和手語(yǔ)的智能數(shù)字大腦，“冬奧手語(yǔ)播報(bào)數(shù)字人”系統(tǒng)以超大規(guī)模預(yù)訓(xùn)練模型為核心技術(shù)，通過語(yǔ)義蒸餾及手語(yǔ)翻譯快編模型，實(shí)現(xiàn)新聞播報(bào)語(yǔ)音蒸餾成語(yǔ)義高度接近的手語(yǔ)文字，并翻譯成符合手語(yǔ)習(xí)慣的語(yǔ)序。最終，手語(yǔ)數(shù)字腦可以通過計(jì)算機(jī)模仿聽障人士的大腦，進(jìn)行手語(yǔ)播報(bào)驅(qū)動(dòng)。

　　為了實(shí)現(xiàn)高精度、高自然度的人物形象和手語(yǔ)動(dòng)作姿態(tài)，研發(fā)團(tuán)隊(duì)還自主搭建了多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)。通過采集多模態(tài)動(dòng)作捕捉數(shù)據(jù)，運(yùn)用跨模態(tài)擬人生成算法對(duì)超寫實(shí)數(shù)字人進(jìn)行自然、流暢的驅(qū)動(dòng)和渲染，實(shí)現(xiàn)對(duì)文本內(nèi)容的手語(yǔ)播報(bào)。其中，通過肌肉綁定技術(shù)驅(qū)動(dòng)實(shí)現(xiàn)面部采集，結(jié)合業(yè)內(nèi)領(lǐng)先的語(yǔ)音識(shí)別及高清視頻合成等技術(shù)，呈現(xiàn)給聽障人群親切自然的冬奧手語(yǔ)播報(bào)服務(wù)?！岸瑠W手語(yǔ)播報(bào)數(shù)字人的應(yīng)用展現(xiàn)了我們‘讓機(jī)器像人一樣思考’的愿景，不僅使聽障人士能快捷獲取冬奧資訊，還將無障礙環(huán)境的理念傳遞到數(shù)億人群，讓科技更有溫度。”智譜AI的首席技術(shù)官?gòu)堸i說。