本報(bào)北京3月25日電（記者鄧暉）人說話時(shí)嘴唇動作跟語音同步，可以通過識別唇動來進(jìn)行語言交流。對于聲帶、喉舌損傷的失聲人群，唇語是一種不占用雙手的、日常無障礙交流的有效方式。但唇語對講話者友好，對解讀唇語的聽眾來說卻并不輕松。為降低唇語解讀難度，現(xiàn)有技術(shù)手段常采用磁場、視覺圖像、超聲波等方法。以最流行的非接觸式視覺圖像方法為例，盡管其唇語識別準(zhǔn)確率較高，但依然容易受到面部角度、光強(qiáng)、頭動和遮擋等因素的干擾。特別是在新冠肺炎疫情期間，佩戴口罩給基于視覺的唇動解讀帶來全新挑戰(zhàn)。通過直接捕捉面部肌肉細(xì)微動作解讀唇語技術(shù)具有重要的科學(xué)研究價(jià)值與廣闊的應(yīng)用前景。
近日，清華大學(xué)機(jī)械工程系智能與生物機(jī)械團(tuán)隊(duì)與中科院北京納米能源與系統(tǒng)研究所團(tuán)隊(duì)合作，研發(fā)出了一種新穎的唇語解讀系統(tǒng)。相關(guān)研究成果在線發(fā)表在《自然·通訊》期刊上。
該系統(tǒng)包含低成本、自供電的柔性摩擦電傳感器和基于原型學(xué)習(xí)的深度學(xué)習(xí)模型。傳感器將唇部肌肉運(yùn)動產(chǎn)生的電信號傳輸?shù)浇獯a系統(tǒng)，翻譯成可溝通的語言。該研究測試分析了傳感器的機(jī)械與電氣性能，采集并提取了選定元音、單詞、短語、無聲語音和發(fā)聲語音的唇動信號特征。通過比較同步采集的唇動和聲音信號，證明了無論是否發(fā)聲，嘴唇運(yùn)動信號都具有一致性。進(jìn)一步分析了語速與唇動模式等不同參數(shù)對信號特征的影響規(guī)律。提出了一種基于原型學(xué)習(xí)的空洞循環(huán)神經(jīng)網(wǎng)絡(luò)模型，用于唇動信號的識別，在20個分類（100樣本/類）情況下，測試準(zhǔn)確率達(dá)到94.5%。
值得注意的是，上述自供電傳感器由柔性聚合物薄膜與柔性電極組成，可提高人體佩戴的舒適性。研究團(tuán)隊(duì)利用該系統(tǒng)進(jìn)行了多種場景應(yīng)用展示，如解鎖大門的身份識別、移動模型車的方向控制、唇動/語音的實(shí)時(shí)轉(zhuǎn)換等，展示了該系統(tǒng)在唇動識別領(lǐng)域的可行性和應(yīng)用潛力。
面向失聲人群日常無障礙溝通需求，該工作為特殊場景下唇語翻譯應(yīng)用開拓了創(chuàng)新的研究方向。此外，該工作在機(jī)器人控制、個人身份驗(yàn)證、人機(jī)界面、殘疾輔助、無聲語音、情報(bào)、反恐任務(wù)實(shí)施、康復(fù)、生物醫(yī)學(xué)工程和虛擬現(xiàn)實(shí)等諸多領(lǐng)域中都具有較大的潛在應(yīng)用價(jià)值。
團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示，盡管該工作已展示了該技術(shù)的有效性和應(yīng)用前景，但仍然面臨系統(tǒng)可靠性、穩(wěn)定性等問題。研究團(tuán)隊(duì)相信，隨著研究的深入，該技術(shù)有望切實(shí)為失聲人群服務(wù)，提供無障礙語言交流的科技手段。
標(biāo)簽： 清華大學(xué)
