子計畫二 / 跨域協作計畫

促進聽覺障礙者多面向溝通的新世代科技

主持人:劉秀丹 教授|申請機關:國立臺灣師範大學特殊教育學系(所)

促進聽覺障礙者多面向溝通的新世代科技

對於身心障礙者而言,環境的可及性攸關重要。身心障礙者權利公約(CRPD)與聯合國 2030 永續發展目標(SDGs)都強調應保證可及性環境,以促進身心障礙者融入社會。其中聽覺障礙者因為受限於聽力損失,在聽、說、閱讀理解及人際溝通上面臨更大的挑戰。為協助聽障者解決其溝通困難,本計畫整合四個子計畫,分別與四個聽障社會團體合作,希望透過科技創新,滿足聽障者真正需求。子計畫一:整合語音辨識系統與混合實境成為「語音接收智慧輔助系統」,將說話者的語音即時轉成文字,呈現在智慧眼鏡的混合實境畫面上,幫助配戴智慧眼鏡的聽障者看到對方說話的內容。子計畫二:開發「構音生成對抗網路架構」創新科技,以促進聽障者說話的清晰度。 子計畫三:運用創新機器學習架構研發軟體,將一般文本轉換為文圖併呈的易讀文本,幫助閱讀能力不佳的聽障者快速透過文字與圖畫接收訊息。子計畫四:透過虛擬實境科技,讓聽障兒童練習大量且多樣的情境對話,學習不同情境下的溝通策略,並且促進其心智發展,另外亦規劃研發聽障體驗的 VR 互動影片,讓聽障兒童的同儕或家人學習如何與聽力障礙者友善共處。

社群網站:

Facebook

Instagram

YouTube