子計畫二 /

數位支持、溝通無礙:AI科技協助語言障礙者溝通輔具之研發、支持與推廣

113 年 7 月份報導

返回
empty

國立臺北大學張玉山老師團隊7月份活動

(一)【Taiwan Carbon Solution Exchange X NTPU X UC Berkeley Forum】

時間:113年7月8日(一)上午9:00-12:00

地點:國立臺北大學 圖書館2樓思巢

團隊很榮幸有機會參與此活動,展示國科會「以包容為導向之科技計畫」的研究成果。本計畫是整合型計畫,為語言障礙者提供更好的溝通輔具,提升使用者的溝通自由;除了專注於技術開發,我們還致力於了解這些技術對語言障礙者生活品質的影響。我們在此活動中介紹了四項子計畫,詳細說明技術研發的不同面向與規劃。

  1. 子計畫一:由江振宇副教授主持,專注於增加語料蒐集人數,邀請不同群體參與錄音,優化文字轉語音系統音質,並整合至「VoiceBank—漸凍人協會回聲計畫網站」(https://voicebank.ce.ntpu.edu.tw/)。
  2. 子計畫二:由張玉山院長主持,專注於語音辨識系統的研究,展示語音訓練的辨識模型及其精準度。
  3. 子計畫三:由戴敏育教授主持,致力於研究多模態跨語言任務導向對話系統,結合視覺、語音和文字等多種模式及語言,提升病友與照護者的生活便利性。
  4. 子計畫四:由林昭吟教授主持,研究AI溝通輔具對語言障礙者生活品質及社會責任的影響,強調科技應如何對社會負起責任,實現包容科技的精神。

 

語言障礙者常面臨嚴重的溝通問題,不僅影響他們的教育、就業和社會生活,還可能導致心理健康和生活品質的問題。現有的溝通輔具雖有所幫助,但仍有許多侷限。本研究團隊希望開發更先進的AI輔助溝通技術,引起更多社會關注,推動政府和相關機構加強對語言障礙者的支持,共同提升他們的生活品質。此次論壇讓我們汲取了很多先進經驗,感謝主辦單位提供展示和交流的寶貴機會。希望通過這次論壇,我們能更好地推動AI包容科技的發展,為社會作出更大貢獻。

計畫團隊和與會者合影
計畫團隊和與會者合影

林昭吟教授展示研究成果
林昭吟教授展示研究成果

張玉山教授展示研究成果
張玉山教授展示研究成果

(二)【與劉秀丹老師團隊技術交流會議】

時間:113年7月11日(四)晚上7:30

本計畫團隊與師大劉秀丹教授團隊以遠距方式進行了第二次交流會議。第一次交流後,我們對彼此的研究方向和成果產生了濃厚興趣,因此決定舉行二次交流會議,希望更進一步了解雙方的研究進展與目標,以深入探討未來的合作計畫。劉教授的團隊主要研究聽障者的包容科技,而我們的團隊則專注於語障者的包容科技。在這次會議中,雙方團隊各自分享了所使用的技術、面臨的問題及研究成果。這次交流不僅加深了我們對彼此工作的理解,還學到了許多有價值的經驗和技術。雙方團隊都認為,利用最新的AI科技來幫助障礙者克服溝通障礙,是我們共同的使命和目標。我們計劃未來保持定期交流,彼此學習和借鑑,以期在包容科技領域取得更大突破,為障礙者提供更好的溝通支持。

計畫團隊與劉秀丹教授團隊線上交流會議(一)
計畫團隊與劉秀丹教授團隊線上交流會議(一)

計畫團隊與劉秀丹教授團隊線上交流會議(二)
計畫團隊與劉秀丹教授團隊線上交流會議(二)

(三)【拜訪個案已經參與者】

時間:113年7月10日(三)

賴先生是一位重度腦性麻痺患者,去年參與臺北市第一選區(士林、北投)立委選舉,於選舉期間的政見發表會時,要求延長發表時間,卻遭北市選委會拒絕,參見新聞報導(https://udn.com/news/story/7323/7846762)。這則新聞讓我們不禁思考,語音辨識系統是否可以協助賴先生順利地發表政見,為身心障礙者權益發聲。研究計畫主持人張玉山教授於是在原先ezTalk系統中,除了透過收音與建構使用者語音模型外,亦開發文字預先輸入及自動播放的應用功能,使語障者不用經過枯燥的收音過程,即可快速地應用ezTalk系統。昨天請賴先生試用系統之後,請他提供我們寶貴的修正意見。雖然賴先生以前也用過類似的溝通輔具系統,但需要逐字輸入,不似本系統能以字詞前後串接方式,減少輸入的不便。其次,賴先生也建議系統播放的聲音可以更有選擇性或接近本人聲音,而不是目前的電腦模擬聲音,我們也會往這方面努力。

展示ezTalk錄音系統的使用方式
展示ezTalk錄音系統的使用方式

計畫團隊與賴先生合影
計畫團隊與賴先生合影

(四)【無礙玩家生活關懷協會第二屆第一次會員大會】

時間:113年7月13日(六)

本計畫主持人張玉山教授受到無礙玩家生活關懷協會理事長賴志銘先生的邀請,出席協會第二屆第一次會員大會,出席該協會的包含產官學界貴賓。這個協會提供身心障礙者各種生活上的協助及課程訓練,讓有需要的朋友可以透過課程,具備核心的生活技能,應用在日常生活中。當天張玉山院長以國科會所拍攝的影片介紹了各個子計畫,包含本計畫的目的、進展、提供的協助,受到會員們熱烈迴響,我們也期望有更多的朋友參與本計畫。

張玉山教授講解本計畫之研究內容
張玉山教授講解本計畫之研究內容

張玉山教授和與會者合影
張玉山教授和與會者合影

(五)【拜訪個案已經參與者】

時間:113年7月17日(三)

孫嘉梁先生是一位重度腦性麻痺患者,具有美國德州Austin大學數學博士的學歷,曾有過許多媒體報導(https://www.mirrormedia.mg/story/20180125pol020),但他在說話及行動方面有困難,連操控滑鼠都沒辦法,只能逐一敲著鍵盤。孫先生去年參與我們計畫的收音,幾乎是前三名的報名者,但由於說話比較慢且不穩定,收音量一直很難提升。當天下午計畫主持人張玉山老師及林昭吟老師登門拜訪孫先生,介紹ezTalk語音辨識系統的新功能,可以預先輸入常用字詞,再用組裝排列方式,透過電腦語音表達。孫先生給我們很多寶貴意見,例如在輸入方面,他無法使用滑鼠輸入,想知道我們的介面可否以鍵盤操作。在輸出方面,孫先生也期待有不同的語速、不同的語調,甚至可以有停頓幾秒的設計,可以更貼近個人喜怒哀樂的表達。這些建議都是我們可以去努力改善的目標。

展示ezTalk錄音系統之使用方式
展示ezTalk錄音系統之使用方式

計畫團隊與孫先生合影
計畫團隊與孫先生合影

(六)【第四次拜訪八里愛心教養院(並協助錄音)】

時間:113年7月22日(一)

去年9月12日我們第一次拜訪八里愛心教養院,當時見面的院生如今已是我們的研究參與者,持續參與本計畫的收音工作。本團隊已是第四次造訪,除了了解院生收音情形,也介紹收音系統新的字詞串連、逐句稿播放等功能,看著院生在語言治療師及職能治療師細心地引導下,努力地講出一句句話,然後收錄、上傳到雲端伺服器儲存及辨識,我們期待可以早日創建出參與院生的個人語言模型,同時,我們也發現收音過程本身便帶給了院生與AI科技接觸的機會。由於有些院生無法自己打字,需要工作人員協助輸入字詞及操作平板,也需要工作人員耐心的示範及引導;關於這個部分本團隊也正在研發如何以少量收音,便能達到語音模型建構的效果,以節省人力。感謝八里愛心教養院謝院長、復健組組長、語言治療師、職能治療師等工作人員的協助,讓本計畫能持續運用於實務場域,也由實務場域中找到更多可以改善的地方。

進行意見交流與討論
進行意見交流與討論

計畫團隊與謝院長合影
計畫團隊與謝院長合影

(七)【拜訪陽光基金會】

時間:113年7月30日(二)

當天拜訪陽光基金會董事長及董事們,並進行了深入交流。老師們展示了計畫的執行狀況,並探討了技術操作的細節。這次實務層面的交流對於計畫的改進和推廣具有重要意義。我們希望透過社會服務團體的協助,能夠幫助更多有需要的朋友。感謝大家的支持與參與,我們會繼續全力以赴,推動包容科技的發展!

計畫團隊與基金會董事們合影
計畫團隊與基金會董事們合影