2025年1月份活動

empty

(一)第四場專業人員焦點團體座談會【協力夥伴工作分享線上座談會】


時間:114年1月9日(四) 早上10:00

在第四場的專業人員座談會中,特別感謝八里愛心教養院的鄭欣宜治療師、中華民國腦性麻痺協會的翁淑芬主任、中華民國無喉者復聲協會的張其忠副秘書長、漸凍人協會的蘇麗梅主任及謝孝慈社工督導,幾位協力夥伴的熱心參與,為本研究提供寶貴的支持。

研究的起步階段能順利推進,有賴各單位的協助,包括推廣、招募及陪伴,讓我們能夠接觸到多位研究參與者,並收集寶貴的語料,進一步完善系統。本次討論中,夥伴們分享了他們作為系統使用者與協助操作者的經驗,認為收音系統不僅能幫助使用者練習發聲,還能拓展人際互動的可能性,甚至有參與者預計利用構音系統之力進行發音練習,以備考研究所。同時,大家也提出了許多操作方面的優化建議,例如提升網路穩定性、製作教學影片,幫助使用者更熟悉與理解操作流程。

我們非常榮幸得知本研究改善了參與者的生活品質,並感謝各單位夥伴的全力支持,讓研究得以順利推進。這些寶貴的回饋將成為研究持續改進的動力,我們將繼續根據夥伴們的意見為指引,持續向前邁進,為未來的進展奠定更加堅實的基礎。

第四場專業人員焦點團體座談會【協力夥伴工作分享線上座談會】

第四場專業人員焦點團體座談會【協力夥伴工作分享線上座談會】

(二)【114學年度與會財團法人瑪利亞社會福利基金會附設瑪利亞學園會議記錄】


壹、時 間:114年1月13日(一)早上10:30

貳、地點:瑪利亞學園會議室(3F)

參、主持人:江振宇教授、李琇菁主任

肆、出席人員:江振宇教授、李琇菁主任、林浩棟博士、王則仁、張朝凱

伍、討論事項:研究計畫討論

陸、議題:展示近期研究計畫

|江振宇教授:此次與瑪利亞學園李琇菁主任討論產學合作事宜、展示實驗成果,並討論如何將成果運用於瑪利亞學園,期望能利用科技協助語言治療師,簡化工作內容。

|王則仁:在此次會議中,展示了近期的實驗內容,包括語音辨識及語者標示的細節,並討論如何將這兩套系統運用於構音障礙中,決定以Praat的形式展示辨識結果,同時也展示了語音辨識結果、語者標示結果、頻譜圖、波形圖,其中,語音辨識的結果以Whisper模型進行轉錄,輸入音檔後,再輸出語者轉錄的文本。語者標示則是以pyannote-audio為模型,輸入音檔後,得到音檔中各語者標記的輸出文本。

|李琇菁主任:希望改良語音辨識與語者標示這兩個系統,首先,期待能標記出目標語者,並在目標語者整段談話中找到目標語句,並提取出來;如果這個系統成功,將大大提高語言治療師在診斷時的工作效率。也希望未來若有機會,能研發出一套LINE robot,使用者於LINE上錄音後,機器人會給予回饋,判斷此使用者屬於何種構音障礙,若構音障礙過於嚴重,會通知使用者洽詢語言治療師做診療。

|江振宇教授:第一項計畫如果能降低辨識的CER以及語者標示的DER,就可以做到提取目標語句供使用者運用,但目前的模型對於時間點的精準度還沒有那麼高,還需要進一步優化,在李主任提出的第二項計畫中,難點在於LINE輸出的音檔為16000Hz取樣率的m4a壓縮檔,品質對模型上來說可能是一大挑戰,目前我們計畫先著重在使用模型判別何種構音障礙,目標是提高判斷的精準度。

|林浩棟博士:認為語者標示的系統應該是從FFT轉頻率軸後去做處理,或許可以從頻率軸下手去優化模型。另外,也可以在園區建立伺服器,更方便於online robot工具的建立。

|張朝凱:建議可以將語音檔切割至音素,分析語障者音素的錯誤點,提出音素對於語障者矯正的初步想法。

|李琇菁主任:辨識語音系統有時會自動矯正人類念出的音檔,造成無法確認患者念得是否正確。也許可以嘗試使用資料導向式的測試方式,設計語料並記錄語者的錯誤資料,分析出語者哪部分錯誤,舉例來說,「ㄊ」的音語障者會將其發成「ㄎ」,那透過資料導向式的測試方式可以初步記錄語障者那些音素是發不好或是錯誤的。

|江振宇教授:提出對於模型的建議,也指出發音位置、音高等都會影響到系統的判斷,也和學生們講解未來模型建構過程中可能會引發的問題與解決方向。

|林浩棟博士:如果發音錯誤的字,有另外的意思,例如:兔子念成褲子,系統該怎麼判斷?我建議詞語的資料庫可以透過連結GPT做成資料庫。

|張朝凱:語音辨識會透過自動上下文矯正念出的音檔,如:一二三四五,四如果念成「ㄕˋ」,語音會自動校正,設計文本時詞語可能需要瑣碎一點。

柒、散會時間:下午2時05分

(三)第四次拜訪八里愛心教養院


時間:114年1月13日(一)

今日院長與計畫助理到訪八里愛心教養院,關心院生錄音情形、測試語言模型。在院生們錄音過程中,可以觀察到,兩位院生因為聽見彼此的錄音內容(例如:我要留長髮、我想吃蛋餅),而產生歡笑、對話的互動。原本收音系統的目標是促進語言障礙者與人對話順暢,我們意外發現,在建置過程中,收音系統已成為研究參與者開口說話的一大契機,協助院生收音的治療師欣宜也向我們回饋,透過錄音,院生間產生人際交流、變得活潑,錄音也發揮練習功能,改善院生的語言發展。

謝謝八里愛心教養院謝院長、諸多專業同仁的支持相伴,讓錄音系統得以持續精進。

張玉山院長、計畫助理、治療師與計畫參與者交流討論

張玉山院長、計畫助理、治療師與計畫參與者交流討論

(四)【跨國連結,推動無障礙科技技術】


時間:114年1月15日(三)

AIITNTPU計畫的共同主持人林予安老師拜訪了華盛頓大學的四位專家,包括Shyam Gollakota教授(Head of the Mobile Intelligence Lab)、Stephen Meyers教授(Director, Center for Global Studies)、Mark Harniss教授(Director of the Center for Technology & Disability Studies)和Jen Mankoff教授(the Founding Co-Director of CREATE (Center for Research and Education on Accessible Technology and Experiences)),並向他們介紹了計畫進展與成果。此次訪問獲得熱烈回應,專家們不僅表達了對研究的濃厚興趣,並表達了未來合作的意願。

其中,Shyam Gollakota教授的研究方向與AIITNTPU計畫的目標高度契合。他專注於開發即時翻譯耳機與AI助聽器等技術,致力於提升語言障礙者的溝通能力。Shyam教授提到,目前已使用來自UIUC Beckman Institute的Speech Accessibility Project資料,該資料庫包含發音困難者的20-30小時語料。教授對我們語料庫的規模與參與人數充滿好奇,並提出了未來合作的可能性,期待透過資源整合與技術分享,共同提升語音辨識的準確度與效能。

這次跨國交流的價值不僅體現在知識的碰撞,更為無障礙科技的未來發展鋪設了合作的基石。透過國際間的資源共享與創新推動,這項計畫將進一步提升語言障礙者的生活品質,同時為科技助力無障礙溝通樹立典範。

未來,我們期待在全球合作的力量下,持續推動語音輔助科技的進步,創造更多突破性的成果,進一步改善語言障礙者的溝通體驗,並實現科技無障礙的美好願景,讓科技的關懷延伸至更多需要幫助的角落。

林予安老師與Shyam Gollakota教授(Head of the Mobile Intelligence Lab)合照

林予安老師與Stephen Meyers教授(Director, Center for Global Studies)合照

林予安老師與Jen Mankoff教授(the Founding Co-Director of CREATE (Center for Research and Education on Accessible Technology and Experiences))合照

林予安老師與Mark Harniss教授(Director of the Center for Technology & Disability Studies)合照