登入  |  English
感謝您對「自由軟體鑄造場」的支持與愛護,十多年來「自由軟體鑄造場」受中央研究院支持,並在資訊科學研究所以及資訊科技創新研究中心執行,現已完成階段性的任務。 原網站預計持續維運至 2021年底,網站內容基本上不會再更動。本網站由 Denny Huang 備份封存。
也紀念我們永遠的朋友 李士傑先生(Shih-Chieh Ilya Li)。
源碼新聞 新手爸媽不用慌!雲科大「嬰語翻譯機」了解寶貝的心

新手爸媽不用慌!雲科大「嬰語翻譯機」了解寶貝的心

每個小嬰兒都是父母的寶貝,父母都想給他們最好的照顧!但是新手爸媽常因為小嬰兒的嚎啕大哭而手忙腳亂、不知所措!是否你也遇過寶寶大哭,但是泡了牛奶卻不喝、檢查尿布也沒有濕的情況呢?為了紓解新手爸媽的焦慮,雲林科技大學開發了「嬰語翻譯機」app,幫助爸媽讀懂寶貝的心。更厲害的是,開發此 app 的團隊參加創業比賽在眾多團隊中脫穎而出,成立了「宜默瑞科技」。今天我們採訪到主持醫學影像處理實驗室,同時也是產學與智財育成營運中心研發長的張傳育教授,請他分享開發「嬰語翻譯機」app 的過程,還有帶領同學投入創業的經驗。現在先來看看「嬰語翻譯機」有什麼神奇之處吧!


這是什麼巫術?辨識率高達 92%!

嬰語翻譯的操作方式非常直覺,當小寶寶哭泣的時候,爸爸媽媽只要拿出手機打開 app,錄製小寶寶的哭聲,app 會立即將哭聲與資料庫進行比對,判斷出小寶寶哭泣的原因為何,辨識率高達 92%,爸媽再也不用擔心找不到寶貝不開心的原因!

問起張教授開發「嬰語翻譯機」的契機為何,他說醫學影像實驗室一直都在發展情緒相關的辨識技術,情緒的表現是有許多種呈現方法,例如表情、聲音等等,目前應用情緒相關辨識技術大多皆是應用在成人上。在開發「嬰語翻譯機」之前,他們進行的專案是以自由軟體開發居家照護系統,照護目標以獨居老人為對象,用了一個異常聲音偵測的技術,希望該系統可以即時偵測、即時反應,隨時覺察獨居老人的需求。但是成年人是會四處移動的,異常聲音的偵測系統會需要架設大量的麥克風陣列,在實際應用情況上就有一些限制。不太可能在家中四處裝設麥克風,但如果收音不佳又會影響到偵測的判斷,雖然近來穿戴式裝置十分熱門,也可能成為照護的一端,但接觸性的裝置較容易造成年長者的不適。他們在一次的因緣際會下,和台大雲林分院的陳思達醫師交流後,了解到嬰兒表達情緒的方式是哭聲,也是唯一的溝通方式,因此將辨識技術延伸到嬰兒照護上,因為嬰兒的移動範圍十分有限,需求卻同樣需要獲得立即的解決。

相信一定有讀者疑惑,小朋友的哭聲可能有各種不同的變化,但是進行語音情緒辨識的相關研究並不算少數,為什麼獨獨「嬰語翻譯機」的辨識率可以這麼高?為了解答讀者的疑惑,我們當然跟張教授打聽了其中的祕密!首先,為什麼嬰語翻譯機這麼神奇可以識別小寶寶的情緒呢?這是因為他們與台大醫院(雲林分院)合作,在嬰兒室中架設攝影機,錄製嬰兒的哭聲,每天把資料從醫院端送回到實驗室,而且每一筆哭聲都有經過護理人員的專業判斷,因此可以確知嬰兒的需求為何。光是建立這龐大的聲音資料庫就耗時超過兩年,收集了十萬筆的資料以上的資料,再利用大數據與機器學習的方式,找出不同哭聲的特徵,經過多次分析與測試,再加入團隊開發的情緒辨識技術,才有辦法達到這麼高的辨識率。他們將已經經過分析的哭聲當作模型,有新的哭聲進來,就立刻進行比對,而且更棒的是,即使一開始自己寶貝的哭聲被錯誤判斷,但模型會自我學習、自動修正,隨著使用,機器會有學習的功能,自動進化成專屬於寶貝的模型,不但能提昇辨識率,未來團隊還計畫發展出獨特的個人化功能。另外我們也好奇,在開發的過程中,團隊有沒有遇過什麼困難?蕭同學則回覆說,因為嬰兒的哭聲和小動物的叫聲有相似的地方,因此他們會關心如何區別嬰兒哭聲和動物的叫聲,並把不屬於嬰兒哭聲的聲音訊號排除掉,以免造成誤判。更進一步,也希望可以結合表情的相關技術,讓整個照護系統更加全面。


有了技術,下一步呢?投入創業吧!

眾所期待的「嬰語翻譯機」app 在年底就會上架到 Android 和 iOs 兩種平台,而技術部份目前也有許多廠商向他們接洽合作,發展相關的應用,例如說,結合 IP CAM 成為嬰兒監視器,能將畫面傳到手機端,即使爸媽不在房間也可以隨時關心寶寶的狀況,如果寶寶哭了,更可以即時判斷寶寶的需求,在回到房間的過程中可預做準備,立刻舒緩新生兒照護的壓力。

在研發有成之後,他們開始思考這個團隊要怎麼延續下去。許多專案常在學長姐畢業之後,就面臨人員重新洗牌的問題,因此要怎麼讓團隊時時維持在最佳的營運狀態上就成為他們思考的課題。最後他們決定挑戰創業,將短暫的研發能量轉成可以永續經營的模式,但踏出第一步通常都是最艱難的。後來他們報名了科技部「創新創業激勵計劃」的競賽,這是科技部為了將傑出研究成果轉化為產業能量的一個計畫,第一階段會從 249 個隊伍中選出 40 名,接著參加創業宏圖營,與許多的業師及矽谷業師給予許多不同的意見,從這些意見中探討、檢討目前所缺乏及不足之處。經由改正缺乏及不足之處,順利的從 40 個隊伍中脫穎而出進入下一個階段,並登記公司成立。下一個階段他們與 20 個隊伍一同參加創新實踐營,相互檢討、競爭,與業師及矽谷業師相互討論及不同看法中,思考、改正營運上可能造成的錯誤及糾紛。從各個業師吸收不少創業經驗,以及經過了兩個營隊的洗禮及檢討,他們確信了公司營運的可行性及未來,同時公司也通過了審核,過關斬將地從20個隊伍中再次晉升,使信心更加堅定。最後參加媒合會,與各個投資者談論中也發現了一些不同的看法與想法。經過這麼多有經驗者分享經驗,得知成立公司需要這麼多的前置作業及可能造成的錯誤,避免往錯誤的道路前進。張教授覺得,做學術研究和投入創業的思維真的很不一樣,他們也是一邊做、一邊學,在與不同人的對話過程中不斷吸收各方經驗,並在過程中累積資源。張教授建議有心投入研發創業的同學,光是產品好還不夠,還要學會怎麼精準的「傳達」自己產品的優點。最後張教授也特別感謝了科技部提供的支持,讓他們能夠站在巨人的肩膀上前進!


應用程式下載: Google play: 嬰語翻譯機




自由軟體鑄造場電子報 : 第 257 期 第一次用 PHPUnit 寫測試就上手(下)

分類: 源碼新聞