我懂你想說什麼！專訪銘傳大學「一個行動手語圖形檢索參考架構與系統」

手語是一種結合手勢、表情動作及詞彙，不需聲音也可溝通的語言。隨著地區不同，各國也因應自己的語言、詞彙發展出不同的手語，有趣的是，由於手語語法基本結構類似，因此不同國籍的手語使用者反而會比健聽者更容易跨越語言藩籬直接溝通。但語言不通者，尚可藉著字典或是翻譯軟體來互相交流，不諳手語者可以用什麼工具輔助呢？銘傳大學許昌齡老師帶領的團隊研發的手語圖形檢索系統如何成為我們溝通的利器，現在立刻來看看「一個行動手語圖形檢索參考架構與系統-以台灣手語社群為例」在做些什麼！

手語的正向檢索與逆向檢索

手語中的「手型」可以比喻成是語言中的「音標」，靠著手型組合不同動向、位置表達意思。雖然有手語研究者會將手語的基本手型編碼作為手語辭典的檢索索引，也有人做了手語的線上圖形檢索，但在日常溝通之時看見不知其意的手語便無法查詢，因此許老師與他的團隊便著手開發出可以逆向查詢，從手型與位置去反查手語意義的系統，更棒的是，它可以使用行動裝置查詢，讓你隨手可得、溝通無礙！

根據團隊的研究，學習手語的時候，手語辭典是一項很重要的工具。而檢索手語辭典的方式主要有書本檢索及數位檢索。書本檢索可以用文字部首或者是注音的檢索，從文字去尋手語的視覺符號，數位檢索則是透過關鍵字或是筆劃、文字查詢手語字詞，但是不管哪種都無法進行逆向檢索，也就是用手語圖形的描述或是圖形組合 (graphic portfolio) 來藉由視覺符號去反查文字意義。因此，團隊的研究目標主要是希望將手語視覺符號轉換成系統可以讀取的手語圖形特徵，以建構一個同時可以正、逆向檢索的手語圖形檢索系統。

手語特徵與檢索架構

手語的特徵其實很複雜，包括手型、位置、動作、表情和方向，雖然這些元素是有限的，但透過不同的組合可以衍生出無限的字詞。由於手語是一個視覺型的語言，因此各國的手語都有共通點，比起聽覺語言，反而能有無國界的溝通，雖然各國在同一字詞上會有不同表現，但大致上還是能夠理解，例如「書」這個手語表現，在歐洲國家，是比出打開一本書的動作，而在日本則是比出合起一本書的動作，去體會這些差異則可以視為是學習手語時的小小趣味。

逆向檢索的部份，目前是採用靜態圖片的檢索，透過選擇條件（例如左右手、手型、方向…等）篩選出正確的詞語，而一般檢索所沒有的表情部份，則採用臉譜選擇的方式選擇符合的表情。團隊也考慮過是否能夠使用一些動態偵測的系統以及動作捕捉的硬體來即時判斷手語動作，但由於手語的手勢有一些細微的變化不太容易捕捉，目前動態手語的部份優先考慮使用動畫的方式呈現。

團隊計畫建構全新的手語圖形檢索參考架構 GRRAS (Graphical Retrieval Reference Architecture for Sign-language) 的時候，他們思考的是要怎麼將這麼多的視覺符號製作成適合行動設備檢索的圖形，因此他們選擇的是使用檔案小、不失真且可縮放的向量圖形 (Scalable Vector Graphics; SVG) 。SVG 圖形除了在檢視時可以縮放的好處之外，更重要的是能使用 RDF (Resource Description Framework) 及 XML Schema 來描述相關詞之間的關係，讓整個系統的連結更為緊密，並且依照他們設計的架構建立出開放原始碼的互動平台，讓手語辭典的編輯者和使用者可以在上面進行互動。目前雖然主要的編輯者為工作團隊與專業的手語教師、手語社群，但未來他們很計畫將群眾編輯的功能開放出來，也歡迎有興趣參與此專案的程式人一起加入改良系統，讓所有的人都可以參與貢獻、回饋社會，實現真正的開源精神。

專案網址：

• 一個行動手語圖形檢索參考架構與系統-以台灣手語社群為例