90后北郵畢業生開發交互式屏幕閱讀器,盲人可獨立操作觸摸屏,甚至能在無人

admin2021年05月02日 18:18:26
閱讀:
標簽: 盲人 郭安鴻 Facade
分享:

很多人都曾在課本上學習過海倫·凱勒的《假如給我三天光明》,由于失聰和失明,她只能通過觸覺來學習說話,比如把手指放在老師的鼻子、嘴唇和咽喉上,去感受某個單詞的發音方式。


圖 | 郭安鴻(來源:受訪者)
 
  “最初打算幫助殘疾人,是因為我在卡耐基梅隆讀博時,結識了一位從 IBM 到我們學校訪問的盲人教授。和她一起去朋友家時,發現她的生活非常不方便,這也是我設計盲人屏幕閱讀器的起因。”對密歇根大學計算機科學與工程系 90 后華人教授郭安鴻來說,“科技向善”是他身上抹不去的標簽。
 
  很多人都曾在課本上學習過海倫·凱勒的《假如給我三天光明》,由于失聰和失明,她只能通過觸覺來學習說話,比如把手指放在老師的鼻子、嘴唇和咽喉上,去感受某個單詞的發音方式。
 
  一個四肢健全的盲人固然有觸覺,但卻因為眼盲、而無法操作那些常人可以輕松操作的鍵盤,比如微波爐和電飯煲的物理操作界面。對他們來說,這些操作界面的按鈕,不僅在觸覺上難以區分,并且屏幕上還有他們無法閱讀的視覺信息。
 
  基于此,郭安鴻研發出一款人機交互系統,來幫助盲人讀取、以及使用物理操作界面上的內容。
 
  該系統包含三大塊:VizLens、Facade 和 StateLens。其中 VizLens 幫助盲人通過音頻指示去使用物理操作界面,Facade 使用 3D 打印技術給其提供盲文標簽,而 StateLens 則可以幫助他們識別動態操作界面。
 
  VizLens:可給盲人提供實時幫助
 
  VizLens 是用于靜態物理操作界面的交互式屏幕閱讀器,它結合了按需眾包和實時計算機視覺技術。
 
  當盲人遇到某個無法閱讀的靜態界面如微波爐界面時,使用手機對操作界面進行拍照,之后 VizLens 會把照片發送給網絡眾包人員。
 
  眾包是一種通過互聯網多人協作獲得數據資源的方式,比如 Amazon Mechanical Turk 眾包網站就是借助遍布在互聯網上的自由職業者,通過他們完成一些細小工作,最終匯集在一起解決大型問題。
 
  眾包人員收到盲人的信號后,就會標記界面布局、并注釋相關元素如按鈕或其他控件,隨后會描述每個元素,描繪出的圖片也會成為參考圖像,進而幫助計算機視覺更好地工作。
 
  之后,當盲人要操作微波爐界面時,只需打開 VizLens 應用程序,把手機攝像頭對準界面,接著把手指懸停在界面上,這時 VizLens 會使用基于 SURF(Speeded Up Robust Features,加速穩健特征)的對象匹配技術,將眾包標記的參考圖像、與實時捕獲的圖像進行匹配,并跟蹤用戶的手指,進而去做檢索、提供音頻反饋和指導用戶。
 
  有了這種即時反饋,VizLens 就能實時地把界面內容告訴給盲人。此外,VizLens 還權衡了眾包人類智能和計算機視覺的優勢,因此它對物理界面的解釋能力,幾乎和人工一樣準確,并且它和計算機視覺系統一樣快捷且低成本。
 
  Facade:方便盲人獨立讀取的 3D 打印觸覺覆蓋層
 
  一般來說,盲人經常在家電上貼盲文標簽?;?VizLens,郭安鴻進一步開發出 Facade,這是一款可讓盲人獨立讀取的 3D 打印觸覺覆蓋層。
 
  盲人拍攝操作界面照片時,照片中需要包含絕對尺寸的標記(fiducial marker),比如錢幣或者信用卡。拍攝以后,Facade 可通過照片來恢復按鈕標簽尺寸信息。
 
  接著,Facade 會用類似 VizLens 的眾包方法對圖像作出標記。這時,盲人可以使用 Facade 應用程序,來自定義觸覺覆蓋層,隨后 Facade 可據此生成 3D 模型,這時使用家用 3D 打印機,即可制造出觸覺覆蓋層。
 
  研究中,郭安鴻經歷幾次設計迭代,最終確定了最有效的覆層設計、材料配置和打印機設置,以使 3D 打印的覆層易于附著、讀取和按壓。
 
  概括來說,VizLens 和 Facade 使盲人用戶可以訪問許多靜態界面。郭安鴻又在此基礎上,開發了 StateLens,這是一種用于公眾信息顯示屏和支付終端等動態觸摸屏。
 
  StateLens:解決誤觸難題
 
  盲人一旦觸碰屏幕,就很容易帶來誤操作,為解決此類觸摸難題,針對使用過程中的意外觸發因素,郭安鴻又設計出一套 3D 打印附件,即指帽和手寫筆。
 
  使用中,盲人通過手勢激活所需的觸摸位置,無需直接觸摸屏幕即可瀏覽。據悉,StateLens 可在不修改觸摸屏基礎硬件或軟件的情況下,為公共觸摸屏帶來 “無風險使用”,這也是可訪問觸摸屏交互的核心。
 
  在對 StateLens 進行評估的過程中,他們首先通過 12 個觸摸屏設備和 70K 多幀的實驗視頻,證明出 StateLens 可從固定視頻、手持視頻和網絡視頻中準確地重建界面。隨后,再對 14 位盲人參與者做用戶研究。這時,他們發現這款人機交互系統,可使盲人訪問此前無法訪問的動態觸摸屏。
 
  “你是我的眼”:盲人自己也可使用微波爐
 
  談及研發過程,郭安鴻表示:“我剛到匹茲堡時,不太熟悉當地用戶和組織,但我做的是和盲人有關的項目,想要接觸他們就更難。后來參加了一些當地的 meet up 活動,得知在一些圖書館里,有一些盲人在那里工作。通過這樣一個滾雪球的方式,我一點點地找到了一系列用戶。后面很多類似項目,我都可以去聯系他們,看他們是否有時間給到一些反饋意見、試用一下我們做的產品等等。”
 
  他說:“除了和 IBM 盲人教授相處的經歷之外,通過觀察圖書館盲人工作人員,也讓我更加關心盲人的生活,比如說他們在使用微波爐這種物理操作界面或觸屏設備的時候,有很多不方便的地方。然后我就想到可以通過計算機視覺、眾包以及可穿戴設備等技術,設計一個系統,來幫助盲人用這種物理操作界面。”
 
  系統初步完成后,郭安鴻在用戶給產品做測試的過程中,非常有個人成就感。一方面系統可給盲人生活提供實質性幫助,另一方面他自己對人機交互領域的興趣和熱愛,也帶來了一定的現實影響。
 
  而在做每個項目之前,郭安鴻都會邀請盲人用戶到實驗室里,或去他們家里進行訪談,收集他們的痛點后、再和團隊進行頭腦風暴。研究過程中,也會得到盲人用戶的持續反饋,獲得新數據后再進行迭代,最終完成系統設計。
 
  比如 Facade,其過程涉及到 3D 打印。那么,它到底該怎么打盲文?怎么讓盲人摸到后就能識別?需不需要考慮多種顏色?如何讓有一點點視力的盲人得到更好的幫助?針對這些問題,郭安鴻在收集用戶反饋后,最終找到了最佳 3D 打印設置。
 
  目前他正計劃把該成果放在網上,作為免費應用供盲人使用。另一方面,微軟、蘋果、谷歌也在做殘疾人相關的技術研究,郭安鴻之前曾和他們有過具體的合作,以后他想在這方面做更多拓展。
 
  郭安鴻是遼寧沈陽人,1992 年生人,小學畢業后就讀于東北育才少兒班,16 歲高中畢業,隨后北上并來到北京郵電大學讀書,20 歲時本科畢業。
 
  本科畢業后,他來到佐治亞理工學院讀碩士,畢業后到卡內基梅隆大學讀博,28 歲時博士畢業,2020 年是他博士畢業的年份,也是他在密西根大學獲得助理教授教職的年份。來密西根大學教學之前,他還在微軟、谷歌等公司參與過項目。
 
  談及過往,他表示:“我在這個過程中遇到了很多非常好的導師,參與到一些非常開眼界的項目,然后才讓我一點點接觸到科研,并可以獨立開展這些有意思的研究。”
 
  由于他本科是電子信息工程專業,期間曾參與一個用計算機視覺、來進行手勢識別和臉部識別的控制游戲項目。后來他逐漸了解到人機交互,并且對此十分感興趣,于是申請了一些相關項目,并一步步走上研究軌跡。
 
  當問到是否初心不改、延續著一直以來的研究路線時,郭安鴻說:“我覺得研究路線其實一直都在變,因為時間也都在變,并且這些研究的學科也都在發展。不變的是我想要讓世界變得更好,希望做的項目實際上可以幫助到殘疾人,讓他們的生活變得更便利。”

 
作者/大衛、多加

注:本文系作者 admin 授權融媒體發表,并經融媒體編輯,轉載請注明出處和本文鏈接

我要圍觀…
705人參與 36條評論
  • 最熱評論
  • 最新評論
加力那24分鐘前 回復284

就是因為病人多,專家少,你還要抓?如果你是一個專家,一天12小時不吃不喝不上廁所給20個病人看病,可是外面排隊的病人有100個。

Taso韓先生28分鐘前 回復284

就是因為病人多,專家少,你還要抓?如果你是一個專家,一天12小時不吃不喝不上廁所給20個病人看病,可是外面排隊的病人有100個。

加力那28分鐘前 回復284

就是因為病人多,專家少,你還要抓?如果你是一個專家,一天12小時不吃不喝不上廁所給20個病人看病,可是外面排隊的病人有100個。

Taso韓先生24分鐘前 回復284

就是因為病人多,專家少,你還要抓?如果你是一個專家,一天12小時不吃不喝不上廁所給20個病人看病,可是外面排隊的病人有100個。

admin

關注

現專注于互聯網行業—公關領域。興趣廣泛,熱愛傳統文化,以及看書,閑時寫些文字等。

  • 17萬閱讀量
  • 17萬文章數
  • 3評論數
作者文章
  • 深山藏不住有夢的眼睛

  • 提問題發牢騷容易,找到解決問題的辦法難

  • 清華大學后勤人:芝蘭有位“雙語”阿姨

  • 2027年會是解決臺灣問題的最后期限嗎?

  • 詹國樞:挫折驟然而至,老詹如何應對

關于我們 |加入我們 |廣告及服務 |提交建議
友情鏈接
賽迪網 |鈦媒體 |虎嗅網 |品途網 |i黑馬 |果殼網 |砍柴網 |創業邦 |易觀網 |凱恩思 |蜜蜂網 |獵奇網 |企業網
Copyright?2003-2015 融媒體版權
粵ICP備05052968
加藤鹰