📖 ZKIZ Archives


台灣眼科醫生 做出最炫AR產品 擴增實境明日之星 台大團隊打敗MIT、微軟

2016-04-18  TWM

你、我都曾使用過顯微鏡,但這台特別不一樣。 結合罕見的近距離擴增實境技術,台大Scope+團隊開拓出一塊未來應用的新天地。

前一秒在手上還是標本,下一秒的鏡頭裡,蝴蝶的翅膀卻開始翩翩飛舞,然而將眼睛移開鏡頭,蝴蝶卻像什麼都沒有發生般,靜靜地躺在顯微鏡底下。

在台灣大學德田館五○五實驗室裡,一台外表看似3D印表機,上頭卻裝了個Oculus Rift顯示器,還放了兩個工業級相機,好像小學生胡亂搭湊的古怪機器──Scope+,就是讓蝴蝶瞬間重生的祕密。

在Oculus、宏達電、索尼掀起的虛擬實境(VR)熱潮如野火般燒向全球時,微軟HoloLens開始出貨的消息,則是再次帶起市場對擴增實境(AR)的關注。事實上,擴增實境的開發難度要比虛擬實境高得多,商機卻也更大。而就在台灣的台大校園內,一個擴增實境界的明日之星Scope+,已經在學術界嶄露頭角。

醫生愛寫程式 跨界讀資工Scope+,是這台古怪機器的名字,也是開發這台機器的團隊名稱。去年三月成軍,Scope+先是在SIGGRAPH(計算機圖形學頂級年度會議)的AR╱VR競賽入圍全球前十強,後來又在人機互動與使用者介面設計領域最頂尖的國際會議UIST上,獲得UIST Best Demo 2015。這座冠軍,意味的是Scope+擊敗了包括迪士尼研究中心、微軟研究院、韓國科學技術院、日本產業綜合研究所等十多個國際頂尖研究機構。

「最強的是麻省理工學院(MIT)多媒體實驗室。」Scope+專案負責人黃宇軒說:「能打敗他們是我們意想不到的!」今年三十六歲的黃宇軒是Scope+的發起者,更是團隊中的靈魂人物,而有趣的是,他目前除了是台大資工博士候選人,同時還是一位眼科執業醫師。

其實早在小學三年級,黃宇軒就已經展現出對資訊的興趣,開始寫程式,而在就讀長庚醫學系大五那年,他和同學組隊參加全國Java程式設計競賽,和無線通訊軟體競賽,更一舉以醫療應用「掌心華陀」,和實境線上遊戲「幻境迷城」,接連拿下亞軍和冠軍。

「那個年代,連『新創』是什麼都不知道。」黃宇軒說,當時還沒想到要把得獎的作品進一步朝商業化發展下去,「如果是現在的氛圍,當時可能就去創業了。」他說。

不過他和資訊的緣分沒有因此中斷。進入眼科實習後,他發現這是一個相當高科技的科別,科裡至少有十三台以上不同類型的檢查儀器。但他也發現,不是所有儀器都能夠把資料送到PACS(醫療影像傳輸系統)。「這不解決,我們眼科會有很大瓶頸,速度沒辦法快。」有資訊底子的他,開始在台大協助眼科專用PACS系統的建置。

過程中他也發現,醫療領域在大眾想像中是一項高科技,實際應用上,卻與最先進的科技有一段距離。而當中最大的問題,來自溝通落差。「資訊人不懂醫師的需求,醫師卻也不知道怎麼幫助資訊人員做得更好。」發現自己有能力作為兩方橋樑的他,對相關醫療資訊系統工作的投入也愈來愈多。

「但做得愈多,(發現)有很多基礎的東西,是我們這種半途出家者缺乏的。」他說:「所以我才會想說,既然這樣,眼科(實習)結束後,再來進修,真正做一些高深的研究。」而Scope+這個案子的原型,正是來自他當初就讀碩士班所提的研究計畫,一個可以幫助醫師進行術前訓練的輔助工具。

協助術前訓練 開發新工具他解釋,在進行白內障手術的過程中,最關鍵也最困難的一個步驟,是要用一個非常細的鑷子,在水晶體表面撕出一個完美的圓圈。在過去,他們能夠依靠的只有醫師的經驗與手感,而他想要改變這樣的情形。

有趣的是,在研發過程中,他發現這項技術的應用,其實不只能用在手術練習,而是比他所預想的還要更廣得多。

想像幾個常見的情景,「解剖課上,當你切開一隻老鼠,想要找出心臟、血管、神經時,旁邊一定得擺著一本書,讓你不時能抬頭對照圖譜。可能老師還得不停地逐桌去親自引導學生。」又或者,「進行電子零件組裝時,旁邊也需要一份電路圖,才能找出如何放置正確的電阻,和正確的腳位。」簡單來說,不論是生物、化學、電子,還是教育用途,這些使用顯微鏡工作的專業人士,總是得不斷重複這樣的動作:抬頭翻書、低頭看顯微鏡,接著再抬頭看書。

而Scope+可以做到的,就是把原本只存在紙本上的資訊,直接加到顯微鏡畫面裡,並且可以同步連網,讓顯微鏡不再只是獨立的一個工具。更進一步,甚至還能發展成專業引導工具,就像在進行手術練習時,醫師不再需要將視線移開顯微鏡,「(藉由擴增實境的即時反饋)我隨時可以知道對或不對。」黃宇軒說。

黃宇軒的指導教授認為,這項技術之所以能在UIST脫穎而出,最重要的是,「他們進入很微小的世界,是很近距離的。」他說,不同於目前市面上看到的擴增實境和虛擬實境主流應用,多是在電影、電玩這類大規模、遠距離的畫面,「Scope+開創的是一個很新奇的眼光,所以特別引人注意。」他認為,台灣要和既有的產業巨擘比拚娛樂市場很困難,但Scope+找到了新的切入點。

短距離擴增實境 超越前人事實上,這也是黃宇軒相當引以為傲的部分,「過去在這麼短的距離做出AR是沒辦法的。」他說:「我們自己設計、自己製作顯微鏡核心模組,才能讓你在正確的視覺,看到真實世界的畫面,這是目前AR、VR都還無法做到的事情。」他還記得,一開始啟動這個計畫時,幾乎找不到相關資料,「就算找到也沒辦法直接用。」他說,以相機這個關鍵零組件為例,他們需要的是提供機器視覺使用的工業等級產品,而他能做的,就是一個一個打電話給光學自動化檢測公會會員,找出最合適的產品 。

而且,要找出適合的零件難,要將軟硬體整合成系統更難。特別是他們在設計上,希望可以做到如同醫師實際執刀時,不須使用雙手,只要利用腳踏板就能進行顯微鏡方向和焦距控制的使用情境,「我們花很久時間才讓它動起來,超乎想像的久。」黃宇軒說。

第一個加入Scope+的台大資訊網路與多媒體研究所碩二生游子杰記得,當時為了趕上參賽截止時間,幾乎每天都忙到凌晨三、四點才離開,然後隔天一早又回到實驗室繼續趕工。而這樣的努力,最終讓他們獲得國際學術界的肯定。

幾次在國際會議做展示時,黃宇軒和他的團隊總是不免會被問及一個問題:「這個產品什麼時候要賣?」他說:「他們都覺得這東西好像已經很完整,快要上市了 。」但黃宇軒直言,這畢竟是一個學術研究計畫,不是以商業為目的開發的專案。

然而他也不否認,計畫開始的目的,就是希望Scope+最終能夠在市場上實際應用,只是他也強調,在此之前,「每一個部分都還要做到更好一點。」而開往下一代產品的引擎,已經啟動。

撰文 / 何佩珊

PermaLink: https://articles.zkiz.com/?id=193593

Google、微軟齊攻,讓皮卡丘現身街頭的技術 這款電玩打開擴增實境六兆市場

2016-07-25  TCW

「寶可夢為AR(擴增實境)大大的推了一把!」《華爾街日報》這麼寫著。投資網站MarketWatch也為了這個遊戲,寫了篇投資AR指南。這個劃時代的遊戲,顯然為一個許多人都還沒聽過的新技術,投下了敲門磚。

掀硬體改革!

抓精靈有AR眼鏡,將不須手機

所謂AR,就是在手機或Google眼鏡、微軟Hololens等裝置上,秀出整合了實體世界與虛擬或外來影像的顯示技術。例如在人行道上、草叢中、公園裡「看」到皮卡丘對你齜牙咧嘴。還有,今年開始流行的一種手機娛樂App,能在人臉的動態影像上秀出兔子耳朵、貓鬍鬚、狗鼻子、兩人換臉等等,就是一種簡單的AR應用。

其實,《Pokemon Go》(簡稱寶可夢)的AR應用非常初階,不論在什麼空間,精靈都是一樣大小、半飄浮在空中,被部分專家評為「嚴格來講不太算AR」。未來真正的AR應用,可將虛擬物件依照設定尺寸,按比率放入真實環境中,並可穩穩的踩在地上、擺在桌上。想想精靈們在你家桌上跑跳、在沙發後躲藏的樣子,娛樂程度將更勝當前版本。

但別以為AR應用只有娛樂。AR可以用於醫學、歷史等教育訓練,可以用於工廠生產線維修管理,用於線上買房、買家具,用於虛擬試穿衣服,等於除了不能吃之外,衣住行育樂各方面全都用得上。

高盛證券估計,如果AR /VR(虛擬實境,AR 的兄弟技術,需要戴上頭戴式裝置才能看到立體影 像)能成功從利基產品成功躋身大眾市場,樂觀預估二〇二五年市場規模將上看一千八百二十億美元(約合新台幣六兆元)。臉書創辦人佐伯格(Mark Zuckerberg)也預言,AR/ VR將成為未來數十億人日常生活中的一部分。

「寶可夢開闢了進入(AR)新世界的通道。」獲Google、阿里巴巴注資的當紅AR新創公司Magic Leap執行長阿布維茲(Rony Aboviz)說,等到未來AR 眼鏡開發完成,不需要手機,只要戴上輕薄的眼鏡,就能看到神奇寶貝在眼前活蹦亂跳。簡言之,寶可夢之於AR,就如同超低Google紙板眼鏡為VR技術踢了開啟大眾市場的臨門一腳,帶動宏達電推出Vive 頭戴式裝置、三星推出Gear等熱鬧場景。

攻軟體進化!

微軟打算讓Skype傳3D影像

當全世界的人都因這款遊戲認識AR,受惠者可就不只檯面上股價翻倍的任天堂。MarketWatch指出,拜此遊戲大量運用Google地圖圖資之賜,Google地圖地位將更形穩固、更不容易被挑戰;而一旦AR應用起飛,Google就是其背後最大贏家。

事實上,Google的AR平台布局已鋪天蓋地,除了叫好不叫座的Google眼鏡,其旗下的探戈(Tango)計畫,正積極研發用手機鏡頭就能迅速為周遭環境建立數據的3D技術,若能解決技術瓶頸,神奇寶貝想要在桌上跳舞,將不成問題。而該公司大手筆入股的Magic Leap,目標是縮短AR眼鏡商用化的時程。

甚至,與任天堂在遊戲機市場廝殺慘烈的微軟(Microsoft),也是這款遊戲的受惠者。研發資源重壓自家AR眼鏡Hololens的微軟,已經與Volvo車廠合作,打造虛擬展示室,讓買主可以挑選汽車顏色、配備,即時欣賞汽車完成後的立體模樣。微軟也正為自家的Skype 通訊軟體,開發出可以傳送AR影像的功能,擘畫出以3D影像打電話的未來世界樣貌。

而蘋果(Apple)不只賺寶可夢遊戲虛擬寶物在自家App商店分潤,也秘密研發AR技術中。甫掛牌的Line,最近更宣布將利用從募來的資金,購併AR業者。

根據研調機構Digi-Capital統計,截至今年第二季為止,全球在過去十二個月內投資AR/VR新創企業資金,已高達二十億美元(約合新台幣六百四十億元),在皮卡丘風潮後,未來數字只會讓大家更為驚歎

撰文者蔡靚萱

PermaLink: https://articles.zkiz.com/?id=209698

黑客思維:Airpods──擴增實境第一步

1 : GS(14)@2016-09-25 10:19:39

最近Apple推出iPhone7,不少人把焦點放在airpods上,有人認為airpods只是無線耳筒,毫無特別,而且更易遺失,難道蘋果真的沒有更好的東西嗎?其實airpods有重大任務,是改變未來的第一步……
Airpods當然不單是無線耳筒般簡單,它除了是更好的藍芽,能彌補藍芽經常電量不足的問題、免除線與線打結的煩惱,更重要的是,它是隨身的人工智能(AI),只要輕觸兩下,Siri就會出現,亦可讓我們順暢地切換不同的Apple裝置。這有點像電影《Her》裏的AI,成為了主角的虛擬伴侶,除了每日聊天、幫助主角處理日常事務如檢閱郵件,他們更一起去旅行、一起欣賞風景。試想像,當我們有了這方便的裝置,Siri要協助我們的日常生活就變得更容易,例如在街上走到某一位置,它可告訴我們附近哪裏有折扣優惠、哪家餐廳值得推介等等。所以airpods的任務就是要幫助發展和推廣人工智能?也不全然是,蘋果總裁Tim Cook對它有更大的願景,就是「擴充實境」(Augmented Reality,下稱AR)。甚麼是「擴充實境」?最近風靡全球的Pokemon Go遊戲,就是一例子,把不存在的景象「增至現實世界中」,例如明明面前沒有棋盤,只要戴上眼鏡,就可以把虛擬的棋盤影像投影在用者眼前。Tim Cook對AR充滿願景,曾說AR的潛力比VR(Virtual Reality)大,因為AR能優化我們的現實生活,而VR雖然給予我們無限想像,但始終與現實分離。要令AR真正融入現實生活,而毋須再拿起電話召喚Siri,從而更主動地協助我們的生活,首先要建立用者隨身戴着耳筒的習慣,而不再只是聽音樂時才戴,締造無接縫體驗。要有如此大的行為變化,必定不是一朝一夕就做到,而需要逐步逐步植入,airpods就是第一步。還記得你曾經抗拒使用信用卡嗎?怕欠債、怕系統不夠安全,但當一連串優惠推出後,你開始發現其實用信用卡付費真的很划算,並漸漸建立了甚麼都用信用卡付費的習慣,airpods的用意也是如此。
Leon Ho
Lifehack創辦人
http://lifehack.org/career/




來源: http://hk.apple.nextmedia.com/financeestate/art/20160925/19780729
PermaLink: https://articles.zkiz.com/?id=309934

Next Page

ZKIZ Archives @ 2019