用圖片建3D的學術論文之Ambient Point Clouds for View Interpolation

Ambient Point Clouds for View Interpolation這篇文章是於ACMSiggraph2010發表的Paper,作者資訊為Michael Goesele,Jens Ackermann,Simon Fuhrmann,Carsten Haubold,Ronny Klowsky – TU Darmstadt及Drew Steedly  Richard Szeliski – Microsoft
apc
他的貢獻究竟做了甚麼,直接看影片你就了解了:

簡而言之是透過Ambient Point Clouds(小樽自己翻譯成佈點雲)的演算方式,讓使用者可以透過複數的照片影像去還原或嘗試穿梭於這個3D場景中,也是目前許多傑出的影像還原3D的重要圖學論文之一。

這篇Paper提到90年代以來view interpolation和image-based rendering雖有顯著進步,但在實際應用上仍嫌不足,例如:在建構擬真世界環境的需求上。本研究的render演算法:先將像素溶解在一條由攝影機移動線所產生的Streak上,按照移動的權重來決定要render成Segment(細分)的依據,而原文是這樣描述的-These segments and streaks are rendered as a collection of randomly sampled colored points,他有兩個好處 1.減少因深度(depth)錯誤分配所產生的鬼影(ghosting)2.這種render方式以軟性非寫實的方式偽裝在幾何上的視覺缺陷,並強化人們對其3D結構和動態(motion)的體驗。旨在減少人力建模所產生的不完美(incomplete or inconsistent)幾何,並保留其逼真度,該Paper最後是結合佈點雲及傳統的3D雲(h traditional 3D point clouds?)變成含貼圖的3D模型by他們的multi-view stereo system(多視點立體系統)。小樽歸納兩個重點如下(為了比免理解有誤附上原文)

透過有限的可視線索運算出不確定的深度從而建立成幾何的觀念
(Concept of visualizing uncertainty in depth by distributing unknown geometry along a bounded segment of the viewing ray)

結合幾何描述和算圖法的視圖內插法之即時算圖系統
(Real-time rendering system for view interpolation which combines different geometric representations and rendering approaches)

在過往的研究中,有提到Image-based rendering systems have their roots in the early work on view interpolation [Chen and Williams 1993],也有提到小樽前寫過的微軟的Photosynth(2006),

以往做法的缺點主要問題重點:深度運算錯誤-只是面與面的漸變過程,無法作為產生3D物件的依據,因此無法填補坑洞或雜物(ex.人、車…etc)並且所產生的偽影,並運鏡時的視覺化效果生硬沒有轉折。

在這篇Paper提到的方法簡單描述如下圖

apc2

假設在一個平面上的兩個鏡頭,在兩個畫面中取交集點(以pixel為單位),之後再計算這兩者變化的量給予權重的變化,之後便可在兩者中間取得鏡頭運動中的變化過程
Idea of handling uncertain regions in view-based rendering and propose a point-based representation, which we call the ambient point cloud

透過該研究提出的演算觀念,同時也就可以透過運行中所計算出來的像素變化量反推過程中不存在的(不確定)的空缺部分,並予以填補,在他們的系統中,透過一種內插的方式對攝影機運動的過程做視覺上的最佳化,由於空間種有佈點雲的概念,這樣的視覺處理也相對簡單。

apc3

Paper後方就是展示以這個演算法製作出來的系統,並闡述其方法有下列優勢

  • 視覺化不確定區域
  • 遮罩(Mask)因坑洞或鬼影(ghosting)所產生的偽影(artifacts)
  • 全自動(Fully automatic)系統
  • 即時運算(Real-time rendering)

最後~小樽在看這篇Paper的時候,尚未能對所有語意100%很順的可以轉成中文描述,所以如果你英文夠好可以試著聽聽這篇Paper在Siggraph2010報告時的原文~基本上搭配其投影片和影片沒有很難懂,但是要寫出來還真的不容易

影像轉3D這種技術在近年蓬勃的被發展應用…基本上今年在siggraph看到paper,明年就已經變成某套軟體的功能,這種現象在近幾年幾乎是理所當然,了解新技術並不代表就要全部都會…更不用說Siggraph這種超高等級的學術研討會,我們可以從了解他人的知識分析,以及邏輯應用來建構自己將來的研究或創意,甚至尋求整合到自己研究的可能性,共勉之