Video Forgery and Motion Editing

     施國琛教授的演講很有趣，將影像處理的技術用詼諧有趣的影片作為範例，讓整場演講不那麼乏味，畢竟台下的學生並不全是擅長此領域知識的，除了要說懂還說的生動，這讓我了解到什麼是Video Forgery?是一種藉由更改、創新、結合而成的假影像手法，其運用的基本手法為object tracking、video inpainting、motion interpolation以及video planning and special effect production四種，對於影像物件的圖像分割，使用了均值偏移演算法(mean shift filtering)和區域合併演算法(region merging algorithm)，以我簡單的想法前者就是在圖像上計算出前一點的偏移均值，然後把那一點移到均值點成為新的起始點然後一直重複動作直到達到需求，而後者則是把圖像顏色量化，假如某區域間的顏色數值小於特地值便區分開來達到影像切割的目的，若是遇到區塊相似的部分，就會運用到SSD(sum of square difference) 平方和差來做切割。
 

     上述提及皆為分割的方法，接下來聽聽修補的技術吧!影像修補video inpainting，顧名思義便是將影像中損壞的地方做未知的修補，選定一塊區域後，將影像移除而影像移除後勢必會留下一塊空白，接著透過演算法示圖還原現場，如下圖所示。

     對影像修補技術每個人所選定區域是很主觀的，很難去檢測它，以特定修補的技術上已經可以很好的還原未知區域的顏色，保持紋理一致，但是在有著顯著結構上的圖像，例如::窗戶、樓梯…等，就得靠structure propagation，以我理解的觀點來看，基於大自然中的影像都有顯著的曲線勾勒，因此在修補其他區域前應該先確認這些曲線內容，以此建立一個模型，把顏色差異最小合成重疊的區域簡單的用一條曲線表示，範例如下圖。

 

      結構擴散後，再來就是紋理擴散texture propagation，把區域相鄰處編號作同編號擴充，為了讓邊線一致而使用光度校正，這就是修補影像的技術。

      影片的技術呢?使用的手法是exemplar-based-inpainting、optical flow、stationary background和moving foregroun，前兩者為演算法和光流的技術，前者的缺點就是會產生鬼影，光流則是說人在運動時，所看到的視覺移動，比較遠的動的比較慢，比較近的動得很快，以此透過距離來作影像推測，很不幸的我在影像處理程式寫作上實在不強，所以在時間上我沒有實際操作，只能在紙上談兵，說說這場演講裡，我懂了多少，相信這跟尚未聽演講的我相比，可算懂得不少阿。