Image/Video Segmentation and Annotation by Social Media Analysis

課程 : 論文研討
日期 : 2011.10.14
時間 : 13:50 ~ 15:40 PM
地點 : S516
作者 : 資工產碩一 吳俊德
講者 : 中正大學資訊工程系 朱威達教授

隨著時代的進步及生活平質的提升，近來不論何時大都有隨身攜帶3C產品在身邊。因此不論出外遊玩、家人或朋友聚會甚至隨時隨地都有可能拿起相機、攝影機甚至手機即時拍照的機會。
假設我們有自己拍的影片和照片我們想要整理成為一系列的紀錄，有可能因為隨手亂拍難以有效率整理。
基於利用網路上的資源來幫助我們管理個人媒體資料的理念，於是有人開發了(1)場景偵測系統及 (2) 影片及圖片標註系統。

(1)場景偵測系統
利用網路資源的輔助，針對業餘拍攝者在旅行時所拍攝之旅遊影片進行影片場景偵測。可利用圖片和影片搜尋引擎搜尋回來的旅遊行程的相關資料，用來找出旅遊影片與旅遊行程表之間的關連性。由於旅遊行程表已明確定義行程的順序(場景邊界)，可利用跨媒體關連性來找出影片中的場景邊界。為了使不同的資料形式能夠比較，我們將影片中取出的關鍵影格和從網路中的圖片利用視覺單字直方圖來表示，於是決定影片與旅遊行程之間關連性的問題可被轉化成近似序列的匹配問題。我們根據索回的資料，統計其資訊後給予視覺單字不同的加權，並根據此加權機制計算圖片之間的相似性。在找到跨媒體關連性之後，為了能更系統化地決定場景邊界，我們引入一個能量最小化的架構，將視覺、時間以及網路資訊共同納入考量。

(2)影片及圖片標註系統
設計了一套統一的架構可運用於影片和圖片的標註。將影片和圖片的標註轉換成二分圖的匹配問題。首先利用影片或圖片擁有者所提供的原始標籤在Flickr上執行關鍵字圖片搜尋。為了給予影片或圖片新的標籤建議，將索回的圖片內擁有的標籤全部收集成為候選標籤。將候選標籤和同一個影片鏡頭所取出的關鍵影格或是同一個圖片所分割出的圖片區塊，其關係描述成一個二分圖。在建構二分圖時，利用袋字模型(bag of word model)來表示視覺特徵以及分析使用者標註習慣建立兩不相交集合之間的關係。二分圖中的兩不相交集合的最佳匹配即是某影片鏡頭或是某圖片的標籤建議。
(上述兩系統資訊摘錄自網路資料)

這些搜尋詢比對的技術源至於；尺度不變特徵轉換(Scale-invariant feature transform 或 SIFT)是一種電腦視覺的演算法用來偵測與描述影像中的局部性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數，此演算法由 David Lowe 在1999年所發表，2004年完善總結。
其應用範圍包含物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。
此演算法有其專利，專利擁有者為 英屬哥倫比亞大學。

尺度不變特徵轉換(Scale-invariant feature transform 或 SIFT)：
局部影像特徵的描述與偵測可以幫助辨識物體，SIFT 特徵是基於物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。 對於光線、雜訊、些微視角改變的容忍度也相當高。基於這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特徵資料庫中，很容易辨識物體而且鮮有誤認。