Image Video Segmentation and Annotation by Social Media Analysis

課程: 論文研討

班級: 資工研一

日期: 100年10月14日

地點: S516

講師: 中正大學資訊工程系朱威達教授

講題: Image Video Segmentation and Annotation by Social Media Analysis

報告: 李瑀祺00366084

使用影片找圖片，使用圖片找影片，原來出去旅遊的精采片段都可以分段成主題，把同個景點規在同一類，在旅程結束後整理才不至於無法回憶。但照相也有無法控制的時候，因此將雜亂、模糊、無結構的資料去除後才能有更好的效果。過程中使用global k-mean演算法揀選出適量的組別，再選出組中的keyframes。這個系統很特別的創造出Visual Word，類似牙牙學語實的字卡來幫助辨識，標明照片所屬主題。

接著是影片分段，使用SIFT特徵點來選keyframe，之後將之分成兩組global用visual word；local用feature point代表，計算相關度除以keyframe得到精確度來衡量。

在Google、Yahoo、Flickr等媒體搜尋平台，主要利用SIFT特徵點去判定圖片相符程度。另外Youtube的annotation tag也與visual word有異曲同工之妙。整體來說利用media correlation的關係去解決照片、影片的分段、以圖找圖，以代表文字找影片是其中的精神所在。