Image Video Segmentation and Annotation by Social Media Analysis

課程 : 論文研討(三)
日期 : 2011.10.15
時間 : 14:00 ~ 15:50
地點 : S516
作者 : 資工產碩(二) — 張金燦
講者 : 中正大學資訊工程系朱威達教授
Image Video Segmentation and Annotation by Social Media Analysis

本次演講特別邀請任職於國立中正大學資訊工程系的朱威達教授主講，講題為Image/Video Segmentation and Annotation by Social Media Analysis。利用旅遊中所拍攝紀錄的相片與影片或社群媒體的圖片與影像作來分析解決多媒體內容的分類、摘要與註解。

因為數位攝影裝備目前已成為普遍的影像紀錄裝置，再加上記憶容量的大幅提升，用圖像與影片記錄目前的生活作息已成為習慣，而所記錄的資料量日益龐大，要有效的管理與紀錄注釋這些數位資訊與分享旅遊的經驗提供就成為使用人的一項挑戰。朱教授今天所做的專題演講就是有關於這一部分的研究，報告中我們不難發現朱教授在這方面的成功應用，像是對旅遊中的相片與影片紀錄先行做場景檢之、分景分類，克服不同曝光、震動問題所造的影響，進而利用相片中的關鍵框經由視覺單字(Visual word)作比對切割，以達成擷取所需要的相片或影片的歸類進而進行文字註解。

這裡朱教授用到一個蠻重要的技術SIFT(Scale-Invariant Feature Transform)來找出照片與關鍵影格串列中的特徵點，並且利用K-means的集群分類方法將照片或影片中的特徵點給予分群，並且賦予一個視覺單字，然後統計他們在關鍵影格內不同視覺單字的數量，將這些圖片分別轉化成視覺單字統計圖(直條圖)，利用此一結果的比對來判斷相片與影片的相似度。

從這一技術不難發現類似的應用在現今的Google圖片搜尋平台或是Flicker、Picasa等圖片分享平台都有相似的功能提供應用，讓您我可以將數位生活紀錄構成用遠的回憶與分享。