Image/Video Segmentation and Annotation by Social Media Analysis

課    程 : 論文研討
班    級 : 資工產碩二
日    期 : 100年 10月14日
演講者 : 中正大學資工系朱威達教授
題    目 : Image/Video Segmentation and Annotation by Social Media Analysis
姓    名 : 魏早達
學    號 : 99366512

　　本週的演講讓我體會到作研究時，那種如何化繁就簡，再由簡逐步往繁向前推進。朱教授以旅遊媒體為出發點所引發的一連串研究，讓我覺得很多研究的主題，其實在平時的日常生活中隨手可得，再運用專業的知識及研究方法，便可美化人們的生活品質。

　　從一般人出去玩，往往會一面拍照一面拍影片，而在我們拍影片時，往往到不同的點便拍一連串影片，事後要看每一段影片都要重頭找起，或者用後製軟體去作不同場景的切割，而拍照往往會有到不同的景點便以代表性的景物作拍照。如果可以運用這些景點相片用來作為旅遊影片場景的偵測, 將同樣景點聚集在一起，並藉由相片來分割影片的場景，就可以達到這個目的。

　　首先需對影片分析關鍵畫面，用模糊邊緣來過濾，然後對關鍵畫面及相片取特徵點，再以k-means分成k 群，並且形成visual words得到visual word histogram作為相似度的判定標準，其概念是：

1.          當某些東西在照片和影片都出現的話代表它是重要的東西, 可以拿來當摘要..

2.          如果一個shot在很多地方都match 到便要留下來。

於是可串聯起相片和影的關聯性以及場景的群聚及切割。

　　當然朱教授又想到同樣的方法也可以運用網際網路的照片作為自己影片的切割，還有相片摘要的產生等應用，這真是一法通萬法通的作法

Parallel Vision with GPGPU/CUDA 以GPGPU/CUDA進行平行視覺

課    程 : 論文研討
班    級 : 資工產碩二
日    期 : 100年 10月7日
演講者 : 輔仁大學電機工程系王元凱教授
題    目 : Parallel Vision with GPGPU/CUDA 以GPGPU/CUDA進行平行視覺
姓    名 : 魏早達
學    號 : 99366512

　　記得我的第一台電腦宏碁的小教授，使用著Z80 CPU，當時寫程式只能使用Z80組合語言，而且要將組合語言自己去翻譯成16進位碼才可以輸入電腦。到後來買了Apple II，開始了高階語言的寫作之旅，即使是Apple II也只是使用6502這顆8位元的CPU，這和今天的CPU真是不能比。

　　就正如Moore’s Law 所說的每18個月CPU的電晶體個數會增加一倍，人們不斷追求著高速的CPU運算時代，但是沒多久就發現CPU中電晶體的成長受到了許多物理因素的影響(如：發熱現象)，已經到了一個成長的極限。所幸發現了可以使用多核來解決此一問題。也因此CPU的發展進入了多核的時代。其實多核的發展早就在GPU上實現，現在的GPU動輒數百核，實在不是現在的CPU所能比擬的，所以如果能將一些耗費CPU的運算交由GPU去執行，那不就是儼然有了一部超級電腦，但是要完成這個想法，光有硬體的配合是不夠的，也要在程式的撰寫上做到多執行緒的部份，另外如何能用到GPU，目前有兩種API framework，分別為CUDA和OpenGL，以使用nVidia顯示卡來說，甚至於可以將C++程式碼不用修改直接用CUDA編譯後，就可以在GPU執行而且得到不錯的效果，如果再配合CUDA的規範去改寫甚至可以有數百倍的效果。

　　有了這個的特性，王教授把它運用在需要高度運算的平行視覺領域中，更是得到如魚得水的效果，譬如在一個光線不怎麼好的環境要做影像復原（Image Restoration），也就是如何把亮與不亮的部份都變亮，常用的方法就是高斯模糊的演算法，當然在運用CUDA的細節部份還需要考量那些適合使用GPU，大致可以歸納出：

l   Domain decomposition à GPGPU

l   Function decomposition à CPU

從實驗數據來看，確實也獲得非常好的效果。

　　從王教授的演說內容給我了一些啟發，我們現在作實驗經常需要好幾台機器跑好幾天，如果能運用GPGPU來做，應該可以節省不少時間，只不過現在通常運用的一些模擬工具（如：NS2，OMNet++等）不知是否支援CUDA，如果能夠支援的話，那對我們真是一大福音。

人類運動捕捉資料之語意特徵萃取與檢索方法

課    程 : 論文研討
班    級 : 資工產碩二
日    期 : 100年 9月30日
演講者 : 義守大學資工系杜維昌主任
題    目 : 人類運動捕捉資料之語意特徵萃取與檢索方法

姓    名 : 魏早達
學    號 : 99366512

　　人類運動捕捉的課題，與整個電腦繪圖科技的發展密不可分，尤其是電腦遊戲的發展及電影工業的後製更是對這個技術推波助瀾，記得二十多年前在大學修電腦圖學時，用第一代的IBM PC設計一個３度空間透視的簡單動畫，光是矩陣的運算，就把那台PC操得氣喘噓噓的，如果要做的複雜一點就要使用Sun的繪圖工作站，到如今隨便一台電腦玩起3D遊戲都是順暢的不得了。而今為了擬真的需要，無論是想要模擬人類或是動物的動作，最簡單的方式就是直接捕捉相關影像，並轉換成相對數據及模型，以便運用在動畫的繪製上。

　　當然正如前二週有關影像辨識的課題，所以的轉換都有所謂的誤差，也就是特徵值是否有代表性，綜合這幾週的討論，大致上採取的方法都是設計一套模型或轉換公式，分別將標的物轉換成相對特徵數據，並運用資料庫的資料加以訓練及並測試驗證。杜主任在模型的建立，是將所有的辨識點以Tree的結構儲存，並以脊椎為所謂的Root Node,　而其動作的轉換思維是以平面的變化為主，也就是直方圖形式記錄每一片段可能出現姿勢的機率作為特徵，藉以加快相似度比對的計算時間，而針對動作比對的方法是以Hybrid的方式，即結合了Merge的方式及Splitting的方式的長處，所謂的Merge就是先切成一小格, 知道和旁邊的是否相近, 如果相近則相結合，而Splitting 是先用訓練的方式, 把它符號化., 看切完後左右的相似度, 若相似度越低越好.這兩個一個是Bottom-Up 另一個則是Top-Down，而杜主任的Ｈybrid則是先Merge再Splitting，根據實驗結果看起來得到相當不錯的結果。

　　在整個演講過程，看了一些展示真是有趣極了，不過如果要更進階的驗證就需要有昂貴的Motion Capture Device，不過我認為如果能用一般的WebCam就能做到Motion Capture Device的效果，那才是科技的大突破呢！

最近特徵空間轉換法之人臉識技術

課    程 : 論文研討
班    級 : 資工產碩二
日    期 : 100年 9月23日
演講者 : 聯合大學資工系 韓欽銓教授
題    目 : 最近特徵空間轉換法之人臉識技術

姓    名 : 魏早達
學    號 : 99366512

　　每次到美國在過海關時，總不免要接受移民局人員要求接受WebCAM拍攝。那時我就在想現今的人臉辨識技術，已經可以達到快速準確了嗎？還記得以前公司樓下有一家星創科技專門在研發臉部辨識軟體，當時我曾測試過他們的軟體，經常會因為燈光及角度及取樣等問題，造成辨識率下降，那時就覺得臉部辨識技術在一些要求較高的領域，應該還有一大段的路要走。實際上生物辨識技術到現在為止較為人們認可及成熟的，大概是指紋、掌紋及聲紋等特異性較高的領域。這一次聽了韓教授的研究，對於人臉辨識技術的發展，有了一番不同的認識。

　　韓教授首先談到整個辨識空間的概念是由空間中的點所形成，而人的辨識準則其實就是在計算距離。所以對於距離的計算，根據座標空間的不同，也就是所謂平面座標一直進展到高維座標，在數學上也就是從幾何座標到線性代數而已，而人臉影像的特徵可以區分為：

l   高維度

l   易受光線影像

l   多表情

l   多角度

l   部份遮蔽

這些特徵和其他生物特徵辨識比較比來實在複雜許多，而且一般在作人臉辨識的樣本採集不易，有著所謂小樣本的問題。整個辨識的流程為：

l   人臉特徵表示方式- 區塊影像特徵

l   特徵區分能力分析

l   分類器設計:多分類器

大致上根據上述步驟進行，由於人臉辨識根據特徵的分割所造成的分割造成多維度的問題，運用距離轉換來降低維度時相當重要，而韓教授的研究重點和一般不同的地方是在將距離轉換的部份在特徵擷取時就已嵌入，來達成前述目的也導出了公式：Ｙ＝W^TX也驗證了此一公式的通用性，根據實驗結果顯示確實也較其他人所提出的得到更佳的效果。我認為接下來如果能克服速度的問題，未來在應用上應該就比較能往商品化的路前進了。

　　其實連續兩週的演講主題都和辨識有關，同樣是想辨法將一形體將特徵用不同的方法標記及描述，以達到辨識的目的，我突然有一個想法，如果運用上週所談的碎型分析技術來進行人臉辨識上不知會得到什麼效果呢！真是令人好奇，希望有人能夠作看看，一定相當有趣。

Fractal Analysis and Medical Image Applications

課    程 : 論文研討
班    級 : 資工產碩二
日    期 : 100年 9月16日
演講者 : 黃博惠院長
題    目 : Fractal Analysis and Medical Image Applications
姓    名 : 魏早達
學    號 : 99366512

　　在國內各類型的癌症一直是位列國人十大死因的前幾位，一般人如果沒有經過特定程度的健康檢查，是很難事先在前期知道是否得病，偏偏各類型的癌症在篩檢時的特徵及方法都不盡相同，其中除了用各種醫學儀器作各種檢測外，有些部份還需仰賴有經驗的醫事人員做進一步的判讀。本次演講黃院長暢談其以碎型分析的方法，進行攝護腺癌的篩選分類研究。並得到相當程度的成功率。

　　首先談到什麼是碎形概念，所謂的碎形是一種幾何形狀, 有不規律的變化，像一般平滑幾何體破裂之後所產生的形狀。而其擁有以下的特徵：

   具有自我相似的無窮結構

   碎形的維度可代表它的特徵，並推導出下列維度的運算式

N_r ~ (1/r)^D or D=log(N_r)/log(1/r)

那如何將碎型的分析方法運用到攝護腺癌的判讀呢？首先要瞭解現今攝護腺癌的判讀是以病理圖像分成五級，來判定其嚴重程度，所以在碎型的應用上是以其圖像的亮度來作碎型分析的依據，其估算方式如下：

1. 把主體S切成Nr個

2. Extracting FD by DBC Method 亮度

3. Extracting FD by EBFDE Method 亂度估算維度

並以在台中榮總所取攝護腺癌患者的攝影圖像作為訓練資料，由於初期和二期病患資料較少，所以合併成同一類，故分為四級，分別以Bayesian,k-NN和SVM三種方法來分群驗證，在訓練及測試模型時，是以Leave-One-Out(LOO) 和k-Fold Cross-Validation來設定訓練資料及測試資料的選擇方法，根據實驗結果，大部份可以達到93%的成功辨識度，少數辨識錯誤的部份，可歸究於醫事人員在判讀時，比較傾向告訴病患稍為樂觀的看法所致。可見得以碎型分析來判讀及分類攝護腺癌，是一種非常有效的方法。

　　就像我們常聽到的”科技始終來自人性”，我們在科學領域作了很多的研究，最終就是在解決人類的各種問題，由黃院長的研究更是深深啟發及印證了我這方面的認知及思維。