2018年6月底時 Google 發表了這篇標題為 ”Self-Supervised Tracking via Video Colorization” 的文章
其大意為使用了一個 CNN 來對灰階影像著色. 其方式為自參考影像(reference image)複製顏色而來. 藉由這樣的方式, NN得以在沒有監督的情況下自動地以視覺方式追踪標的. 而值得一提的是該 NN 並沒有特別以追蹤方式來訓練, 但它能夠跟踪多個標的, 在遮蔽下追蹤, 以及在變形時保持穩定, 無需任何標記的訓練數據.
這樣的 NN 有很多種應用, 在文章中提到了動態偵測, 物件互動與視訊風格套用, 文章舉例了對單色的視訊基於初始著色影響做連續自動上色. 事實上這種高可靠性提供連續畫面變化資訊的 object tracking 系統相當實用, 像是 depth map 的變化處理(錄影上套用淺景深風格), 影像特徵點對應的更新(美顏美肌的五官位置), 變動範圍擷取(監控系統, ROI extraction, 減少耗時的處理), 甚至與視訊壓縮提供更好的 ROI, motion/reference hints, 而透過 segmentation / object detection 相關的實作(很多 segmentation NN 都提供了 Visualize 的結果, 可以作為初始化來使用)甚至可以提供對於影像變化的了解(像是車用行徑路況動態的了解), 而許多單張處理上的演算法, 也可以搭配這樣的方式作變化比對與修正.
沒有留言:
張貼留言