関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video

Description
1. 関東CV勉強会 2015年7月20日 CVPR2015論文紹介 Approximate Nearest Neighbor Fields in Video 2. 紹介論文 ❖ “Approximate Nearest Neighbor Fields in…

Please download to get full document.

View again

of 34
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
Information
Category:

Engineering

Publish on:

Views: 73 | Pages: 34

Extension: PDF | Download: 0

Share
Transcript
  • 1. 関東CV勉強会 2015年7月20日 CVPR2015論文紹介 Approximate Nearest Neighbor Fields in Video
  • 2. 紹介論文 ❖ “Approximate Nearest Neighbor Fields in Video”! ❖ Nir Ben-Zrihem, Lihi Zelnik-Manor! ❖ CVPR 2015
  • 3. 論文概要 画像 大量の画像 大量の画像パッチ群 学習 Reference set …
  • 4. 論文概要 利用例 (denoising)
  • 5. 論文概要 ❖ Ring Intersection Approximate Nearest Neighbor search; RIANN! ❖ とっても速い! ★ state-of-the-art より2桁速い.! ★ 30fps 動画をReal-time 処理できる.! ❖ Reference set は(基本的に) global (入力画像によらない).
  • 6. Nearest neighbor ❖ Reference points (青, 赤) に対し, query point (緑) が最も近い点はどれか?! ❖ 近似的に求める場合はApproximate nearest neighbor (ANN).
  • 7. ANN-Field ❖ 入力画像の各パッチを, reference set にあるパッチに紐づける. ! ❖ 対応は (Approximate) nearest neighbor で決定される. ! ❖ この対応表 の1枚1枚をANN-Fieldと呼ぶ.
  • 8. 問題 ❖ Reference set はすでに持っているとして, 入力パッチに 対応する reference を高速に見つけたい.
  • 9. : に対応するreference : に対応するreference よくでてくる記号 qx,y,t : 時刻 t, 座標 (x, y), の画像パッチ Frame 時系列 x y Reference set … ri qx,y,t Video qx,y,t 1 rj
  • 10. Temporal coherency 時間的に連続するフレーム間の対応するパッチは似てる 対応する reference も似ている. ❖ Hollywood2 dataset の20のvideoで確認. ! ❖ Reference setはターゲットのビデオ自身から学 習. queryとreferenceの対応は (exact) NN.! ❖ パッチサイズは8*8. ! ❖ の場合の~85%が距離1以下になった.ri = rj
  • 11. ❖ の reference がわかったとする. の reference を見つけるには, 多くの場合, の周辺を探せばいい. ! ❖ ただ, temporal coherency が成り立たない場合は探索範囲を広 げなくてはいけない. ri qx,y,t rj qx,y,t 1 ri それぞれのqueryに対し, どうやって探索範囲を定めるか? Temporal coherency
  • 12. Query と reference の距離 ❖ もし reference set が適切なら, と その reference はよく似ているはず. dist(ri, rj) dist(ri, qx,y,t) qx,y,t rj 先ほどと同様の条件で! 実験的に確認
  • 13. Find a ring ❖ 図のような円環上を探せば良い. = · dist(ri, qx,y,t) dist(ri, rj) dist(ri, qx,y,t) それぞれのqueryに対し, どうやって探索範囲を定めるか? ∵ ❖ 円環の厚みは円の直径に比例させる.
  • 14. Find a ring ❖ 図のような円環上を探せば良い. = · dist(ri, qx,y,t) dist(ri, rj) dist(ri, qx,y,t) それぞれのqueryに対し, どうやって探索範囲を定めるか? ∵ ❖ 円環の厚みは円の直径に比例させる. でもまだここらへん余分じゃない?
  • 15. Adaptive hashing ❖ もし reference set が適切なら, とその reference は似て る( ).! ❖ だけでなく他の reference についても成り立つでしょ. dist(rk, rj) dist(rk, qx,y,t) qx,y,t rj dist(ri, rj) dist(ri, qx,y,t) dist(rk, rj) dist(rk, qx,y,t) 複数の円環の積集合部分を探索する rj
  • 16. ❖ 実験では, ! ★ 次の円環中心の reference は探索領域内の reference からランダムに選 ぶ. ! ★ 探索領域にある reference 数が20をきるまで円環を重ねて絞っていく. ! ★ 絞りきった後に残った reference から nearest neighbor で query の reference を見つける. Ring Intersection Approximate Nearest Neighbor search (RIANN) アルゴリズム名
  • 17. 円環領域にある点を探すために ❖ 円環領域にある点を探すために, reference set の任意の 2 reference に対 して距離を計算してソートしておく. ! ❖ これによって二分探索で, 円環部分の reference を高速に得られる. ri からの距離の小さい順に並んだリスト {ri, r2, ..., r9, r1, ...} < d +d < これで円環部分の reference を速く見つけられる.
  • 18. Reference set のはなし ❖ 動画群から global reference set をつくる. ! ❖ 応用例によっては, 入力動画の1フレームだけからつくった local reference set をつくる.
  • 19. Reference set をつくる Frame 大量の画像 大量の画像パッチ High dimensional tree ! でクラスタリング 類似のパッチがいっぱい 各クラスタのmedianを採用 Reference set … local reference set ! の場合は1 Frameだけ.
  • 20. 実験 ❖ Hollywood2 dataset から 20の動画をターゲットとして使う. ! ❖ 各動画は200 frame, 解像度は480*640, 600*800, 768*1024.! ❖ 各動画についてANNFを作って, 重複部分は平均化して, フレームを再構 成. ターゲットフレームとの誤差で評価. ! ❖ パッチサイズは8*8.
  • 21. 応用例 ❖ Realtime Video Denoising! ❖ Realtime Video Colorization! ❖ Realtime Styling Effects どれも local reference set を使う.
  • 22. Denoising ❖ 7% Gaussian ノイズ.! ❖ 1 frame だけ BM3D で denoise して local reference をつくる.
  • 23. Colorization ❖ Grayscale 動画 に色を付ける. ! ❖ Grayscale 動画の1 frameは手動で色を付ける or color 動画の1 frameは既 知として, これから local reference set を作る. ! ❖ 残りのフレーム部分はANNFで色づけ.
  • 24. Styling effect ❖ Photoshopで1frameだけ加工して, reference setを作る. ! ❖ 残りのフレームはANNFから再生.
  • 25. おしまい
  • Related Search
    Similar documents
    View more...
    We Need Your Support
    Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

    Thanks to everyone for your continued support.

    No, Thanks