画像の領域分割と3次元ボリュームデータ処理
3次元多値連結性解析、ボクセルの領域分割への応用
時間軸方向に画像を積層し、同一の特徴を持つ部位を抽出 (2016/04/05)
3次元多値データの高速連結性解析と、堅牢な立体領域自動分割処理への適応
はじめに
画像の中から対象物を分離するのは、事前に予備知識がない状態からでは決して容易な
処理ではない。また色等の違いから対象物を構成する部分を分離する事も決して容易な
処理ではない。多くの場合、境界部分(エッジ)を上手く処理出来ずに人の認識している
境界とはかなりずれた選択になりやすい。
ここでは、2次元データ(画像)においては、ある程度の品質で対象物を構成する要素を
分離出来る事を前提に、時間軸を加えた3次元データ(ムービー)に対して、領域の分離
を拡張する事を試みる。
当初から連続データとして用意したデータと、各フレームが独立したシネマデータでは
各フレーム毎に分離分割した領域の状態が、連続するフレーム間で非常に高い精度で、
一致しなければスムーズな連続データが得られないので、対象データとしての難易度は
更に上がる事と、各フレーム画像に対し自動的に条件を評価(各画像毎にパラメータを
与える必要がない)し、分割処理を行えなければ、達成が難しい事を付け加えておく。
検証手順に関して
1、3次元の映像データを評価用のソースとする。
2、評価用のソースの動画を各フレーム毎の画像に分解する。(FFmpeg コマンド等)
3次元映像を2次元画像に分解する必要性は無いが、途中の検証を容易に出来る
3、抽出した画像に領域分割処理を施し、領域内の色平滑化処理を行う。 映像2
この平滑化処理の結果、エッジ部分の変化量が大きくなり、次処理が容易になる。
4、領域分割処理後色平滑化処理を行い生成した画像に対し、減色処理を行う。映像5
RGBを各8階調に減じ(データの上位3ビットのみを使用)た画像を生成する。
※ 領域分割処理、色平滑化処理を経ない場合、境界が失われてしまう。
5、画像の縦x画像の横xフレーム数からなる、3次元データを作る。
6、新たに作成した3次元データに対し、多値データに対応した連結性解析処理を行う。
※画像処理の、2値画像に対して一般的に行われているラベリング処理を、多値
データ用に拡張し、更に3次元データに対応する様に拡張したラベリング処理
7、割り当てられた識別番号を、人間が判断しやすい疑似カラー画像に変換する。映像4
8、3次元データから、動画に再編成する。(3D-> フレーム画像-> FFmpeg コマンド等)
2次元の領域分割と3次元の領域分割
映像1、原画
|
映像2、領域分割処理後、各領域内の色を平滑化 |
|
映像4、3次元データ化後3次元連結性解析処理 多値ラベリング結果を疑似カラー化 |
映像5、使用する色数を減らす(分割領域内を減色処理)
事で、フレーム間における連続(同値)領域を拡大する |
※各フレームを結合し3次元データを作成後、3次元データに対する連結解析処理を行い、
連続領域に同じ識別番号を付与後、2次元データ(フレーム毎の画像)に分解、識別番号を
疑似カラー化したことにより、フレーム間で同じ連結情報を持つ部分は、同一の値(色)で
識別される。
参考情報として
映像3、分離したフレーム毎の領域分割処理した後
各フレーム単位で分割した領域毎を疑似カラー化 |
評価結果
・映像1、今回の処理対象の動画
・映像2、映像1の各フレーム画像に対し、領域分割処理と領域内平滑化処理を施した結果
・映像3、映像1の各フレーム画像に対し、領域分割処理を施し、分割した領域毎に疑似カラー化
・映像4、映像1、映像2、映像5 の処理を行った3次元データに対して、ラベリング処理した
結果を疑似カラー化したデータ。 フレーム間で同じ値で隣接(連結)している画素には、同
じラベル番号が振られることになるため、画面のフラッシングが少なくなる。
ラベリングされているので、当然、面積や重心包括領域の大きさ等の測定が可能である。
・映像5、映像2状態の画像は、人間の目で不自然さが無い程度に分割されているので、3次元化
しても、十分な大きさの連結領域として抽出できない。
RGB各8階調(512色)まで階調を落とす事で、十分な大きさの連結領域が生成される領域
分割と平滑化処理を行っているので、所望するエッジは保持されている。
今回の評価から判断するに、2次元のデータ(画像)の時点で、十分な粒度で領域が分割
されている場合は、平滑化処理と減色処理を併用する事で、連続したフレームにおいても
連結性の保持を介して、対象の追尾性が確保出来ると言える。
終わりに
画像処理に限った事ではないが、標準データセットという物は、公平な評価を行う上で
必須の要素となる。画像においては、レナ(Lenna)が有名で知らない人はいないと思うし
そのた多くの画像が公開されて、自由に利用できる様になっている。
しかし、高品質のカラー動画に関しては、そのようなケースはさほど多くはない。
幸か不幸かアメリカの著作権法のおかげで、パブリックドメインとなったカラー映画が
いくつか存在している事実はある。
この様な映像の、マスター或いは準マスターの所有者が、デジタルマスターを提供して
自由に使わせてくれる時代が来るものだと、信じて疑わないのは私だけであろうか?