[Computer Vision] 블록 매칭 및 3D 필터링 (Block-Matching and 3D filtering, BM3D)

블록 매칭 및 3D 필터링 (Block-Matching and 3D filtering, BM3D)

 

블록 일치 및 3D 필터링 (BM3D)은 주로 이미지의 noise 감소에 사용되는 3D 블록 일치 알고리즘이다. non-local means methodology의 확장 중 하나이다. BM3D에는 hard-thresholding 및 Wiener filter 단계와 둘 다 그룹화 (grouping), 협업 필터링 (collaborative filtering) 및 집계 (aggregation) 부분을 포함한다. 이 알고리즘은 변환 사이트의 증강 표현에 따라 다르다.

 

왼쪽: ISO800에서 촬영한 원본 이미지의 원본, 중간: bm3d-gpu(sigma=10, 2단계)를 사용하여 noise 제거, 오른쪽: darktable 2.4.0 프로파일 noise를 사용하여 noise 제거(로컬이 아닌 평균 및 웨이블릿 혼합)

 

Method

 

1. Grouping

 

이미지 조각은 유사성을 기반으로 함께 grouping되지만 표준 k-means 클러스터링 및 클러스터 분석 방법과 달리 이미지 조각이 반드시 분리되지 않는다 . 이 블록 일치 알고리즘은 계산이 덜 요구되며 나중에 aggregation 단계에서 유용하다. 그러나 조각의 크기는 동일하다. reference fragment과의 비유사도가 지정된 임계값 아래로 떨어지면 단편이 grouping된다. 이 grouping 기술을 블록 일치라고 하며 일반적으로 디지털 비디오의 서로 다른 프레임에 걸쳐 유사한 그룹을 grouping하는 데 사용된다. 반면에 BM3D는 단일 프레임 내에서  매크로블록을 grouping할 수 있다. 그런 다음 그룹의 모든 이미지 조각이 쌓여서 3D 실린더와 같은 모양을 형성한다.

 

2. Collaborative filtering

 

filtering은 모든 조각 그룹에서 수행된다. d+1 차원 선형 변환이 적용된 다음 Wiener filtering과 같은 변환 영역 축소가 뒤따른 다음 선형 변환을 반전하여 모든 (필터링된) 조각을 재생한다.

 

3. Aggregation

 

이미지는 다시 2차원 형태로 변환된다. 모든 겹치는 이미지 조각은 noise에 대해 filtering되지만 고유한 신호는 유지하도록 가중치 평균을 낸다.

 

Extensions

 

1. Color images

 

RGB 이미지는 회색조 이미지와 매우 유사하게 처리될 수 있다. RGB 이미지에 휘도-색차 변환을 적용해야 한다. 그런 다음 대부분의 유용한 정보와 더 높은 SNR을 포함하는 휘도 채널에서 grouping가 완료된다. 이 접근 방식은 색차 채널의 noise가 휘도 채널의 noise와 밀접하게 연관되어 있고 grouping가 필요한 계산 시간의 약 절반을 차지하기 때문에 계산 시간의 약 1/3을 절약하기 때문에 작동한다.

 

2. Deblurring

 

BM3D 알고리즘이 확장되어(IDD-BM3D) 두 목적 함수의 내쉬 평형 균형을 사용하여 디커플링 디블러링 및 noise 제거를 수행한다.

 

https://en.wikipedia.org/wiki/Block-matching_and_3D_filtering

Block-matching and 3D filtering - Wikipedia