이미지 분할 (Image Segmentation)

이미지 분할 (Image Segmentation)

 

 

이미지 분할 (Image Segmentation)이란 디지털 영상을 여러 개의 픽셀 집합으로 나누는 과정을 의미한다. 이미지 분할의 목적은 영상을 조금 더 해석하기 쉽게 단순화하는 것으로 이를 통해 해당 이미지에서 관심 영역 (region of interest)을 추출할 수 있다. 이미지 분할 종류에는 시맨틱 분할 (Semantic Segmentation)과 인스턴스 분할 (Instance Segmentation)이 있다. 시맨틱 분할이란 클래스 별로 사물을 검출하는 방법으로 같은 사물은 같은 색으로 구분되며 픽셀 단위로 레이블을 예측한다. 반면, 인스턴스 분할은 동일한 클래스일지라도 서로 다른 사물이면 다른 인스턴스로 구별하여 표시하는 방 법으로 모든 인스턴스를 픽셀 단위의 레이블로 분할한다.

 

픽셀 예측

 

이미지 분류는 레이블이나 카테고리를 예측하는 작업이다. 객체 검출은 해당 경계 박스 를 사용해 몇 가지 딥러닝 기반 알고리즘의 목록을 예측하는 작업이다. 경계 박스에는 검출된 객체 이외의 객체가 있을 수 있다. 일부 애플리케이션 프로그램에서는 레이블에 모든 픽셀에 레이블을 저장하는 것이 여러 객체를 가질 수 있는 경계 박스보다 중요하다. 시맨틱 분할은 픽셀 단위 레이블을 예측하는 작업이다. 다음은 이미지 및 해당 시맨틱 분할의 예다.

 

 

이미지에 표시된 것처럼 입력 이미지는 모든 픽셀에 대한 레이블을 사용해 예측한다. 레이블은 하늘, 나무, 사람, 산 다리일 수 있다. 전체 이미지에 레이블을 할당하는 대신 각 픽셀 단위로 할당한다. 시맨틱 분할은 픽셀을 독립적으로 레이블링한다. 실제로는 모든 사람들이 각각 구별되지 않음을 알게 될 것이다. 이미지의 모든 사람은 같은 방법으로 레이블링이 지정된다. 다음은 동일한 레이블의 모든 인스턴스가 구별되는 예다.

 

 

모든 인스턴스를 픽셀 단의 레이블로 분할하는 작업을 인스턴스 분할이라 한다. 인스턴스 분할은 픽셀 수준 레이블을 사용하는 객체 검색의 확장으로 생각할 수 있다.

 

시맨틱 분할을 위한 알고리즘

 

이미지 분할 작업을 해결하기 위해 제안된 몇 가지 딥러닝 기반 알고리즘이 있다. 슬라이딩 윈도우 방식은 세그먼트화를 위해 픽셀 레벨에서 적용될 수 있다. 슬라이딩 윈도우 방식은 이미지를 가져와 이미지를 작게 나눈다. 이미지의 모든 자르기는 레이블 단위로 분류된다. 이 방법은 겹치는 패치 간에 공유되는 기능을 다시 사용하지 않기 때문에 비용이 많이 들고 비효율적이다.

 

완전 컨볼루션 네트워크 (FCN, Fully Convolutional Network)는 종단 간 컨볼루션 네트워크 아이디어를 도입했다. 완전 연결 레이어를 제거해 표준 CNN 아키텍처를 FCN에 사용할 수 있다. 완전 연결 레이어는 컨볼루션 레이어로 대체된다. 깊이는 최종 레이어에서 더 깊고 크기는 더 작다. 따라서, 2D 컨볼루션을 수행해 원하는 수의 레이블에 도달할 수 있다. 그러나 분할의 경우 공간 차원을 보존해야 한다. 따라서, 완전 컨볼루션 네트워크는 다음과 같이 최대 풀링 없이 구성된다.