이미지 세그멘테이션

디지털 이미지 처리 및 컴퓨터 비전에서 이미지 분할은 디지털 이미지를 여러 이미지 세그먼트로 분할하는 프로세스로, 이미지 영역 또는 이미지 객체(픽셀 세트)라고도 합니다.분할의 목적은 이미지 표현을 보다 의미 있고 ^[1][2]분석하기 쉬운 것으로 단순화하거나 변경하는 것입니다.영상 분할은 일반적으로 영상에서 개체와 경계(선, 곡선 등)를 찾는 데 사용됩니다.보다 정확하게 말하면, 영상 분할은, 같은 라벨을 가지는 픽셀이 특정의 특성을 공유하도록, 영상의 모든 픽셀에 라벨을 할당하는 프로세스입니다.

영상 분할의 결과는 전체 영상을 포괄하는 세그먼트 세트 또는 영상에서 추출된 윤곽선 세트입니다(엣지 감지 참조).영역의 각 픽셀은 색상, 강도 또는 텍스처와 같은 특성 또는 계산된^[3] 속성과 유사합니다.인접한 영역은 동일한 특성에 대해 색상이 크게 다릅니다.^[1]의료 영상에서 일반적인 영상 스택에 적용할 경우 영상 분할 후 생성된 윤곽선을 사용하여 행진 ^[4]큐브와 같은 보간 알고리즘을 사용하여 3D 재구성을 생성할 수 있습니다.

적용들

영상 분할의 실용적인 적용 분야는 다음과 같습니다.

• 콘텐츠 기반 이미지 검색^[5]
• 기계 비전
• 컴퓨터 단층 촬영 및 자기 공명 영상으로부터 볼륨 렌더링된 영상을 포함한 의료 ^[6][7]영상입니다.
  • 종양 및 기타 병리^[8][9] 위치 확인
  • 조직^[10][11] 볼륨 측정
  • 해부학적 구조에^[12] 대한 진단, 연구
  • 수술 계획
  • 가상 수술 시뮬레이션
  • 수술 내 내비게이션
• 오브젝트 검출^[13]
  • 보행자 감지
  • 얼굴 검출
  • 브레이크 램프 감지
  • 위성 이미지(도로, 숲, 농작물 등)에서 물체를 찾습니다.
• 인식 태스크
  • 얼굴인식
  • 지문 인식
  • 홍채인식
• 교통 관제 시스템
• 비디오 감시
• 비디오 객체 공동 세그먼트화 및 액션 현지화^[14][15]

영상 분할을 위해 몇 가지 범용 알고리즘과 기법이 개발되었습니다.이러한 기술은 일반적으로 도메인의 세분화 문제를 효과적으로 해결하기 위해 도메인의 특정 지식과 결합되어야 합니다.

세그먼트화 기술의 클래스

분할 기법에는 두 가지 클래스가 있습니다.

• 기존의 컴퓨터 비전 접근법
• AI 기반 기술

이미지 분할 그룹

• 의미 분할은 객체의 ^[16]모든 픽셀에 대해 소속된 클래스를 검출하는 접근법입니다.예를 들어, 그림의 모든 사람이 하나의 객체로 분할되고 배경이 하나의 객체로 분할되는 경우.
• 인스턴스 분할은 모든 픽셀에 대해 개체의 소속 인스턴스를 식별하는 방법입니다.이미지에서 ^[17]관심 있는 개별 개체를 탐지합니다.예를 들어, 그림의 각 사람이 개별 개체로 세그먼트화된 경우.
• 파놉틱 분할은 시멘틱 분할과 인스턴스 분할을 결합합니다.의미 분할과 마찬가지로, 파놉틱 분할은 모든 픽셀에 대해 해당 클래스를 식별하는 접근법이다.의미 분할과는 달리, 파놉틱 분할은 동일한 ^[18]클래스의 다른 인스턴스를 구별한다.

문턱값

가장 간단한 영상 분할 방법은 임계값 지정 방법이라고 합니다.이 방법은 그레이스케일 영상을 이진 이미지로 변환하기 위한 클립 수준(또는 임계값)을 기반으로 합니다.

이 방법의 핵심은 임계값(또는 여러 레벨을 선택한 경우 값)을 선택하는 것입니다.업계에서는 최대 엔트로피 방법, 균형 히스토그램 임계값화, Otsu 방법(최대 분산), k-평균 군집화 등 몇 가지 일반적인 방법이 사용됩니다.

최근에는 컴퓨터 단층 촬영(CT) 영상의 임계값을 설정하는 방법이 개발되었습니다.관건은 오츠 방법과 달리 역치는 (재구성된) 이미지가 ^[19][20]아닌 방사선 사진으로부터 도출된다는 것이다.

새로운 방법은 다차원 퍼지 규칙 기반 비선형 임계값의 사용을 제안했다.이러한 작업에서는, 각 화소의 세그먼트 멤버십에 관한 결정은, 화상 조명 환경 및 애플리케이션에 ^[21]근거하는 퍼지 논리 및 진화 알고리즘으로부터 도출된 다차원 룰에 근거하고 있습니다.

클러스터링 방법

K 평균 알고리즘은 이미지를 K 클러스터로 ^[22]분할하는 데 사용되는 반복 기법입니다.기본 알고리즘은

1. K 군집 중심을 랜덤하게 선택하거나 K-평균++와 같은 경험적 방법에서 선택합니다.
2. 픽셀과 클러스터 중심 사이의 거리를 최소화하는 클러스터에 이미지의 각 픽셀을 할당합니다.
3. 클러스터 내의 모든 픽셀을 평균화하여 클러스터 센터를 재계산합니다.
4. 컨버전스가 될 때까지 순서 2와 3을 반복합니다(즉, 픽셀이 클러스터를 변경하지 않음).

이 경우 거리는 픽셀과 클러스터 중심 간의 제곱 또는 절대 차이입니다.차이는 일반적으로 픽셀 색상, 강도, 텍스처 및 위치 또는 이러한 요소의 가중 조합에 따라 달라집니다.K는 수동, 랜덤 또는 휴리스틱으로 선택할 수 있습니다.이 알고리즘은 수렴을 보증하지만 최적의 솔루션을 반환하지 않을 수 있습니다.솔루션의 품질은 군집의 초기 집합과 K 값에 따라 달라집니다.

평균 이동 알고리즘은 이미지를 알 수 없는 클러스터 수로 분할하는 데 사용되는 기술입니다.이 방법은 이러한 매개변수의 초기 추측부터 시작할 필요가 없다는 장점이 있으므로 보다 다양한 경우에 적합한 일반적인 솔루션이 됩니다.

모션 및 인터랙티브 세그멘테이션

모션 기반 분할은 분할을 수행하기 위해 영상의 움직임에 의존하는 기술입니다.

아이디어는 간단합니다. 두 이미지 간의 차이를 보십시오.관심 객체가 이동한다고 가정하면, 그 차이는 정확히 그 객체가 됩니다.

이 아이디어를 개선하기 위해 Kenney 등은 대화형 세분화를 제안했다[2].로봇으로 물체를 찔러 모션 기반 분할에 필요한 모션 신호를 생성합니다.

대화형 세분화는 Dov Katz[3]와 Oliver Brock[4]가 제안한 대화형 인식 프레임워크를 따른다.

압축 기반 방식

압축 기반 방법은 가능한 모든 분할에 걸쳐 데이터의 ^[23][24]부호화 길이를 최소화하는 것이 최적의 분할이라고 가정합니다.이 두 개념 사이의 연결은 분할이 이미지 내의 패턴을 찾으려고 시도하고 이미지 내의 규칙성을 사용하여 이미지를 압축할 수 있다는 것입니다.이 방법에서는 각 세그먼트를 텍스처와 경계 모양으로 설명합니다.이들 각 구성요소는 확률분포함수에 의해 모델링되며 코딩 길이는 다음과 같이 계산됩니다.

1. 경계 인코딩은 자연 영상의 영역이 부드러운 윤곽을 갖는 경향이 있다는 사실을 활용합니다.이 이전은 Huffman 코딩에 의해 이미지 내 등고선의 차분 체인 코드를 인코딩하기 위해 사용됩니다.따라서 경계가 평활할수록 도달하는 코딩 길이가 짧아집니다.
2. 텍스처는 최소 기술 길이(MDL) 원리와 유사한 방식으로 손실 압축에 의해 부호화되지만, 여기서 주어진 데이터의 길이는 샘플 수에 모델의 엔트로피를 곱한 값으로 근사됩니다.각 영역의 텍스처는 엔트로피가 닫힌 형태 식을 갖는 다변량 정규 분포에 의해 모델링됩니다.이 모델의 흥미로운 특성은 추정된 엔트로피가 위로부터의 데이터의 실제 엔트로피를 제한한다는 것입니다.이는 주어진 평균과 공분산을 갖는 모든 분포 중에서 정규 분포의 엔트로피가 가장 크기 때문입니다.따라서 진정한 코딩 길이는 알고리즘이 최소화하는 길이보다 클 수 없습니다.

이 스킴에서는, 특정의 세그먼트화에 근거해, 그 이미지를 부호화하는 데 필요한 비트수가 산출됩니다.따라서 가능한 모든 영상 분할 중에서 가장 짧은 코딩 길이를 생성하는 분할을 찾는 것이 목표입니다.이것은 단순한 응집 클러스터링 방법으로 달성할 수 있습니다.손실 압축의 왜곡에 따라 분할의 거칠기가 결정되며 최적의 값은 이미지마다 다를 수 있습니다.이 파라미터는 영상의 텍스처 대비에서 경험적으로 추정할 수 있습니다.예를 들면, 위장 화상 등, 화상의 텍스쳐가 유사한 경우는, 감도가 강하기 때문에, 보다 낮은 양자화가 요구됩니다.

히스토그램 기반 방법

히스토그램 기반 방법은 일반적으로 픽셀을 한 번만 통과하면 되므로 다른 영상 분할 방법에 비해 매우 효율적입니다.이 기법에서는 이미지의 모든 픽셀에서 히스토그램을 계산하고 히스토그램의 피크와 벨리를 사용하여 이미지 내의 클러스터를 찾습니다.^[1]색이나 강도를 측정으로 사용할 수 있습니다.

이 기술의 개량점은 히스토그램 탐색 방법을 영상의 클러스터에 재귀적으로 적용하여 클러스터를 더 작은 클러스터로 분할하는 것입니다.이 작업은 클러스터가 ^[1][25]더 이상 형성되지 않을 때까지 더 작은 클러스터와 더 작은 클러스터에서도 반복됩니다.

히스토그램 탐색 방법의 한 가지 단점은 이미지에서 유의한 피크와 계곡을 식별하기 어려울 수 있다는 것입니다.

또한 히스토그램 기반 접근법은 단일 경로 효율성을 유지하면서 여러 프레임에 적용되도록 신속하게 조정할 수 있습니다.히스토그램은 여러 프레임을 고려하는 경우 여러 가지 방법으로 수행할 수 있습니다.1개의 프레임에 대해 취해진 것과 같은 어프로치를 복수의 프레임에 적용할 수 있습니다.또, 결과가 Marge 된 후에는, 이전에는 식별하기 어려웠던 피크와 밸리를 구별하기 쉬워집니다.히스토그램은 결과 정보를 사용하여 픽셀 위치에 가장 자주 사용되는 색상을 결정하는 픽셀 단위로도 적용할 수 있습니다.이 접근방식은 액티브한 오브젝트와 정적 환경에 근거해 세그먼트화되어 비디오트래킹에 도움이 되는 다른 타입의 세그먼트화를 실현합니다.

에지 검출

에지 검출은 이미지 처리 내에서 자체적으로 잘 개발된 필드입니다.영역 경계에서 강도가 급격하게 조정되는 경우가 많기 때문에 영역 경계와 가장자리는 밀접하게 관련되어 있습니다.따라서 에지 감지 기법은 다른 분할 기법의 기반으로 사용되었습니다.

에지 검출로 식별되는 에지는 종종 연결이 끊어집니다.그러나 이미지에서 개체를 분할하려면 닫힌 영역 경계가 필요합니다.원하는 가장자리는 이러한 객체 또는 공간 ^[26][27]범주 사이의 경계입니다.

공간 택슨은^[28] 선명한 픽셀 영역으로 구성된 정보 ^[29]과립으로 계층 중첩된 장면 아키텍처 내의 추상 수준에 배치됩니다.그것들은 그림-배경의 게슈탈트 심리학적 명칭과 유사하지만, 전경, 물체 그룹, 물체 및 돌출된 물체 부분을 포함하도록 확장된다.가장자리 감지 방법은 실루엣에 적용되는 것과 같은 방식으로 공간 분류 영역에 적용할 수 있습니다.이 방법은 분리된 가장자리가 환상^[30][31] 등고선의 일부일 때 특히 유용합니다.

분할 방법은 에지 디텍터에서 얻은 에지에도 적용할 수 있습니다.Lindeberg과 Li[32]는 후보가 중단점과split-and-merge-like 법 보완적 접합 단서에서 더욱 높은 포인트를 얻기 위해 얻은 최적화되었지만 최소 설명 길이(군사 분계선)기준에 근거한 세그먼트parts-based 개체 인식용과 구부러진 일직선 가장자리 부분에 edges 통합된 방법을 개발했다.w에다른 세그먼트로 분할하는 파티션을 고려합니다.

이중 클러스터링 방식

이 방법은 히스토그램 분석을 기반으로 한 이미지의 분할을 클러스터(객체)의 높은 압축성과 경계의 높은 구배로 확인하는 세 가지 이미지의 특성 조합입니다.이를 위해 두 개의 공간을 도입해야 한다. 하나는 밝기 H = H(B)의 1차원 히스토그램이고, 두 번째 공간은 원본 이미지 자체의 B = B(x, y)의 이중 3차원 공간이다.첫 번째 공간에서는 최소 클러스터링 kmin을 계산하여 이미지의 밝기가 얼마나 컴팩트하게 분포되는지 측정할 수 있습니다.kmin에 해당하는 임계값 밝기 T는 이진(흑백) 이미지를 정의합니다. 여기서 B(x, y) < T이면 비트맵 b = ((x, y) = 0, B(x, y) ≥ T이면 비트맵 B(x, y) = 1입니다.이 비트맵에서는 검은색(또는 흰색) 픽셀이 얼마나 콤팩트하게 분포되어 있는지를 나타내는 측정값을 정의해야 합니다.그래서 테두리가 좋은 물건을 찾는 것이 목표입니다.모든 T에 대해 측정값_DC M = G/(k × L)을 계산해야 한다(여기서 k는 물체와 배경 사이의 밝기 차이, L은 모든 경계 길이, G는 경계에서의 평균 구배).MDC의 최대값으로 ^[33]세그멘테이션을 정의합니다.

지역 성장 방식

영역 성장 방법은 주로 한 영역 내의 인접 픽셀이 유사한 값을 갖는다는 가정에 의존합니다.일반적인 절차는 1개의 픽셀을 네이버와 비교하는 것입니다.유사성 기준이 충족되면 픽셀은 하나 이상의 네이버와 같은 클러스터에 속하도록 설정할 수 있다.유사성 기준의 선택은 중요하며 결과는 모든 경우에 소음의 영향을 받는다.

통계 영역^[34] 병합(SRM) 방법은 강도 차이의 절대값으로 가중된 가장자리와 4-연결성을 사용하여 픽셀 그래프를 작성하는 것으로 시작합니다.처음에는 각 픽셀이 단일 픽셀 영역을 형성합니다.그런 다음 SRM은 우선 순위 대기열에서 이러한 에지를 정렬하고 통계 술어를 사용하여 에지 픽셀에 속하는 현재 영역을 병합할지 여부를 결정합니다.

하나의 영역 재배법은 시드 영역 재배법이다.이 메서드는 이미지와 함께 시드 세트를 입력으로 사용합니다.시드는 분할할 각 개체를 표시합니다.영역은 할당되지 않은 모든 인접 픽셀을 영역과 비교하여 반복적으로 성장합니다.픽셀의 명암값과 영역의 $평균인{\displaystyle }$ $"\displaystyle\delta$ 사이의 차이는 유사성의 척도로 사용됩니다.이 방법으로 측정된 가장 작은 차이를 가진 픽셀이 해당 영역에 할당됩니다.이 프로세스는 모든 픽셀이 영역에 할당될 때까지 계속됩니다.시드 영역의 성장에는 추가 입력으로 시드가 필요하기 때문에 분할 결과는 시드 선택에 따라 달라지며 이미지 내의 노이즈로 인해 시드 위치가 잘못될 수 있습니다.

또 다른 지역 재배법은 비시드 지역 재배법이다.이는 명시적 시드를 필요로 하지 않는 수정된 알고리즘입니다.1개의 $영역{\displaystyle {}_{}}$ A $(\$로 시작합니다.여기서 선택한 픽셀은 최종 분할에 큰 영향을 주지 않습니다.각 반복에서 시드 영역의 성장과 동일한 방식으로 인접 픽셀을 고려합니다.시드 영역과는 달리 최소 $(\displaystyle \delta)$가 사전 정의된 $임계값{\displaystyle }$T(\$displaystyle$ T$)$보다 작으면 해당 $영역{\displaystyle {}_{}}$ $(\$ $A_{j$$\})$에 추가됩니다.그렇지 않으면 픽셀은 현재 모든 $영역{\displaystyle {}_{}}$ $A$와 다른 것으로 간주됩니다$.$이 픽셀을 사용하여 새 $영역{\displaystyle {}_{}}$ ${\displaystyle A_{}}$n +$$({$style A_{n+$1})이$$ 생성됩니다.

Haralick과 Shapiro(1985)^[1]가 제안한 이 기법의 변형 중 하나는 픽셀 강도에 기초한다.영역의 평균과 산란 및 후보 픽셀의 강도는 테스트 통계량을 계산하는 데 사용됩니다.테스트 통계량이 충분히 작을 경우 픽셀이 영역에 추가되고 영역의 평균 및 산란이 재계산됩니다.그렇지 않으면 픽셀이 거부되어 새 영역을 형성하기 위해 사용됩니다.

특별한 영역 성장 방법은$\delta {\displaystyle }$ {\$displaystyle$ \$lambda}$ 연결$$ 분할이라고 합니다(람다 연결도 참조).픽셀 강도와 근린 링크 경로를 기반으로 합니다.화소로 형성되는 패스에 근거해 접속도(접속도)를 산출한다.${\$ { $displaystyle$\ $lambda$ {\ ${\$ 、 $2개$의 픽셀을 연결하는 경로가 있고 이 경로의 연결성이 $적어도{\displaystyle }${\ \ $displaystyle$$\$ $lambda$이면 2개의 픽셀을 $연결$이라고 합니다$.\$ $displaystyle$\ $lambda }$ - connected는$$ 동등한 ^[35]관계입니다.

분할 및 병합 분할은 이미지의 쿼드트리 파티션을 기반으로 합니다.쿼드 트리 분할이라고도 합니다.

이 메서드는 전체 이미지를 나타내는 트리의 루트부터 시작합니다.균일하지 않은(동질하지 않은) 경우에는 네 개의 하위 정사각형(분할 공정)으로 분할됩니다.반면 네 개의 하위 정사각형이 동질인 경우 여러 개의 연결된 구성요소로 병합됩니다(병합 프로세스).트리의 노드는 세그먼트화된 노드입니다.이 프로세스는 더 이상 분할 또는 병합을 ^[36][37]할 수 없을 때까지 반복적으로 계속됩니다.메서드의 알고리즘 구현에 특별한 데이터 구조가 관여하는 경우,^[38] 그 시간 복잡도는 메서드의 최적 알고리즘인 O${\displaystyle (n}$ log${\displaystyle n}$n $)\displaystyle$ O$(n\log$ n$)\}$에 $도달$할 수 있습니다.

편미분방정식에 기초한 방법

편미분방정식(PDE) 기반의 방법을 사용하여 수치방식으로 PDE 방정식을 풀면 이미지를 ^[39]분할할 수 있다.곡선 전파는 객체 추출, 객체 추적, 스테레오 재구성 등에 대한 수많은 응용 프로그램에서 이 범주에서 인기 있는 기술입니다.중심 아이디어는 비용 함수의 가장 낮은 잠재력을 향해 초기 곡선을 발전시키는 것이며, 여기서 정의에는 다루어야 할 과제가 반영된다.대부분의 역문제의 경우, 비용함수의 최소화는 단순하지 않고 솔루션에 특정 평활도 제약을 가하며, 이 경우 진화하는 곡선에 대한 기하학적 제약으로 표현될 수 있다.

파라메트릭 방식

라그랑지안 기법은 일부 샘플링 전략에 따라 윤곽선을 매개 변수화한 다음 이미지와 내부 항에 따라 각 요소를 진화시키는 데 기초한다.이러한 기법은 빠르고 효율적이지만 원래의 "순수 파라메트릭" 공식(1987년 카스, 위트킨, 테르조풀로스 때문에 그리고 "뱀"으로 알려져 있음)은 샘플링 전략의 선택, 곡선의 내부 기하학적 특성, 토폴로지 변화(곡선 분할 및 병합), 주소의 제한으로 인해 일반적으로 비판을 받는다.고차원의 문제 해결 등오늘날에는 높은 효율성을 유지하면서 이러한 한계를 해결하기 위해 효율적인 "분리된" 제형이 개발되고 있습니다.두 경우 모두 에너지 최소화는 일반적으로 가장 가파른 경사 강하를 사용하여 수행되며, 여기서 파생물은 예를 들어 유한 차이를 사용하여 계산된다.

레벨 설정 방식

레벨 세트 방법은 1979년과 1981년에 Dervieux와 Thomasset에^[40][41] 의해 이동 인터페이스를 추적하기 위해 처음 제안되었고 이후 1988년에 ^[42]Osher와 Sethian에 의해 재창조되었다.이것은 1990년대 후반에 다양한 이미징 영역으로 확산되었습니다.이는 암묵적인 방식으로 곡선/표면/전파 등의 문제를 효율적으로 해결하기 위해 사용될 수 있다.중심 아이디어는 0이 실제 등고선에 해당하는 부호 함수를 사용하여 진화하는 등고선을 표현하는 것이다.그러면 등고선의 운동 방정식에 따라 0레벨에 적용되었을 때 등고선의 전파를 반영하는 암묵적 표면에 대해 유사한 흐름을 쉽게 도출할 수 있다.레벨 세트 방법은 암묵적이고 매개 변수가 없으며 진화하는 구조의 기하학적 특성을 추정할 수 있는 직접적인 방법을 제공하며 토폴로지의 변화를 허용하며 본질적인 방법이라는 많은 이점을 제공합니다.1996년 Zhao, Merriman 및 Osher가 제안한 최적화 프레임워크를 정의하는 데 사용할 수 있습니다.컴퓨터 비전 및 의료 이미지 ^[43]분석의 수많은 응용 프로그램을 다루는 데 매우 편리한 프레임워크라고 결론지을 수 있습니다.다양한 레벨 세트의 데이터 구조에 대한 연구를 통해 이 방법을 매우 효율적으로 구현할 수 있게 되었습니다.

빠른 행진 방법

고속행진법은 영상분할에 ^[44]사용되었으며, 이 모델은 일반화된 ^[45]고속행진법이라는 접근방식으로 개선되었다(양과 음의 전파속도를 모두 허용).

변분법

변동 방법의 목표는 특정 에너지 기능에 대해 최적의 세분화를 찾는 것이다.함수는 데이터 적합 항과 정규화 항으로 구성됩니다.대표적인 것이 이미지 $\displaystyle$f에$$ 대해 정의된 Potts 모델입니다.

${{displaystyle \operatorname {displaymin}_{u}\display \la u\_{0}+\int(u-f)^2},display}$

$미니마이저{\displaystyle {}^{}}$ u ${\$ { \ $displaystyle$ u$$^ { * } is 、 소정의 $이미지{\displaystyle }$f {\ $displaystyle$ f$$}까지의$$$$ L2 거리 제곱과 점프 세트의 총 길이 사이에 최적의 트레이드오프를 갖는 구간상수 이미지입니다.u의 $점프{\displaystyle {}^{}}$ 세트$(\$ u$^{*})$는 분할을 정의합니다.에너지의 상대적인 무게는 $(\displaystyle$ \$gamma > 0$에 의해 조정됩니다.Potts $모델$의 바이너리 변형, 즉$u$의 $범위$가 2개의 값으로 제한된 경우 Chan-Vese ^[46]모델이라고 합니다.중요한 일반화는 Mumford-Shah 모델이다^[47].

${\displaystyle \operatorname {argmin} _{u,K} \gamma K +\mu \int _{K^{C}} \nabla u ^{2},dx+\int (u-f)^{2},dx}$

함수 값은 분할 $K$의$$총 길이, $u$의 평활도 및 원본 $이미지{\displaystyle }$f {\$displaystyle$ f$\}$와의 거리 합계입니다.스무스니스 패널티의 중량은 $>$ 0$(\displaystyle \mu$ 0)으로 조정됩니다.Potts 모델은 축퇴 $사례{\displaystyle }$ μ ${\displaystyle \to }$ \$display$style \$mu \to \infty$ $\}$로 보여지기 때문에 종종 부분 상수 Mumford-Shah 모델이라고 불린다. 최적화 문제는 일반적으로 NP-hard로 알려져 있지만 거의 최적화 전략이 실제로 잘 작동한다.고전적 알고리즘은 비볼록성과 암브로시오-토르톨리 근사치로 구분된다.

그래프 분할 방법

그래프 분할 방법은 이미지의 균질성을 가정하여 주어진 픽셀 또는 픽셀 클러스터에 대한 픽셀 근방의 영향을 모델링하기 때문에 이미지 분할에 효과적인 도구이다.이러한 방법에서는 이미지가 무방향 가중 그래프로 모델링됩니다.보통 픽셀 또는 픽셀 그룹은 노드와 관련지어지며 가장자리 가중치는 인근 픽셀 간의 유사성을 정의합니다.그런 다음 그래프(이미지)는 "양호" 클러스터를 모델링하도록 설계된 기준에 따라 분할됩니다.이러한 알고리즘에서 출력되는 노드(픽셀)의 각 파티션은 이미지에서 개체 세그먼트로 간주됩니다. 분할 기반 개체 분류를 참조하십시오.이 카테고리의 일반적인 알고리즘으로는 정규화 컷,^[48] 랜덤 워커,^[49] 최소 컷,^[50] 등간격 분할,^[51] 최소 스패닝 트리 기반 세그먼트화 ^[52]및 분할 기반 객체 분류가 있습니다.

마르코프 랜덤 필드

이미지에 대한 마르코프 랜덤 필드(MRF)의 적용은 1984년 초 Geman과 ^[53]Geman에 의해 제안되었다.이들의 강력한 수학적 기반과 국지적 특징에 정의되어도 글로벌 최적화를 제공할 수 있는 능력은 이미지 분석, 디노이즈 및 분할 분야에서 새로운 연구의 토대가 되었다.MRF는 이전 확률 분포, 한계 확률 분포, 클리크, 평활 제약 및 값 업데이트 기준에 의해 완전히 특징지어진다.MRF를 사용한 영상 분할 기준은 주어진 특징 세트에 대해 최대 확률을 갖는 라벨링 체계를 찾는 것으로 재작성된다.MRF를 사용한 영상 분할의 광범위한 범주는 감독 및 비감독 분할입니다.

MRF 및 MAP을 사용한 감시 이미지 분할

화상 분할의 관점에서, MRF가 최대화하려고 하는 기능은, 화상내에서 특정의 특징 세트가 검출되었을 경우에, 라벨링 스킴을 특정할 확률이다.이것은 최대 사후 추정 방법을 재작성하는 것이다.

MAP을 사용한 영상 분할의 일반적인 알고리즘은 다음과 같습니다.

최적화 알고리즘

각 최적화 알고리즘은 다양한 분야의 모델을 채택한 것이며 고유한 비용 함수에 따라 구분됩니다.비용 함수의 공통 특성은 픽셀 값의 변화와 픽셀 라벨의 차이를 인접 픽셀의 라벨과 비교할 때 불이익을 주는 것입니다.

반복 조건부 모드/경사 강하

반복 조건부 모드(ICM) 알고리즘은 각 반복에 걸쳐 각 픽셀의 값을 변경하고 아래에 제시된 비용 함수를 사용하여 새로운 라벨링 방식의 에너지를 평가함으로써 이상적인 라벨링 방식을 재구성하려고 합니다.

$(\displaystyle \alpha (\ell _{i}-\ell _{\text {initial }}i})+\beta \Sigma _{q\in N(i)})(1-\delta (\ell _{i},\ell _{q(i)})}).}$

여기서 α는 픽셀 라벨 변경에 대한 패널티이고 β는 인접 픽셀과 선택된 픽셀 간의 라벨 차이에 대한 패널티입니다.$여기$서 N$)$ {$displaystyle$ N$(i)}$은 픽셀 i의 근방이며, θ는 크로네커 델타 함수입니다.ICM의 주요 이슈는 경사 하강과 마찬가지로 국소 최대값 위에 안주하는 경향이 있어 전체적으로 최적의 라벨링 체계를 얻지 못한다는 것이다.

시뮬레이트 어닐링(SA)

야금학에서 아닐링의 아날로그로 도출된 시뮬레이션 아닐링(SA)은 반복에 따른 픽셀 라벨의 변화를 사용하여 새로 형성된 각 그래프의 초기 데이터에 대한 에너지 차이를 추정합니다.새로 형성된 그래프가 낮은 에너지 비용 측면에서 더 수익성이 높은 경우, 다음과 같이 제시됩니다.

$\displaystyle \Delta U=U^{\text{new}}-U^{\text{old}}$

$\displaystyle _{i}=case {case}\ell _{i}^{\text{new}},\ell _{i}^{\text{new},&{\text{\text}},&{\text{\delta U>0{\text},\telta U\Telta{\T},\T},\Telt},\Tel},\E,\E,\Le,\T,\Le,\T,\T,\T,\T,\Le,\$

알고리즘은 새로 형성된 그래프를 선택합니다.시뮬레이트 어닐링에는 시스템 수렴 속도에 직접 영향을 미치는 온도 스케줄 입력과 최소화를 위한 에너지 임계값이 필요합니다.

대체 알고리즘

간단한 MRF와 고차 MRF를 해결하기 위한 다양한 방법이 존재합니다.여기에는 사후 한계 최대화, 다중 척도 MAP 추정,^[54] 다중 분해능 분할^[55] 등이 포함됩니다.우도 추정과는 별도로, MRF를 해결하기 위해 최대 흐름^[56] 및 기타 고도로 제약된 그래프 기반^[57][58] 방법을 사용한 그래프 컷이 존재한다.

MRF를 사용한 이미지 세그멘테이션 및 기대치 최대화

기대-최대화 알고리즘은 훈련 데이터를 사용할 수 없고 분할 모델의 추정치를 형성할 수 없을 때 라벨링의 사후 확률과 분포를 반복적으로 추정하기 위해 사용된다.일반적인 방법은 히스토그램을 사용하여 영상의 특징을 나타내고 이 3단계 알고리즘에서 간략하게 설명한 대로 진행하는 것입니다.

1. 모델 파라미터의 랜덤 추정치를 이용한다.

2. E단계: 정의된 랜덤 세분화 모델에 따라 클래스 통계치를 추정합니다.이들을 사용하여 피처 세트가 네이비 베이즈 정리를 사용하여 계산될 때 라벨에 속할 조건부 확률을 계산한다.

$\displaystyle P(\lambda \mid f_{i})=sigma frac {P(f_{i}\mid \lambda}P(\sigma_{i}\mid \lambda})P(\sigma_{i}}}}}$

여기에서는 $가능$한 모든 라벨의 세트인 $(\displaystyle\lambda\in\Lambda$

3. M 스텝:라벨링 체계에 대한 특정 피쳐 세트의 확립된 관련성은 알고리즘의 두 번째 부분에서 주어진 라벨의 사전 추정치를 계산하는 데 사용된다.실제 총 라벨 수는 알 수 없기 때문에(훈련 데이터 세트로부터) 사용자가 부여한 라벨 수에 대한 숨겨진 추정치를 계산에 이용한다.

$(\displaystyle P(\lambda)=sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i}){\Omega }}}$

여기서$\omega {\displaystyle \mathrm{}}$ \ $displaystyle$\ $Omega }$는 사용 가능한 모든 기능의 집합입니다.

MAP 및 EM 기반 이미지 분할의 단점

1. 정확한 MAP 추정치는 쉽게 계산할 수 없습니다.
2. 대략적인 MAP 추정치는 계산 비용이 많이 듭니다.
3. 멀티클래스 라벨링으로 확장하면 퍼포먼스가 저하되고 필요한 스토리지가 증가합니다.
4. 글로벌 최적화를 달성하려면 EM에 대한 매개변수의 신뢰할 수 있는 추정이 필요하다.
5. 최적화 방법에 따라 분할은 로컬 최소값으로 클러스터링될 수 있습니다.

유역 변환

유역 변환에서는 영상의 그라데이션 크기를 지형 지표면으로 간주합니다.GMI(Gradient Amidance Intensity)가 가장 높은 픽셀은 영역 경계를 나타내는 분수선에 해당합니다.공통의 유역선으로 둘러싸인 픽셀에 놓여진 물은 공통의 LIM(Local Intensity Minimum)까지 내리막길을 흐릅니다.공통 최소값으로 배수되는 픽셀은 유역(segment)을 형성합니다.

모델 기반 세그멘테이션

모델 기반 접근법의 중심 가정은 관심 구조가 특정 형태를 지향하는 경향을 보인다는 것이다.따라서 형태와 그 변동을 특징짓는 확률론적 모델을 찾을 수 있다.영상을 분할할 때 ^[59]이 모델을 사용하여 구속조건을 적용할 수 있습니다.이러한 작업에는 (i) 공통 포즈로 훈련 예를 등록하고 (ii) 등록된 샘플의 변동에 대한 확률론적 표현 및 (ii) 모델과 이미지 사이의 통계적 추론이 포함될 수 있다.모델 기반 분할에 대한 문헌의 다른 중요한 방법으로는 활성 형상 모델과 활성 모양 모델이 있습니다.

멀티스케일 세그멘테이션

영상 분할은 스케일 공간에서 여러 척도로 계산되며 때로는 거친 척도에서 미세한 척도로 전파됩니다. 스케일 공간 분할을 참조하십시오.

분할 기준은 임의로 복잡할 수 있으며 전역 및 로컬 기준을 고려할 수 있습니다.공통적인 요건은 각 지역이 어떤 의미에서 연결되어 있어야 한다는 것입니다.

1차원 계층형 신호 세그멘테이션

Witkin의 스케일 공간에서의 중요한^[60][61] 작업은 1차원 신호가 분할의 스케일을 제어하는 하나의 스케일 매개변수로 모호하지 않게 영역으로 분할될 수 있다는 개념을 포함했다.

주요 관찰은 신호의 멀티스케일 평활 버전의 제2도함수(제1도함수 또는 기울기의 최소값 및 최대값)의 제로 교차가 네스트 트리를 형성하고, 이 네스트 트리는 서로 다른 스케일에서 세그먼트 간의 계층 관계를 정의한다.특히, 거친 척도의 기울기 극단점은 미세한 척도의 해당 특징까지 추적할 수 있습니다.더 큰 스케일로 기울기 최대값과 기울기 최소값이 서로 소멸되면 분리된 세 세그먼트가 하나의 세그먼트로 병합되어 세그먼트의 계층을 정의합니다.

영상 분할 및 초기 스케치

이 분야에는 수많은 연구가 있었으며, 그 중 일부는 대화형 수동 개입(보통 의료 영상에 적용) 또는 완전 자동으로 적용할 수 있는 상태에 도달했다.다음은 현재 접근법의 기초가 되는 주요 연구 아이디어의 간략한 개요입니다.

그러나 위트킨이 설명한 네스팅 구조는 1차원 신호에 특화되어 있으며 고차원 영상으로 3차적으로 전송되지 않습니다.그럼에도 불구하고, 이 일반적인 아이디어는 몇몇 다른 저자들이 이미지 분할을 위한 거친 방식에서 미세한 방식을 조사하도록 영감을 주었다.코엔링크는^[62] Iso-intensity 등고선이 규모에 따라 어떻게 진화하는지 연구할 것을 제안했고, 이 접근방식은 Lifshitz와 Pizer에 의해 ^[63]더 자세히 조사되었다.그러나 불행히도 이미지 특징의 명암은 축척에 따라 변하기 때문에 Iso 명암 정보를 사용하여 거친 크기의 이미지 특징을 세밀한 축척으로 추적하는 것이 어렵다는 것을 의미합니다.

Lindeberg[64][65], 이미지 표현는 한편 만드는 구조들의 다양한 척도에서 관계를 명확히 명시되는 이미지 기능 안정적인 규모의 포함한 대형 거리상으로 국내approp 있게 만드는 scale-space 기본 스케치라고 불리는 제안했다 비늘에 대한 지방의 extrema과 안장 포인트 연결되는 문제를 공부했다.riate sc에일스.Bergholm은 스케일 공간에서 거친 스케일로 가장자리를 검출한 후 거친 검출 스케일과 미세한 위치 측정 스케일 모두를 수동으로 선택하여 더 미세한 스케일로 추적하는 것을 제안했다.

Gauch와 Pizer는^[66] 여러 척도의 능선과 계곡의 상호 보완적 문제를 연구했고 다중척도 유역에 기반한 대화형 영상 분할 도구를 개발했다.구배 지도에 대한 적용과 함께 다중 척도 유역의 사용은^[67] 올슨과 닐슨에 의해 ^[68]조사되었고 댐에 의해 임상 용도로 옮겨졌다.Vincken ^[69]등은 다른 척도의 영상 구조 사이의 확률적 관계를 정의하기 위한 하이퍼스택을 제안했다.Ahuja와^[70][71] 그의 동료들은 스케일보다 안정적인 이미지 구조의 사용을 완전히 자동화된 시스템으로 확대했습니다.Undeman과 Lindeberg는^[72] 다단계 유역의 밀접하게 관련된 아이디어에 기초한 완전 자동 뇌 분할 알고리즘을 제시하고 뇌 데이터베이스에서 광범위하게 테스트했습니다.

Florack과 Kuijper는 ^[73]또한 축척에 걸쳐 이미지 구조를 링크함으로써 멀티스케일 이미지 분할을 위한 아이디어를 얻었습니다.Bijaoui와 Rué는^[74] 최소 노이즈 임계값 이상의 스케일 공간에서 검출된 구조를 여러 척도에 걸쳐 원래 신호의 특징에 대응하는 객체 트리에 관련짓습니다.추출된 피쳐는 반복공역구배행렬법을 사용하여 정확하게 재구성된다.

반자동 세그멘테이션

분할의 한 종류에서는, 유저가 마우스 클릭으로 관심 영역을 개략적으로 나타내어, 화상의 가장자리에 가장 적합한 패스가 표시되도록 알고리즘이 적용된다.

SIOX, Livewire, Intelligent Cios 또는 IT-SNAPs와 같은 기술이 이러한 세분화에 사용됩니다.다른 종류의 반자동 분할에서 알고리즘은 사용자에 의해 선택되거나 사전 ^[75][76]확률을 통해 지정된 공간 분류(즉, 전경, 객체 그룹, 객체 또는 객체 부분)를 반환한다.

트레이닝 가능한 세그먼트화

상기의 분할 방법의 대부분은, 화상내의 픽셀의 색정보에 근거하고 있습니다.인간은 이미지 분할을 수행할 때 훨씬 더 많은 지식을 사용하지만, 이 지식을 구현하려면 상당한 인적 엔지니어링 및 계산 시간이 소요되며, 현재 존재하지 않는 방대한 도메인 지식 데이터베이스가 필요합니다.뉴럴 네트워크 분할과 같은 훈련 가능한 분할 방법은 레이블이 지정된 픽셀의 데이터 집합에서 도메인 지식을 모델링하여 이러한 문제를 해결합니다.

화상 분할 뉴럴 네트워크는, 화상의 작은 영역을 처리해, ^[77]엣지등의 간단한 특징을 추출할 수 있다.그런 다음 다른 신경 네트워크 또는 의사 결정 메커니즘이 이러한 특징을 결합하여 이미지의 영역에 레이블을 지정할 수 있습니다.이렇게 설계된 네트워크의 종류는 Kohonen 맵입니다.

맥박결합신경망(PCNN)은 고양이의 시각피질을 모델링하여 제안하고 고성능 생체모방영상 처리를 위해 개발된 신경모델이다.1989년, 라인하르트 에크혼은 고양이의 시각 피질의 메커니즘을 모방하기 위해 신경 모델을 도입했다.Eckhorn 모델은 작은 포유류의 시각피질을 연구하기 위한 간단하고 효과적인 도구를 제공했고, 곧 이미지 처리에서 상당한 응용 가능성을 가진 것으로 인식되었습니다.1994년, 에크혼 모델은 John L. Johnson에 의해 이미지 처리 알고리즘으로 수정되었고, John Johnson은 이 알고리즘을 Pulse-Coupled Neural ^[78]Network라고 불렀다.지난 10년간 PCNN은 이미지 분할, 특징 생성, 얼굴 추출, 모션 검출, 영역 성장, 노이즈 저감 등 다양한 이미지 처리 애플리케이션에 사용되었습니다.PCNN은 2차원 뉴럴 네트워크입니다.네트워크내의 각 뉴런은, 입력 화상의 1개의 픽셀에 대응해, 대응하는 픽셀의 색정보(예를 들면, 강도)를 외부 자극으로서 수신한다.각각의 뉴런은 또한 인접한 뉴런들과 연결되며, 그것들로부터 국소적인 자극을 받습니다.외부 자극과 국소 자극은 내부 활성화 시스템에서 결합되어 동적 임계값을 초과할 때까지 자극을 축적하여 펄스 출력을 생성합니다.반복 연산을 통해 PCNN 뉴런은 펄스 출력의 시간 시리즈를 생성합니다.펄스 출력의 시간적 시리즈에는 입력 영상의 정보가 포함되어 있으며 영상 분할 및 피쳐 생성과 같은 다양한 영상 처리 애플리케이션에 사용할 수 있습니다.PCNN은 기존의 화상처리수단에 비해 노이즈에 대한 견고성, 입력패턴의 기하학적 변동의 독립성, 입력패턴의 미세한 강도 변동의 브리징 능력 등 몇 가지 중요한 장점이 있다.

U-Net은 이미지를 입력으로 받아 각 ^[79]픽셀의 라벨을 출력하는 컨볼루션 뉴럴 네트워크입니다.U-Net은 처음에 생물의학 영상에서 세포 경계를 검출하기 위해 개발되었다.U-Net은 기존의 자동 인코더 아키텍처를 따르며, 두 개의 하위 구조를 포함합니다.인코더 구조는 기존의 컨볼루션 및 최대 풀링 레이어 스택을 따르며 레이어를 통과할 때 수용 필드를 증가시킵니다.이미지의 콘텍스트를 캡처하는 데 사용됩니다.디코더 구조는 업샘플링을 위해 전치된 컨볼루션 층을 이용하므로 끝 치수가 입력 이미지의 치수에 가깝습니다.스킵 접속은 같은 모양의 컨볼루션레이어와 전치된 컨볼루션레이어 사이에 배치되어 있지 않으면 손실될 수 있는 상세 정보를 보존합니다.

각 픽셀에 특정 카테고리를 할당하는 픽셀 레벨의 의미 분할 태스크 외에, 현대의 분할 어플리케이션에는 특정 카테고리의 각 개인을 고유하게 식별해야 하는 인스턴스 레벨의 의미 분할 태스크와 이러한 두 태스크를 결합하여 보다 포괄적인 기능을 제공하는 범광 분할 태스크가 포함됩니다.장면 ^[18]분할을 시작합니다.

관련 이미지 및 비디오 세그먼트화

사진첩이나 일련의 비디오 프레임과 같은 관련 이미지는 종종 의미론적으로 유사한 물체 및 장면을 포함하므로 이러한 ^[80]상관관계를 이용하는 것이 종종 유익합니다.관련 영상 또는 비디오 프레임에서 장면을 동시에 분할하는 작업을 공동 ^[14]분할이라고 하며, 일반적으로 인체 동작 국재화에 사용된다.기존의 경계 상자 기반 물체 감지와 달리, 인간 행동 위치 측정 방법은 세밀한 결과를 제공하며, 일반적으로 관심 있는 인간 대상과 그 행동 범주(예: Segment-Tube^[15])를 묘사하는 영상별 분할 마스크이다.동적 마르코프 네트워크, CNN 및 LSTM과 같은 기술은 프레임 간 상관관계를 이용하기 위해 종종 사용됩니다.

기타 방법

DTI ^[81][82]영상을 기반으로 한 다중 스펙트럼 분할 또는 연결 기반 분할과 같은 다른 분할 방법이 많이 있습니다.

「 」를 참조해 주세요.

• 오브젝트 공동 세그멘테이션
• 컴퓨터 비전
• 이미지 기반 메싱
• 범위 이미지 분할
• 벡터 양자화
• 이미지 양자화
• 색 양자화
• 객체 기반 이미지 분석
• 수동 영상 주석 도구 목록

메모들

레퍼런스

외부 링크

• Syed Zainudeen이 작성한 기본 분할을 수행하는 샘플 코드입니다.말레이시아 대학 테크놀로지
• Forcadel 등에 의한 일반화된 빠른 행진 방법.[2008]을 클릭합니다.
• 이미지 처리 연구 그룹 온라인 오픈 이미지 처리 연구 커뮤니티.
• 영상 처리 및 분석에서의 분할 방법 및 Mathworks별 영상 분할 에너지 최소화
• 더 많은 이미지 분할 방법 (대만 국립대만대학, 대만, 대만, ROC)의 상세 알고리즘에 의한
• IPOL Journal에 의한 조각별 선형 이미지 분할 온라인 시연