컴퓨터 시력의 그래프 절단

컴퓨터 비전 분야에 적용하면 그래프를 최적화 효율적으로 낮은 수준의 컴퓨터에서 시력 문제, 이미지 smoothing, 스테레오 대응 문제, 이미지 조각 기능 개체 co-segmentation, 그리고 학기에 추진될 수 있는 많은 다른 컴퓨터 비전 문제 같은(초기 vision[1])의 다양한를 해결하기 위해 사용할 수 있다.그렇게f 에너지 최소화이러한 에너지 최소화 문제의 대부분은 그래프에서^[2] 최대 흐름 문제를 해결함으로써 근사치를 얻을 수 있다(따라서, 최대 흐름 최소 절삭 정리로 그래프의 최소 절단을 정의한다).컴퓨터 시야에서 그러한 문제들의 대부분의 공식 하에서, 최소 에너지 용액은 용액의 최대 후방 추정치에 해당한다.많은 컴퓨터 비전 알고리즘이 그래프 절단(예: 정규화된 절단)을 포함하지만, "그래프 컷"이라는 용어는 최대 흐름/최소 컷 최적화를 채택한 모델에 특히 적용된다(다른 그래프 컷팅 알고리즘은 그래프 분할 알고리즘으로 간주될 수 있다).null

"이진적" 문제(예: 이진적 이미지 변성)는 이 접근법을 사용하여 정확히 해결할 수 있다. 픽셀에 두 개 이상의 다른 라벨(예: 스테레오 통신 또는 그레이스케일 이미지 변성)이 표시될 수 있는 문제는 정확히 해결할 수 없지만, 생산된 솔루션은 대개 글로벌 최적화에 가깝다.null

역사

최적화 방법으로 사용되는 그래프 자르기 이론은 더럼 대학의 그리그, 포르투피, 세헐트가^[3] 정리한 논문의 컴퓨터 시력에 처음 적용되었다.앨런 세흘트와 브루스 포르투피트는 더럼 수학과 사상 최초의 여성 직원들로 주목받는 최적화 전문가 마거릿 그리그가 이끄는 더럼의 찬사를 받은 당대 최고의 통계 그룹 멤버였다.null

소음이 많은(또는 손상된) 영상을 평활하는 베이시안 통계적 맥락에서, 그들은 소스와 싱크의 도입과 관련하여 관련 영상 네트워크를 통한 흐름을 최대화함으로써 이항 영상의 최대 후천적 추정치를 정확히 얻을 수 있는 방법을 보여주었다.따라서 그 문제는 효율적으로 해결될 수 있는 것으로 나타났다.이 결과 이전에는 이러한 이미지 스무딩 문제를 해결하기 위해 시뮬레이션 어닐링(제만 형제가^[4] 제안한 대로)이나 반복 조건부 모드(줄리안 베사가 제안한 대로 탐욕스러운 알고리즘의 일종)^[5]와 같은 대략적인 기법을 사용하였다.null

일반적인 $k{\displaystyle }$ ${\displaystyle k}$ -colour 는k > ,{\$displaystyle$ k$>2$에 대해 해결되지 않은 채 남아 있지만, Greig, Portuid 및 Seheult의^[3] 접근법은 일반적인 컴퓨터 비전 문제에 폭넓게 적용할 수 있는 것으로 밝혀졌다^[6][7].Greig, Portuffic 및 Seheult 접근법은 대개 거의 최적의 해결책을 도출하는 이항 문제의 순서에 반복적으로 적용되는 경우가 많다.null

2011년 C.Couprie(알.[8]은[0,1]에서 그래프를 통한real-valued 지표 기능 최소화 하는 표시등은 함수의 그래프에 대한 최소화 멱수 p{\displa에 관해서 최적화된 일반적인 이미지 세분화 프레임워크,"파워 Watershed"로 사용자 씨(또는 단항 조건)에 의해 0또는 1로 설정되지 않는 방안을 제안했다.$ystyle p$ $p{\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle$ p$=1$ 그래프 자르기에 의해 전력 유역이 최적화되고, $p{\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle$ p$=0}$이(가) 최단 경로에 의해 최적화되면, ${\displaystyle \mathrm{p}}$= 2 ${\displaystyle p=$$2},$ p${\displaystyle }$= ${\fty$ }이 유역에 의해 최적화된다(상).e processing) 알고리즘.이러한 방식으로 전력 유역은 다른 에너지 최적화 분할/클러스터링 알고리즘과 직접적인 연결을 제공하는 그래프 자르기(graph cut)의 일반화로 볼 수 있다.null

영상의 이진 분할

표기법

• ${\displaystyle {이미지}^{}}$: $x{\displaystyle \in \{R,}$ ${\displaystyle G,}$ ${\displaystyle B}$ ${\displaystyle {}^{}}$ N ${\$
• 출력: 분할(불투명도라고도 함) $S{\displaystyle }$acity ${\displaystyle R^{}}$ N ${\$ R$^{N}}($$소프트$ 분할)하드 분할의 $경우{\displaystyle ,}$ 배경의 경우 S $}{0{\text{{background},{1}{\text{{prograde/object의 경우}{{0}}}$
• 에너지 함수: $E{\displaystyle (x}$, ${\displaystyle S}$, C , ${\displaystyle C}$ ,${\displaystyle \lambda }$) ${\displaystyle$ E$(x, S,$ C$,\lambda$)} 여기서 C는$$ 색상 파라미터, λ은 일관성 파라미터 입니다.
• ${\displaystyle E(x,S,C,\lambda )=E_{\rm {color}+E_{\rm {concession}}}$
• 최적화:분할은 S: ${\displaystyle {\arg }_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {min}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle (x}$, S${\displaystyle }$, ${\displaystyle C}$ ,${\displaystyle \lambda }$) ${\displaystyle {\arg \min }_{S}E(x, S, C,\lambda )}$에 대한 전역 최소값으로 추정할 수 있다.

기존 방법

• 표준 그래프 절단: 분할을 통해 에너지 기능을 최적화(알 수 없는 S 값)
• 반복 그래프 잘라내기:

1. 첫 번째 단계는 K-평균을 사용하여 색상 매개변수에 대해 최적화한다.
2. 두 번째 단계는 일반적인 그래프 자르기 알고리즘을 수행한다.

이 두 단계는 수렴이 될 때까지 반복적으로 반복된다.

• 동적 그래프 잘라내기:
  문제를 수정한 후(예: 사용자가 새 씨앗을 추가한 후) 알고리즘을 훨씬 더 빠르게 재실행할 수 있다.

에너지 함수

${\displaystyle \Pr(x\mid S)=K^{-E}$

여기에서 에너지 $E{\displaystyle }$ ${\$$displaystyle$ $E}$은($$는) 두 가지 다른 모델(${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ o o o o$o$ {\$rm {color$$})$으로 구성된다$(E$ c$$ o o o o o ${\displaystyle {\mathrm{o}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ o o o o o o or or } 및 E $o{\displaystyle {}_{}}$.

우도/색상 모형/지역 항

${\displaystyle E_{}}$ ${\displaystyle {c\mathrm{}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ ${\displaystyle {\mathrm{l}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ ${\$ —$$ 각 색상의 가능성을 설명하는 단항.null

• 이 용어는 아래에 설명된 다양한 국소(예: 텍슨) 또는 글로벌(예: 히스토그램, GMM, Adaboost우도) 접근방식을 사용하여 모델링할 수 있다.

히스토그램

• 우리는 시드로 표시된 픽셀의 강도를 사용하여 물체(전경)와 배경 강도 분포: P(I O)와 P(I B)에 대한 히스토그램을 얻는다.
• 그런 다음 이 히스토그램을 사용하여 지역 벌칙을 음의 로그 우도로 설정하십시오.

GMM(가우스 혼합물 모델)

• 우리는 보통 두 가지 분포를 사용한다. 하나는 배경 모델링용이고 다른 하나는 전경 픽셀용이다.
• 이러한 두 가지 분포를 모형화하려면 가우스 혼합물(5–8 성분 포함) 모형을 사용하십시오.
• 목표: 이 두 가지 분포를 분리해 보십시오.

텍슨

• 텍슨(또는 텍스트온)은 특정 특성을 가진 픽셀 집합으로 영상에서 반복된다.
• 단계:

1. 텍스처 요소에 적합한 자연 스케일을 결정하십시오.
2. 강도 또는 Gabor 필터 응답에 대한 모델 내부 텍슨에 대한 비모수 통계량을 계산한다.

• 예:
  • 변형 모델 기반 텍스처 객체 분할
  • 영상 분할을 위한 윤곽선 및 텍스처 분석

이전 / 일관성 모델/경계 항

${\displaystyle E_{}}$ ${\displaystyle {c\mathrm{}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ ${\displaystyle {\mathrm{o}}_{}}$ o ${\displaystyle {\mathrm{o}}_{}}$ e e ${\displaystyle {\mathrm{e}}_{}}$ ${\$ —$$ 근린 픽셀 간의 일관성을 설명하는 이진수.null

• 실제로 픽셀은 수평, 수직 또는 대각선 (4방향 연결 또는 2D 영상의 8방향 연결)에 인접해 있는 경우 이웃으로 정의된다.
• 비용은 국부 강도 그라데이션, 라플라시안 제로 크로싱, 그라데이션 방향, 색상 혼합 모델,...
• 다양한 에너지 기능이 정의되었다.
  • 표준 Markov 랜덤 필드:분할 레이블(경계 길이의 크러스트 측도) 간의 차이를 평가하여 패널티를 일치하지 않는 픽셀에 연결하십시오.보이코프 및 콜모고로프 ICCV 2003 참조
  • 조건부 무작위 필드: 색상이 많이 다르다면 경계를 두기에 좋은 장소일 수 있다.라퍼티 외 2001; 쿠마르와 헤버트 2003 참조

비판

그래프 자르기 방법은 등고선 위치 최적화를 위한 수준 설정 기반 접근법에 대한 대안이 되었다(대부분 비교는^[9] 참조).그러나 그래프 컷 접근법은 문헌에서 다음과 같은 몇 가지 문제로 비판되어 왔다.

• 메트릭 아티팩트:이미지가 4개의 연결된 격자로 표현될 때 그래프 자르기 방법은 원하지 않는 "차단" 아티팩트를 나타낼 수 있다.추가 에지를^[10] 사용하거나 연속 공간에서 최대 흐름 문제를 형성하는 등 이 문제를 해결하기 위한 다양한 방법이 제안되었다.^[11]
• 축소된 치우침:그래프 자르기에서 최소 절단을 찾기 때문에 알고리즘은 작은 윤곽선을 만드는 데 치우칠 수 있다.^[12]예를 들어, 이 알고리즘은 혈관 같은 얇은 물체를 분할하는 데 적합하지 않다(제안된 수정사항은 참조^[13]).
• 다중 라벨: 그래프 컷은 전경/배경 영상 분할과 같은 이진 라벨(즉, 두 개의 라벨) 문제에 대한 글로벌 최적만 찾을 수 있다.다층 그래프 자르기 문제에 대한 대략적인 해결책을 찾을 수 있는 확장자가 제안되었다.^[7]
• 메모리: 이미지 크기가 커질수록 그래프 자르기 메모리 사용량이 빠르게 증가한다.그림으로 보이코프-콜모고로프 최대 흐름 알고리즘 v2.2는 ${\displaystyle \mathrm{24n}}$+ $[\displaystyle 24n+14m]$바이트를$$ 할당한다(${\displaystyle }$ ${\displaystyle n}$과 $m{\displaystyle }$ ${\displaystym m}$은 각각 그래프에 있는 노드와 가장자리 수입니다).그럼에도 불구하고, 최근 최대 흐름 계산 전에 그래프를 줄이기 위해 이러한 방향으로 어느 정도의 작업이 수행되었다.^[14][15][16]

알고리즘.

• 최소화는 표준 최소 절단 알고리즘을 사용하여 수행된다.
• Max-flow min-cut 정리 때문에 우리는 네트워크를 통한 흐름을 극대화함으로써 에너지 최소화를 해결할 수 있다.Max Flow 문제는 용량이 라벨로 표시된 가장자리가 있는 방향 그래프로 구성되며, 소스와 싱크라는 두 개의 구별되는 노드가 있다.직관적으로 최대 흐름은 병목현상에 의해 결정된다는 것을 쉽게 알 수 있다.

구현(정확)

위키북 알고리즘 구현에는 그래프/최대 흐름/보이코프 & 콜모고로프라는 주제에 관한 페이지가 있다.

보이코프-콜모고로프 알고리즘은^[17] 컴퓨터 비전 관련 그래프의 최대 흐름을 계산하는 효율적인 방법이다.null

구현(대략)

Sim Cut 알고리즘은^[18] 그래프 컷에 가깝다.알고리즘은 전기 네트워크의 시뮬레이션에 의해 솔루션을 구현한다.이것이 세더바움의 최대 흐름 정리가 제시한 접근법이다.^[19][20]알고리즘의 가속은 병렬 컴퓨팅을 통해 가능하다.null

소프트웨어

• http://pub.ist.ac.at/~vnk/max.maxflow 알고리즘의 구현 — Vladimir Kolmogorov의 "컴퓨터 비전에서 에너지 최소화를 위한 최소/최대 흐름 알고리즘의 실험적 비교"에 기술된 최대 흐름 알고리즘의 구현
• http://vision.csd.uwo.ca/code/ — 일부 그래프 잘라낸 라이브러리 및 MATLAB 래퍼
• http://gridcut.com/ — 그리드 유사 그래프에 최적화된 빠른 멀티 코어 최대 흐름/최소 절삭 솔루션
• http://virtualscalpel.com/ — 심 컷의 구현; 대량 병렬 방식으로 최소 s-t 컷의 대략적인 솔루션을 계산하기 위한 알고리즘.

참조