경사 벡터 흐름

Gradient vector flow

GVF(Gradient Vector Flow)는 Cheyang Xu와 Jerry L.[1][2] Prince가 도입한 컴퓨터 비전 프레임워크로 입력 벡터장을 평활화하고 확산시키는 프로세스에 의해 생성되는 벡터장이다.일반적으로 이미지에서 멀리 있는 개체 모서리를 가리키는 벡터 필드를 만드는 데 사용됩니다.객체 추적, 형상 인식, 분할에지 감지를 위한 영상 분석 및 컴퓨터 비전 애플리케이션에서 널리 사용됩니다.특히 활성 등고선 모델과 함께 일반적으로 사용됩니다.

3D 메타스피어 데이터에 적용된 경사 벡터 흐름 알고리즘의 결과

배경

영상에서 객체 또는 동종 영역을 찾는 것은 영상 분할이라고 하는 프로세스입니다.많은 애플리케이션에서 개체 가장자리의 위치는 에지 맵이라는 새로운 이미지를 생성하는 로컬 연산자를 사용하여 추정할 수 있습니다.그런 다음 에지 맵을 사용하여 활성 윤곽선 또는 스네이크라고도 하는 변형 가능한 모델을 안내하여 에지 맵을 부드럽게 통과하여 개체 자체를 정의할 수 있습니다.

변형 가능한 모델이 에지 맵 쪽으로 이동하도록 권장하는 일반적인 방법은 에지 맵의 공간 구배를 취하여 벡터 필드를 생성하는 것입니다.에지 맵은 모서리에서 직접 가장 높은 명암을 가지며 모서리에서 0으로 떨어지기 때문에 이러한 그라데이션 벡터는 활성 윤곽선이 이동하는 방향을 제공합니다.그라데이션 벡터가 0이면 활성 윤곽선이 이동하지 않으며, 윤곽선이 에지 맵 자체의 피크에 있을 때의 올바른 동작입니다.그러나 가장자리 자체는 로컬 연산자에 의해 정의되므로 이러한 그라데이션 벡터도 가장자리에서 멀리 떨어져 있으므로 활성 윤곽선이 가장자리에서 멀리 떨어져 있을 때 가장자리 쪽으로 이동하지 않습니다.

GVF(Gradient Vector Flow)는 엣지 맵 그라데이션 벡터를 공간적으로 확장하는 프로세스로 이미지 도메인 전체의 객체 엣지 위치에 대한 정보를 포함하는 새로운 벡터 필드를 생성합니다.GVF는 입력 벡터장의 성분으로 동작하는 확산 프로세스로 정의됩니다.원래 벡터 필드의 충실도를 균형 있게 조정하도록 설계되어 출력에 매끄러운 필드를 생성하는 정규화를 통해 크게 변경되지 않습니다.

GVF는 원래 모서리에 끌리는 활성 등고선을 사용하여 객체를 분할하기 위해 설계되었지만, 그 이후 많은 대체 목적으로 적용되어 왔다.연속된 중심축 [3]표현 정의, 이미지 이방성 [4]확산 알고리즘 정규화, 리본과 같은 [5]개체의 중심 찾기, 최적의 [6]표면 분할을 위한 그래프 구성, [7]미리 모양 만들기 등을 포함한 몇 가지 새로운 목적입니다.

이론.

GVF 이론은 원래 쉬와 태자에 의해 [2]기술되었다.(x ,) { f 이미지 도메인에 정의된 에지 맵으로 합니다.결과의 균일성을 위해 엣지 맵의 강도를 0과 1 사이에 두는 것이 중요합니다.f ( x, f )}는 오브젝트 엣지에서 (1에 가까운) 큰 값을 차지합니다.GVF(Gradient Vector Flow) 필드는 에너지 기능을 최소화하는 벡터 v ) [ ( ,) , ( , ) (, y ) = [x ) 의해 지정됩니다.

(1)

이 식에서 첨자는 부분 도함수를 나타내고 엣지 맵의 구배는 벡터 필드 f ( , y \ f = ( f { , _ { } 로 나타낸다.그림 1은 엣지 맵, (흐린) 엣지 맵의 구배 및 e를 하여 생성된 GVF 필드를 나타낸다

그림 1. 엣지맵(왼쪽)은 물체의 경계를 나타낸다.(약간 흐릿한) 에지 맵(중앙) 포인트의 구배는 경계를 향하지만 매우 로컬입니다.그라데이션 벡터 플로우(GVF) 필드(오른쪽)도 경계를 가리키지만 캡처 범위가 훨씬 넓습니다.

방정식 1은 데이터 항과 정규화 항을 모두 포함하는 변동 공식입니다.적분의 첫 번째 항은 데이터 항입니다. - f \ displaystyle \\ { v }이가) 엣지 맵의 그라데이션과 밀접하게 일치하도록 권장하고 있습니다.그러면v -f \ \ - \ f}가 작아지기 때문입니다.단, v-f \ - f 이러한 구배 길이의 제곱을 곱하기 에 에지 맵 구배가 클 때만 이 문제가 발생합니다.integration and의 두 번째 항은 정규화 항입니다.으로서 변분 처방을 이런 상황에서 관례적이니까 그것이는 용액의 요소들은 공간 변화 v{\displaystyle\textstyle \mathbf{v}의 모든 부분 유도체}의 합 단죄에 의해 작은 것., 조직화 매개 변수 μ>0{\displaystyle\textstyle \mu>0}에 있는 것을 권장한다.현금 자동 입출금기두 용어의 영향을 상쇄하기 위해 사용자가 지정한다.예를 들어μ \mu 결과 필드가 매우 매끄럽고 기본 에지 그라데이션과 일치하지 않을 수 있습니다.

이론적인 해결책방정식 1을 최소화하기 위해 v y {{ \ v y {)}는 변수가 아닌 함수이므로 미적분을 사용해야 합니다.따라서 v \{v 해답이 되기 필요한 조건을 제공하는 오일러 방정식은 변분법으로 구할 수 있다.

(2a)

(2b)

서 2nabla^{ Laplacian 연산자입니다.(2)의 방정식의 형태를 검토하는 것이 유익하다.각각 v u\ u v v 만족해야 하는 편미분 방정식입니다.가장자리 구배 크기가 작을 경우 각 방정식의 해는 전적으로 라플라스 방정식에 의해 유도되며, 예를 들어 u \ \2}은 완전히 경계 조건에 따라 매끄러운 스칼라 필드를 생성합니다.경계 조건은 가장자리 구배 크기가 큰 이미지에서 솔루션이 가장자리 구배와 더 일치하도록 구동되는 위치에 의해 효과적으로 제공됩니다.

계산 솔루션GVF를 계산하는 기본적인 방법은 두 가지가 있습니다.첫째, 에너지 E{\ {E 자체는 예를 들어 경사 강하 등에 의해 직접 이산화 및 최소화할 수 있습니다.둘째, (2)의 편미분방정식을 이산해 반복해 풀 수 있다.원래의 GVF 논문은 반복적 접근법을 사용했지만, 이후 논문은 8진수 기반 방법,[8] 멀티 그리드 [9]방법 및 증강 라그랑지안 [10]방법과 같은 상당히 빠른 구현을 도입했다.게다가 매우 고속의 GPU 실장은[11][12],

확장과 확장.GVF는 더 높은 치수로 쉽게 확장할 수 있습니다.에너지 함수는 벡터 형태로 쉽게 다음과 같이 기술됩니다.

(3)

이것은 경사 하강이나 오일러 방정식을 찾아 풀 수 있다.그림 2는 단순한 객체의 엣지 맵에 3차원 GVF 필드를 나타낸 것입니다( 참조).

그림 2. 왼쪽 상단의 오브젝트를 엣지 맵으로 사용하여 3차원 GVF 필드를 생성한다.GVF 필드의 벡터 및 유선상은 (Z) 줌 영역, (V) 수직면 및 (H) 수평면에 표시됩니다.

GVF 기능의 integrand의 데이터 및 정규화 항도 수정할 수 있습니다.에서 [14]설명하는 Generalized Gradient Vector Flow(GGVF; 일반화 경사 벡터 흐름)라고 하는 변경에 의해 2개의 스칼라 함수가 정의되어 에너지가 다음과 같이 재구성됩니다.

(4)

g (f ) ( \ \ ( \ f ) =\ mu ( f ( \ \ h ( \ f )= \ { GVF로 됩니다\ f f -g h f)= f는 사용자가 선택한 상수 K K 대해 일부 애플리케이션에서 데이터 용어와 정규화 간의 균형을 개선할 수 있습니다

GVF 공식은 벡터 값 영상의 가중 구조 텐서를 사용하는 벡터 값 영상으로 더욱 확장되었습니다.학습 기반 확률적 가중치 GVF 확장은 텍스처가 심각하게 흐트러지거나 노이즈가 높은 영상의 분할을 더욱 개선하기 위해 에서 제안되었다.

움직임 GVF(MGVF)에서 GVF의 변형 공식도 영상 [17]시퀀스에 물체 움직임을 포함하도록 수정되었습니다.기존 에지 맵에서 GVF 벡터의 확산은 등방성 방식으로 작용하지만, MGVF 공식은 이미지 프레임 간에 예상되는 물체 움직임을 포함합니다.

벡터 필드 컨볼루션(VFC)이라고 하는 GVF의 대안은 GVF의 많은 장점을 제공하며 노이즈 견고성이 뛰어나며 매우 [18]빠르게 계산할 수 있습니다.VFC C { 는 벡터 필드 커널 k\mathbf 를 갖는 에지 f(\f})의 합성으로 정의됩니다.

(5)

어디에

(6)

벡터 필드 k에는 항상 원점을 가리키는 벡터가 있지만 m m 에 의해 상세하게 결정되는 벡터의 크기는 원점으로부터의 거리가 증가함에 따라 0으로 감소합니다.

VFC의 장점은 고속 푸리에 변환(FFT), 곱셈 및 역 FFT를 사용하여 매우 빠르게 계산할 수 있다는 것입니다.캡처 범위는 클 수 있으며 벡터 필드 커널의 R(\ R 의해 명시적으로 지정됩니다.VFC의 가능한 단점은 약한 가장자리가 강한 가장자리로 인해 압도될 수 있다는 것이지만, 스네이크가 경계에 가까워지면 기존의 힘으로 전환하는 하이브리드 방법을 사용하면 이 문제를 완화할 수 있습니다.

속성.GVF는 많은 다양한 애플리케이션에서 유용하게 사용할 수 있는 특성을 가지고 있습니다.이미 많은 경우 로컬 에지 필드를 실제 에지로부터 멀리 떨어진 이미지 도메인 전체로 확장하는 것이 주된 목적이라고 언급되어 있습니다.이 특성은 활성 등고선 모델의 외력 포착 범위의 확장으로 설명되었습니다.또한 활성 등고선을 객체 경계의 오목한 영역으로 이동할 수도 있습니다.이 두 가지 특성은 그림 3에 나와 있습니다.

그림 3. 기존의 외부력(왼쪽)을 가진 활성 등고선은 경계에 매우 가깝게 초기화해야 하며 오목한 영역의 실제 경계에 수렴되지 않습니다.GVF 외부력(오른쪽)을 사용하는 활성 등고선은 더 멀리 초기화할 수 있으며 오목 영역에서도 진정한 경계까지 수렴됩니다.

외력(엣지 맵 구배와 단순하게 관련된 변형에 기초)으로 사용된 이전의 힘은 먼 거리에서 오목한 영역으로 경계를 이동하기 위해 압력력을 필요로 했다.풍선 힘이라고도 불리는 압력력은 한 방향(외부 또는 내부)의 경계에 지속적인 힘을 제공하며 약한 경계를 통과하는 효과를 갖는 경향이 있습니다.GVF는 종종 압력력을 대체하여 그러한 상황에서 더 나은 성능을 제공할 수 있습니다.

확산 과정은 GVF 솔루션에 고유하기 때문에 반대 방향의 벡터는 중앙 위치에서 만날 때 경쟁하는 경향이 있으며, 따라서 경계 구성과 관련되지만 에지 맵에서 직접 드러나지 않는 기하학적 특징의 유형을 정의합니다.예를 들어, 지각 가장자리는 인간의 [19]지각에 의해 시각적으로 연결되는 경향이 있는 에지 맵의 간격입니다.GVF는 서로 반대되는 에지 구배 벡터를 갭에 분산시킴으로써 이들을 연결하는데 도움이 됩니다.또한 실제 에지 맵이 없더라도 GVF 벡터가 이들을 움직이기 때문에 활성 등고선은 지각 에지로 수렴됩니다( 참조).) 이 속성은 낮은 값을 가진 에지 맵의 영역에 의해 식별되는 소위 약한 에지가 있는 경우 계속됩니다Xu, C.; Prince, J.L. (2012). "Active contours, deformable models, and gradient vector flow". Online resource including code download..

GVF 벡터는 또한 물체의 중심 위치에서 반대 방향으로 만나 중간성의 유형을 정의한다.이 속성은 물체의[20] 골격에 대한 대체 정의로서, 그리고 경계에 대한 수렴 가능성이 더 높은 물체 내에서 변형 가능한 모델을 초기화하는 방법으로 이용되었다.

적용들

GVF의 가장 기본적인 적용은 변형 가능한 모델에서 외부 힘으로서 적용된다.일반적인 어플리케이션에서는 오브젝트가 배경에서 명암으로 묘사된 I)\ I 고려합니다.따라서 적절한 엣지 맵f ( f 다음과 같이 정의할 수 있습니다.

(7)

서 G { \ \ G { \ 가 {\ \ 가우스 블러링 커널이며, { \ 컨볼루션입니다.이 정의는 모든 차원에 적용 가능하며 [ [범위에 해당하는 에지 맵을 생성합니다. 가우스 블러는 주로 의미 있는 그라데이션 벡터를 계산할 수 있도록 사용되지만 §{ 일반적으로 매우 작게 유지되므로 실제 에지 위치가 지나치게 분리되지 않습니다.이 엣지 맵에서 GVF 벡터 v ( (2)를 풀어서 계산할 수 있습니다.

변형 모델 자체는 원래 스네이크[19] 또는 활성 표면과 같은 파라메트릭 모델과 기하학적 변형 모델을 포함한 [21]암묵적 모델을 포함한 다양한 방법으로 구현될 수 있다.파라메트릭 변형 모델의 경우 GVF v를 모델의 외력으로 직접 사용할 수 있습니다.변형 가능한 모델이 () 활성 X (s , ){\의 진화에 의해 정의되는 경우, 간단한 파라메트릭 활성 등고선 진화 방정식은 다음과 같이 작성될 수 있습니다.

(8)

여기서 첨자는 부분 도함수를 , {\{ \ } α { 사용자가 선택한 상수입니다.

그림 4. 인간 뇌피질(위)의 내부, 중앙 및 외부 표면은 세 가지 기하학적 변형 가능한 모델에서 GVF 힘을 사용하여 순차적으로 찾아낸다.중앙 표면은 엣지 맵 자체로서 회백질 멤버쉽 함수(왼쪽 아래)를 사용하여 중앙 표면을 피질 회백질의 중앙 레이어로 그립니다.세 표면의 위치는 Coronal(관상) 컷어웨이(오른쪽 아래)에 중첩된 표면으로 표시됩니다.

기하학적 변형 모델의 경우, GVF v 우선 암묵적 파면의 법선 방향에 대해 투영되며, 이는 추가 속도 함수를 정의합니다.따라서 단순한 기하학적 변형 가능 등고선을 정의하는 부호 거리 함수 t () (\\textstyle _ 진화를 다음과 같이 쓸 수 있다.

(9)

여기서 \ 등고선의 곡률이고α(\ 사용자가 선택한 상수입니다.

지오데식 활성 등고선 흐름을 GVF 힘과 결합하는 보다 정교한 변형 모델 공식은 에서 [22]제안되었다.또한 이 문서에서는 이 분할 방법을 신속하게 계산하기 위해 가법 연산자 분할[23] 스키마를 적용하는 방법을 보여 줍니다.이 결합 모델의 고유성과 존재는 [24]에서 증명되었습니다.복잡한 기하학적 객체를 가진 이미지를 더욱 잘 분할하기 위해 GVF 분산을 최소화하는 외력 항을 사용하여 이 모델을 추가로 수정하는 것이 제안되었습니다.

GVF는 그림 4와 같이 뇌 [5]영상 분석에서 내부, 중앙 및 중앙 피질 표면을 모두 찾는 데 사용되었습니다.이 공정은 먼저 재래식 힘을 가진 3차원 기하학적 변형 모델을 사용하여 내부 표면을 찾습니다.그런 다음 GVF의 중심 경향 특성을 이용하여 중심 표면을 찾습니다.특히 퍼지 분류기를 이용해 도출된 인간 뇌피질의 피질 멤버십 함수를 이용해 GVF를 마치 두꺼운 엣지 맵인 것처럼 계산한다.계산된 GVF 벡터는 피질의 중심을 가리키며 내부 표면을 중앙 표면으로 구동하는 외부 힘으로 사용될 수 있습니다.마지막으로, 종래의 힘을 가지는 또 하나의 기하학적 변형 모델을 사용해 중앙면을 피질 외측면의 위치로 구동한다.

GVF의 몇몇 주목할 만한 최근 애플리케이션spectral-domain 광학 간섭 단층 촬영에서 학습 기초한 확률론적 GVF 적극적인 윤곽 형성 volumes,[6]초음파 이미지 segmentation,[16]에 관심의 대상과 적응multi-feature GVF 활동에 더 많은 무게를 주는 최적의 표면 분할을 그래프를 포함한다.contour 수작업 파라미터 [26]없이 초음파 영상 분할을 개선합니다.

관련 개념

레퍼런스

  1. ^ Xu, C.; Prince, J.L. (June 1997). "Gradient Vector Flow: A New External Force for Snakes" (PDF). Proc. IEEE Conf. on Comp. Vis. Patt. Recog. (CVPR). Los Alamitos: Comp. Soc. Press. pp. 66–71.
  2. ^ a b Xu, C.; Prince, J.L. (1998). "Snakes, Shapes, and Gradient Vector Flow" (PDF). IEEE Transactions on Image Processing. 7 (3): 359–369.
  3. ^ Hassouna, M.S.; Farag, A.Y. (2009). "Variational curve skeletons using gradient vector flow". IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (12): 2257–2274.
  4. ^ Yu, H.; Chua, C.S. (2006). "GVF-based anisotropic diffusion models". IEEE Transactions on Image Processing. 15 (6): 1517–1524.
  5. ^ a b Han, X.; Pham, D.L.; Tosun, D.; Rettmann, M.E.; Xu, C.; Prince, J.L.; et al. (2004). "CRUISE: cortical reconstruction using implicit surface evolution". NeuroImage. 23 (3): 997–1012.
  6. ^ a b Miri, M.S.; Robles, V.A.; Abràmoff, M.D.; Kwon, Y.H.; Garvin, M.K. (2017). "Incorporation of gradient vector flow field in a multimodal graph-theoretic approach for segmenting the internal limiting membrane from glaucomatous optic nerve head-centered SD-OCT volumes". Computerized Medical Imaging and Graphics. 55: 87–94.
  7. ^ Bai, J.; Shah, A.; Wu, X. (2018). "Optimal multi-object segmentation with novel gradient vector flow based shape priors". Computerized Medical Imaging and Graphics. Elsevier. 69: 96–111.
  8. ^ Esteban, C. H.; Schmitt, F. (2004). "Silhouette and stereo fusion for 3D object modeling". Computer Vision and Image Understanding. Elsevier. 96 (3): 367–392.
  9. ^ Han, X.; Xu, C.; Prince, J.L. (2007). "Fast numerical scheme for gradient vector flow computation using a multigrid method". IET Image Processing. 1 (1): 48–55.
  10. ^ Ren, D.; Zuo, W.; Zhao, X.; Lin, Z.; Zhang, D. (2013). "Fast gradient vector flow computation based on augmented Lagrangian method". Pattern Recognition Letters. Elsevier. 34 (2): 219–225.
  11. ^ Smistad, E.; Elster, A.C.; Lindseth, F. (2015). "Real-time gradient vector flow on GPUs using OpenCL". Journal of Real-Time Image Processing. Springer. 10 (1): 67–74.
  12. ^ Smistad, E.; Lindseth, F. (2016). "Multigrid gradient vector flow computation on the GPU". Journal of Real-Time Image Processing. Springer. 12 (3): 593–601.
  13. ^ Xu, C.; Han, X.; Prince, J.L. (2008). "Gradient Vector Flow Deformable Models". In Isaac Bankman (ed.). Handbook of Medical Image Processing and Analysis (2nd ed.). Academic Press. pp. 181–194.
  14. ^ Xu, C.; Prince, J.L. (1998). "Generalized gradient vector flow external forces for active contours". Signal Processing. 71 (2): 131–139.
  15. ^ Jaouen, V.; Gonzalez, P.; Stute, S.; Guilloteau, D.; Chalon, S.; et al. (2014). "Variational segmentation of vector-valued images with gradient vector flow". IEEE Transactions on Image Processing. 23 (11): 4773–4785.
  16. ^ a b Hafiane, A.; Vieyres, P.; Delbos, A. (2014). "Phase-based probabilistic active contour for nerve detection in ultrasound images for regional anesthesia". Computers in Biology and Medicine. 52: 88–95.
  17. ^ Ray, N.; Acton, S.T. (2004). "Motion gradient vector flow: An external force for tracking rolling leukocytes with shape and size constrained active contours". IEEE Transactions on Medical Imaging. 23 (12): 1466–1478.
  18. ^ Li, B.; Acton, S.T. (2007). "Active contour external force using vector field convolution for image segmentation". IEEE Transactions on Image Processing. 16 (8): 2096–2106.
  19. ^ a b Kass, M.; Witkin, A.; Terzopoulos, D. (1988). "Snakes: active contour models". International Journal of Computer Vision. 1: 321–331.
  20. ^ Hassouna, M.S.; Farag, A.Y. (2009). "Variational curve skeletons using gradient vector flow". IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (12): 2257–2274.
  21. ^ Xu, C.; Yezzi, A.; Prince, J.L. (October 2000). "On the relationship between parametric and geometric active contours and its applications". 34th Asilomar Conference on Signals, Systems and Computers. Vol. 1. pp. 483–489.
  22. ^ Paragios, N.; Mellina-Gottardo, O.; Ramesh, V. (2004). "Gradient vector flow fast geometric active contours". IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (3): 402–407.
  23. ^ Goldenberg, R.; Kimmel, R.; Rivlin, E.; Rudzsky, M. (2001). "Fast geodesic active contours". IEEE Transactions on Image Processing. {10 (10): 1467–1475.
  24. ^ Guilot, L.; Bergounioux, M. (2009). "Existence and uniqueness results for the gradient vector flow and geodesic active contours mixed model". Communications on Pure and Applied Analysis. 8 (4): 1333–1349.
  25. ^ "Active contours driven by divergence of gradient vector flow". Signal Processing. Elsevier. 120: 185–199. 2016.
  26. ^ Rodtook, A.; Makhanov, S.S. (2013). "Multi-feature gradient vector flow snakes for adaptive segmentation of the ultrasound images of breast cancer". Journal of Visual Communication and Image Representation. Elsevier. 24 (8): 1414–1430.