상세 이미지 우선

Deep Image Prior는 이미지 자체 이외의 사전 훈련 데이터 없이 주어진 이미지를 향상시키는 데 사용되는 컨볼루션 뉴럴 네트워크의 한 종류입니다.노이즈의 저감, 초해상도, 인페인팅 등의 역문제를 해결하기 위해 뉴럴 네트워크를 랜덤하게 초기화해 사용한다.화상 통계는 이전에 학습된 능력보다는 컨볼루션 화상 생성기의 구조에 의해 캡처된다.

방법

배경

노이즈 감소, 초해상도 및 인페인팅과 같은 역문제는 최적화 $x^{*}=min_{x}E(x;x_{0})+R(x)$ x $= mi$ n $x^{*}=min_{x}E(x;x_{0})+R(x)$ ( $x^{*}=min_{x}E(x;x_{0})+R(x)$ ; $x^{*}=min_{x}E(x;x_{0})+R(x)$ ) + $x^{*}=min_{x}E(x;x_{0})+R(x)$ ( $x^{*}=min_{x}E(x;x_{0})+R(x)$ ) { $display$ x } E $( x$ ; x $_ 0$ ) + R ( $x$ ) $x^{*}=min_{x}E(x;x_{0})+R(x)$ （ x ;x _ $0$ ）。 $x$ 서 x { $display$ $style$ x _ $0$ }는 $x$ $x_style$ 이다. $E(x;x_{0})$ ( $E(x;x_{0})$ ; $E(x;x_{0})$ 0 $){style$ E $(x;x_{0})$ 는 $E(x;x_{0})$ 태스크에 의존하는 데이터 용어이며 R(x)는 정규화입니다.이로 인해 에너지 최소화 문제가 발생합니다.

심층 신경 네트워크는 임의의 코드 $벡터$ z $\$ $displaystyle$ z를 $z$ $이미지$ x\ $displaystyle$ x $x$ $theta }(z)$ 에 $x=f_{\theta }(z)$ 매핑하는 제너레이터/ $x=f_{\theta }(z)$ x $x=f_{\theta }(z)$ $= f$ $x=f_{\theta }(z)$ ( $x=f_{\theta }(z)$ z $x=f_{\theta }(z)$ )를 학습합니다.

$x_{0}$ 0 $(\$ $x_{0}$ 에 $x_{0}$ 사용된 이미지 손상 방법이 특정 애플리케이션에 대해 선택되었습니다.

사양

이 접근법에서는 R $R(x)$ ( $R(x)$ ) { $displaystyle$ R $(x$ $R(x)=0$ previor가 $R(x)$ $R(x)$ 에 의해 캡처된 암묵적 사전으로 대체됩니다( $여기$ 서 심층 신경망에 의해 $R(x)=+\infty$ 생성될 $R(x)=0$ 있는 $R(x)=+\infty$ 의 $R(x)=0$ 경우 $R(x)=0$ R $R(x)=+\infty$ ( $R(x)=+\infty$ ) $=$ 0 { $displaystyle$ $R$ $(x$ 이것에 의해, 미니마이저 $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ r $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ n $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ E ( $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ ( $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ z $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ ) ; $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ 0 $){$ $displaystyle \theta$ ^ { * } = $displaymin$ _ {\ $theta } E$ ( $f$ _ { \ $theta$ } ( $z$ ; x $_$ { $0$ } )와 $\theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})$ 최적화 $x^{*}=f_{\theta ^{*}}(z)$ 의 결과 x display $x^{*}=f_{\theta ^{*}}(z)$ display z $x^{*}=f_{\theta ^{*}}(z)$ display $x^{*}=f_{\theta ^{*}}(z)$ = dispute ( f )의 등식이 생성됩니다 $.$

미니마이저 $\theta ^{*}$ display （ \ $display$ style \ $theta ^$ { * } $\theta ^{*}$ ）(일반적으로 경사 하강)은 랜덤하게 초기화된 파라미터에서 시작하여 로컬 최적 결과로 하강하여 $x^{*}$ $（$ \ $display style$ x $^$ { * } ） restore $x^{*}$ 함수를 생성합니다.

과적합

파라미터 θ는 노이즈를 포함한 임의의 화상의 회복에 사용할 수 있다.단, 네트워크에서는 노이즈는 높은 임피던스를 포함하지만 유용한 신호는 낮은 임피던스를 제공하기 때문에 꺼립니다.따라서 최적화 프로세스에서 반복 횟수가 데이터를 오버핏하지 않을 정도로 낮게 유지되는 한 δ 파라미터는 보기 좋은 로컬 최적치에 근접합니다.

적용들

노이즈 제거

어디 x0x+ϵ{\displaystyle x_{0}=x+\epsilon}. 그 분포 ϵ{\displaystyle \epsilon}때때로(예:프로파일링 센서와 광자 noise[1])과 알고 있는 경우 선택적으로inco 수 있denoising의 원칙{\displaystyle)} 시끄러운 관찰에서 이미지를 x를 회복하기 위해서)0{\displaystyle x_{0}}, 있다.rpo이 프로세스는 블라인드 노이즈 제거에서 잘 작동합니다.

2차 에너지 $E(x,x_{0})=||x-x_{0}||^{2}$ E $($ $E(x,x_{0})=||x-x_{0}||^{2}$ $E(x,x_{0})=||x-x_{0}||^{2}$ 0 ) $=$ - $E(x,x_{0})=||x-x_{0}||^{2}$ 0 $($ })= $x-x_{0} ^{$ 2}}는 데이터 $E(x,x_{0})=||x-x_{0}||^{2}$ 항으로 사용되며, 이를 $(\$ ^{*})의 $\theta ^{*}$ 방정식에 대입하면 최적화 $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ f $min_{\theta }||f_{\theta }(z)-x_{0}||^{2}$ - $style$ 가 발생합니다 $.$ $min_{\theta$ } $f_{\theta$ }( $z)-x_{0}^{2$

초해상도

초해상도는 이미지 x의 고해상도 버전을 생성하기 위해 사용됩니다.x의 고해상도 버전을 생성하는 데 사용됩니다.데이터 항은 E $E(x;x_{0})=||d(x)-x_{0}||^{2}$ ( $E(x;x_{0})=||d(x)-x_{0}||^{2}$ x ; $E(x;x_{0})=||d(x)-x_{0}||^{2}$ 0 ) $=$ ( $E(x;x_{0})=||d(x)-x_{0}||^{2}$ ) - $E(x;x_{0})=||d(x)-x_{0}||^{2}$ $E(x;x_{0})=||d(x)-x_{0}||^{2}$ { $display$ E $(x;x_{0$ })= $d(x)-x_{0}$ ^ $2}$ 로 $E(x;x_{0})=||d(x)-x_{0}||^{2}$ $E(x;x_{0})=||d(x)-x_{0}||^{2}$ 됩니다. 여기서 d(·)는 Lanczos와 같은 다운샘플링 연산자로, 인자 t로 이미지를 소멸시킵니다.

인페인팅

Inpainting은 $x_{0}$ x $(\$ 에서 누락된 영역을 재구성하는 데 사용됩니다.이러한 누락된 픽셀은 이진 $m\in \{0,1\}^{H\times V}$ m $m\in \{0,1\}^{H\times V}$ { $m\in \{0,1\}^{H\times V}$ , $m\in \{0,1\}^{H\times V}$ } $m\in \{0,1\}^{H\times V}$ × $m\in \{0,1\}^{H\times V}$ {\ $displaystyle$ m $\in$ \{ $0,1\}^{H\times$ V $m\in \{0,1\}^{H\times V}$ 로 정의됩니다.데이터 용어는 E $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ( $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ; $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ) $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ( $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ - $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ) $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ 2 ( \ $display$ $E ( x$ ; x $_$ { $0$ ) $\odot$ ( x - x _ { $0$ ) \ $odot$ m ^ { $2}$ $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ ) $\odot$ (여기서 ⊙ \ $displaystyle$ \odot $\odot$ }는 $\odot$ Hadamard 제품)으로 $E(x;x_{0})=||(x-x_{0})\odot m||^{2}$ 됩니다.

플래시 비플래시

이 방법은 여러 이미지로 확장할 수 있습니다.저자가 언급한 간단한 예로는 플래시 없음 쌍에서 자연스러운 빛과 선명도를 얻기 위한 이미지 재구축이 있습니다.비디오 재구성은 가능하지만 공간 차이를 고려한 최적화가 필요합니다.

실장

PyTorch 0.4.0 라이브러리와 함께 Python 3.6에서 다시 작성된 참조 구현은 Apache 2.0 라이센스로 작성자에 의해 공개되었습니다: deep-image-prior
Python 2로 작성되어 CC-SA 3.0 라이선스로 출시된 TensorFlow 기반 구현: deep-image-prior-tensorflow
Python 2로 작성되어 GPLv3로 출시된 Keras 기반 구현: machine_learning_denoising

레퍼런스

^ jo (2012-12-11). "profiling sensor and photon noise .. and how to get rid of it". darktable.
^ "DmitryUlyanov/Deep-image-prior". 3 June 2021.

Ulyanov, Dmitry; Vedaldi, Andrea; Lempitsky, Victor (30 November 2017). "Deep Image Prior". arXiv:1711.10925v2 [cs.CV].

[1] (2012-12-11). "profiling sensor and photon noise .. and how to get rid of it". darktable.

[2] "DmitryUlyanov/Deep-image-prior". 3 June 2021.

Search