컨볼루션 스파스 부호화

컨볼루션 스파스 코딩 패러다임은 순환 행렬의 연결로 중복 사전을 모델링하는 전역 스파스 코딩 모델의 확장이다.글로벌 희소성 제약조건은 ${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ x ${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ R ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ ${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ {\ $textstyle \mathbbf {x}$ \ $in \mathbb {R}$ ^{ $N$ $}$ ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ × ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ M ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ M ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ N {\ $textstyle \mathbf {D}$ \ $in$ \mathbbb {N $} ^{$ N}}}을 다중 ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ 에 기재되어 있습니다. ${\textstyle \mathbf {x} =\mathbf {D} \mathbf {\Gamma } }$ 희박한 벡터 ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{M}}$ ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{M}}$ 에 $대해$ { $x} =\mathbf$ ${D}$ \ $mathbf$ {D} \mathbf ${Gamma} }$ 희박한 부호화 모델에서 채택한 대체 사전 구조는 x 패치 ${\textstyle \mathbf {x} }$ 국소적으로 희소 우선도를 적용할 수 있다 $.$ ${\textstyle \mathbf {x} }$ 는 ${\textstyle \mathbf {\Gamma } }$ textstyle\ $mathbf\Gamma$ 스트라이프 상에서 동작하는 "로컬" 딕셔너리에 의해 생성됩니다.

국소적 희소성 제약은 이전의 글로벌 희소성보다 더 강력한 고유성 및 안정성 조건을 가능하게 하며 이미지 이해 및 컴퓨터 비전 등의 분야에서 역문제를 해결하기 위한 다목적 도구임이 입증되었습니다.또한, 최근에 제안된 모델의 다중 계층 확장은 보다 복잡한 신호 분해를 위한 개념적 이점뿐만 아니라 컨볼루션 뉴럴 네트워크 모델의 긴밀한 연결을 보여주어 후자의 작동 방식을 더 깊이 이해할 수 있게 했습니다.

개요

${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ 신호 x ${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ R ${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ {\ $textstyle \mathbb {x}$ \ $in \mathbb$ {R $}$ ^{ $N}}$ 및 ${\textstyle \mathbf {x} \in \mathbb {R} ^{N}}$ ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ D ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ × ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ M, ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M},M\gg N}$ N {\ $textstyle$ \ $mathbf$ { $D} \in$ \mathbb ${R}$ 이 주어진 경우, ${R}^{M$ x $(\$ $\mathbf {x})$ 의 희박한 표현( $x$ ${\textstyle \mathbf {x} }$ $=$ D ${\textstyle \mathbf {x} =\mathbf {D} \mathbf {\Gamma } }$ \ $mathbf$ {x} = \ $mathbf$ {D} \ $mathbf$ {Gamma $}$ ）。 $직관적$ 으로 $x$ $(\textstyle$ \mathbf { $x})$ 는 ${\textstyle \mathbf {x} }$ 다음과 같이 ${\textstyle \mathbf {x} }$ 됩니다 $.$ ${\textstyle \mathbf {D} }$ 앞의 글로벌 희소성 제약은 이미지 인페인팅, 초해상도 ^[1]^[2]^[3]및 코딩과 같은 많은 잘못된 역방향 문제에 유용한 것으로 나타났다 $.$ 자연 이미지를 포함한 이미지 이해 및 컴퓨터 비전 태스크에 특히 관심이 있어 중복 사전을 효율적으로 추론할 수 있습니다.

글로벌 희소성 제약의 연장선상에서, 문헌의 최근 조각들은 모델의 고유성과 안정성 ^[6]조건에 대한 보다 심오한 이해에 도달하기 위해 모델을 다시 살펴보았다.흥미롭게도, $(\$ 앞에 국소 희소성을 부과함으로써, D $(\$ 의 ${\textstyle \mathbf {D} }$ 구조는 각 개별 패치 상에서 작동하는 "로컬" 사전으로 이해할 수 있다.이 모델 확장은 convolutional sparse coding(CSC; 컨볼루션 스파스 코딩)으로 불리며 보다 강력한 고유성과 안정성 조건을 특징으로 하면서 신호 표현 추정 부담을 대폭 줄입니다.또한 로컬 방식으로^[5] 수행하면서 OMP(Orthonormal Matching Purchase) 및 Basis Purchase(BP)와 같은 투영 경사 강하 알고리즘을 통해 $(\$ 를 ${\textstyle \mathbf {\Gamma } }$ 효율적으로 추정할 수 있습니다.

역문제의 다양성 외에도, 최근의 노력은 모델의 다층 버전에 초점을 맞추고 여러 기본 ^[7]표현을 복구하기 위한 신뢰성의 증거를 제공했다.더욱이, 그러한 모델과 잘 확립된 컨볼루션 뉴럴 네트워크 모델(CNN) 사이의 긴밀한 연결이 밝혀져 이론적 조건을 보다 엄격하게 이해할 수 있는 새로운 도구를 제공했다.

컨볼루션 스파스 코딩 모델은 이미지 노이즈 제거, 이미지 인페인팅 및 이미지 초해상도 등 광범위한 역문제를 해결하기 위한 매우 효율적인 도구 세트를 제공합니다.국소 희소성 제약을 가함으로써 분리된 패치를 반복적으로 추정하여 글로벌 신호로 조립함으로써 글로벌 코딩 문제에 효율적으로 대처할 수 있다.또한, 신호 고유의 표현 자체에 희소성 제약을 가함으로써 발생하는 다층 스파스 모델을 채택함으로써, 결과적인 "레이어드" 추적 알고리즘은 단일 레이어 모델로부터 강한 고유성과 안정성 조건을 유지한다.이 확장은 또한 CSC 모델의 이론적 이점이 어떻게 CNN 구조의 강한 수학적 의미를 제공할 수 있는지를 이해할 수 있는 그것의 희소성 선행과 컨볼루션 신경망의 전진 패스 사이의 관계에 대한 몇 가지 흥미로운 개념을 제공한다.

스파스 부호화 패러다임

컨볼루션 스파스 표현 프레임워크를 자세히 설명하기 위해 기본 개념과 모델이 제시된다.희소성 제약이 다른 모델에서 제안되었다는 근거로, 관심 모델까지의 진화를 보여주기 위해 그 제약에 대한 짧은 설명이 제시된다.또한 고유성 안정성 보장을 확립하기 위한 상호 일관성과 제한된 등각 특성 개념도 포함된다.

글로벌 스파스 부호화 모델

신호)∈ RN{\textstyle \mathbf{)}\in\mathbb{R}^{N}}원자의 작은 숫자의 지정된 사전 D에서 RN×M, M을 ∈ 선형 조합으로 표출 될;N\in\mathbb{R}^{N\times M},M>{\textstyle \mathbf{D}, N}. 또는, 이 신호는 x=DΓ{\textsty 표현할 수 있게 하라.르 \ma $thbf {x} =\mathbf {D}$ \ $mathbf {$ D} \mathbf ${Gamma}$ ${\textstyle \mathbf {x} =\mathbf {D} \mathbf {\Gamma } }$ 。여기서 ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{M}}$ ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{M}}$ M {\ $textstyle \$ $mathbf }$ \ $in$ {R} ^{ $M$ $}$ $}$ { ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{M}}$ r ${\textstyle \mathbf {x} }$ ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{M}}$ r r r r r r r r r r r r ${\textstyle \mathbf {x} }$ r r r r th th th to to to to r r {\ R M ${\$ R M { { { 이후 D ${\textstyle \mathbf {D} }$ {\ $textstyle$ $\$ $mathbf {D$ 가 주어졌을 때, 무잡음 신호 자체 또는 관찰로부터 $\$ \ $mathbf {Gamma}$ 를 ${\textstyle \mathbf {\Gamma } }$ 복구하는 작업은 스파스 코딩으로 분류된다.무소음 시나리오를 고려하여 부호화 문제는 다음과 같이 공식화된다.

{\mathbf {Gamma }}_{\text{gamma}}_{\text{mathbf {gamma}}\;\mathbf {Gamma}\;{0}\;{texts}t.}}\;\mathbf {D} \mathbf {Gamma } =\mathbf {x} .\end{aligned}

§

(

스타일) _

{0}

노름의

{\textstyle \ell _{0}}

효과는 가능한 한 원소가 0인 솔루션을 선호한다는 것이다.또한, 한계 에너지 소음의 영향을 받는 관측치가 주어졌을 때:

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

+

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

E ,

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

E

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

2

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

<

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

\

textstyle

\

mathbf

{

Y } =

\

mathbf

{

D }

\

mathbf

{

E }

+ \

mathbf

{ E } , \

\ mathbf

{ E } \ { E } , \ { 2 < \

varepsilon

{\textstyle \mathbf {Y} =\mathbf {D} \mathbf {\Gamma } +\mathbf {E} ,\|\mathbf {E} \|_{2}<\varepsilon }

, 추적 문제는 다음과 같이 가정됩니다.

{\displaystyle {\mathbf {\Gamma } {\text{noise}} {= 언더셋 {\text{gamma}} {\text{st}} {\mathbf} {\text{st}}} {\mathbf} {D} {\mathbf}.

글로벌 스파스 모델의 안정성 및 고유성 보장

$(\$ })의 스파크를 선형 독립 열의 최소 수로 정의합니다.

(\displaystyle\mathbf {D}) = 언더셋(\mathbf {Gamma } {\text{min}}) \mathbf {Gamma} \{0} \ texts.t.}}\mathbf {D\Gamma} = 0,\mathbf {Gamma} \neq 0.\end { aligned}}

그런 다음 삼각 부등식에서 가장 희박한 벡터 ${\textstyle \mathbf {\Gamma } }$ \ $mathbf$ { $Gamma})$ 는 ${\textstyle \mathbf {\Gamma } }$ ${\textstyle \mathbf {\Gamma } }$ ${\textstyle \|\mathbf {\Gamma } \|_{0}<{\frac {\sigma (\mathbf {D} )}{2}}}$ 0 < ${\textstyle \|\mathbf {\Gamma } \|_{0}<{\frac {\sigma (\mathbf {D} )}{2}}}$ ${\textstyle \|\mathbf {\Gamma } \|_{0}<{\frac {\sigma (\mathbf {D} )}{2}}}$ ） ${\textstyle \|\mathbf {\Gamma } \|_{0}<{\frac {\sigma (\mathbf {D} )}{2}}}$ (\ $textstyle \mathbf {Gamma}$ \{ $0}$ < {\ $frac {D$ 를 만족합니다 $.$ 대신, 상호 일관성을 D $(\$ 의 원자 간 유사성의 측정값으로 한다. ${\textstyle \ell _{2}}$ 2 $(\$ _ ${2}}$ -norm ${\textstyle \ell _{2}}$ 단위 원자를 가정할 때 $,$ ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ (\ $textstyle \mathbf {D} })$ 의 ${\textstyle \mathbf {D} }$ 상호 일관성은 μ ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ i ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ 로 정의된다. ${D})=\max _{i\neq j}\\mathbf {d_{i}^{$ $T}}$ \ $mathbf {d_{j}$ \ $_{$ 2 ${\textstyle \mu (\mathbf {D} )=\max _{i\neq j}\|\mathbf {d_{i}^{T}} \mathbf {d_{j}} \|_{2}}$ ${\textstyle \mathbf {d} _{i}}$ 서 ${\textstyle \mathbf {d} _{i}}$ $\$ 는 ${\textstyle \mathbf {d} _{i}}$ 원자입니다.이 메트릭에 기초하여 진정한 스파스 표현 ${\textstyle \mathbf {\Gamma } ^{*}}$ ${\$ \ $textstyle$ \ $mathbf$ { Gamma $}$ ^ { * } { ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ 0 ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ < ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ ( 1 ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ + ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ μ ( ${\textstyle \|\mathbf {\Gamma } ^{*}\|_{0}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ ) \ $style$ \ \ $mathbf$ { $Gamma }$ ^ { * 1 } { $fr$ } { fr } { fr } and ${\textstyle \mathbf {\Gamma } ^{*}}$ and and and and and and and if if if if if if if if if if if if if if if if if if if if

마찬가지로 노이즈가 존재하는 경우, 실제 희박한 표현 ${\textstyle \mathbf {\Gamma ^{*}} }$ \ $mathbf {Gamma ^{*}})$ 와 ${\textstyle \mathbf {\Gamma ^{*}} }$ 추정 $δ(\$ textstyle $\mathbf$ {\ $Gamma }})$ 사이의 ${\textstyle {\hat {\mathbf {\Gamma } }}}$ 거리에 대한 상한을 제한 등각성(RIP)을 통해 설정할 수 있다.상수가 $(\$ k ${\textstyle \delta _{k}}$ })인 k-RIP ${\textstyle \mathbf {D} }$ D(\ $textstyle\mathbf {D})$ 는 ${\textstyle \mathbf {D} }$ ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ( ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ " ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ 2 ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ D ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ text 2 ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ 2 （ 1 ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ + " ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ $text$ 2 $text$ 2 ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ 2 ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ 1 \ textstyle 2 ${\textstyle (1-\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}\leq \|\mathbf {D\Gamma } \|_{2}^{2}\leq (1+\delta _{k})\|\mathbf {\Gamma } \|_{2}^{2}}$ ）에 $대응합니다.$ $mma$ } \ $_{2}^{$ $k$ 여기서 ${\textstyle \|\mathbf {\Gamma } \|_{0}=k}$ ${\textstyle \delta _{k}}$ k \ $textstyle$ \ ${\textstyle \delta _{k}}$ ${\textstyle \|\mathbf {\Gamma } \|_{0}=k}$ 0 ${\textstyle \|\mathbf {\Gamma } \|_{0}=k}$ \ $textstyle$ \ $mathbf$ \ $Gamma }$ \ { 0 ${\textstyle \|\mathbf {\Gamma } \|_{0}=k}$ = $k$ 의 부등식을 만족시키는 최소수입니다.그럼 ‖ Γ ‖을 가정해 0<12(1+1μ(D)){\textstyle)\mathbf{\Gamma})_{0}<,{\frac{1}{2}}{\big(}1+{\frac{1}{\mu(\mathbf{D})}}{\big)}}, ‖ Γ ^ − Γ ∗ ‖ 22≤ 4ε 2대 1− μ(D)(2‖ Γ ‖ 0− 1){)\textstyle \mathbf{{\hat{\Gamma 보장된다.}}-\ $감마^{*} \_{2}^{2}\leq {frac {4\varepsilon$ ^{ $2}}{1-\mu(\mathbf {D})(2\mathbf {Gamma} \{0}-1$

$사전$ 되지 않은 경우 이러한 일반적인 문제를 해결하는 것은 어려운 과제입니다 ${\textstyle \mathbf {D} }$ 이는 매우 비용이 많이 드는 크고, 매우 완전한 표현을 배우는 것을 의미합니다.이러한 부담이 충족되고 일반적으로 사전 정보를 바탕으로 주어진 ${\textstyle \mathbf {x} }$ x(\ $textstyle \mathbf {x$ 에 대한 대표 사전이 확보되었다고 가정할 때, ${\$ \ $textstyle$ \ $mathbf$ \ $Gamma }$ ^{*}}는 ${\textstyle \mathbf {\Gamma } ^{*}}$ 여러 추적 알고리즘을 통해 추정할 수 있다.

글로벌 스파스 모델에 대한 추적 알고리즘

글로벌 스파스 코딩 문제를 해결하기 위한 두 가지 기본적인 방법은 직교 매칭 추적(OMP)과 기본 추적(BP)입니다.OMP는 x $(\$ 와 ${\textstyle \mathbf {x} }$ 전류 추정 사이의 잔차와 가장 잘 연관된 원자를 반복적으로 선택한 후 미리 선택된 원자의 서브셋에 투영하는 탐욕 알고리즘입니다.한편, 베이시스 추구는 원래 코딩 문제를 선형 프로그래밍 문제로 대체하는 보다 정교한 접근법입니다.이 알고리즘을 기반으로 글로벌 스파스 코딩은 $δ$ 의 고유성과 안정성을 상당히 느슨하게 제한합니다 $.$ 이를 극복하기 위해 D \textstyle \ $mathbf$ {D $}$ 보다 ${\textstyle \mathbf {D} }$ 더 엄격한 경계와 고유성을 보장하기 위해 D ${\textstyle \mathbf {D} }$ \ $textstyle \mathbf {D}$ 보다 더 높은 우선순위를 부여합니다.이 속성에 대한 자세한 내용은 (섹션 2)를 참조하십시오.^[5]

컨볼루션 스파스 부호화 모형

$(\textstyle\mathbf\Gamma$ })의 ${\textstyle \mathbf {\Gamma } }$ 각 겹치는 부분이 희박하도록 국소적 우선을 채택한다. ${\textstyle \mathbf {D_{L}} \in \mathbb {R} ^{n\times m},m\ll M}$ ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times Nm}}$ × N ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times Nm}}$ \ $textstyle \mathbbf {D}$ \ $in \mathbb {R}$ ^{N\ $times$ Nm} ^ L ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times Nm}}$ ${\textstyle \mathbf {D_{L}} \in \mathbb {R} ^{n\times m},m\ll M}$ R × m $,$ m be ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times Nm}}$ ${\textstyle \mathbf {D_{L}} \in \mathbb {R} ^{n\times m},m\ll M}$ { $textstyle \mathbf {D_{L}$ \ $times$ Nmathbbb ${R}$ ^} } ^mathbbb {R} } ${\textstyle \mathbf {D_{L}} \in \mathbb {R} ^{n\times m},m\ll M}$ { 。 $extstyle \mathbf {D_{L}}$ 및 로컬 ${\textstyle \mathbf {D_{L}} }$ ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{mN}}$ ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{mN}}$ m ${\textstyle \mathbf {\Gamma } \in \mathbb {R} ^{mN}}$ N { $textstyle$ \ $mathbf$ \ $Gamma }$ \ $in$ \ $mathbb$ { $R$ } ^ { $mN}$

글로벌 사전은 스트라이드 컨볼루션 매트릭스로 표현된다.따라서 신호는 시프트 불변 로컬사전에 의해 증배되는 스파스 표현의 스트라이프 관점에서 생성될 수 있습니다.

후자에서 $(\$ $textstyle$ \ $mathbf$ \ $Gamma })$ 는 ${\textstyle \mathbf {\Gamma } }$ ${\textstyle N}$ N(\ $textstyle$ N)의 ${\textstyle N}$ 분리된 ${\textstyle \alpha _{i}\in \mathbb {R} ^{m}}$ ${\textstyle \alpha _{i}\in \mathbb {R} ^{m}}$ i ${\textstyle \alpha _{i}\in \mathbb {R} ^{m}}$ R $m(\textstyle$ \ $alpha _{i}\in$ \ $mathbb$ {R}) $^{m$ : ${\textstyle \mathbf {\Gamma } \in \{\alpha _{1},\alpha _{2},\dots ,\alpha _{N}\}^{T}}$ { ${\textstyle \mathbf {\Gamma } \in \{\alpha _{1},\alpha _{2},\dots ,\alpha _{N}\}^{T}}$ { ${\textstyle \mathbf {\Gamma } \in \{\alpha _{1},\alpha _{2},\dots ,\alpha _{N}\}^{T}}$ , ${\textstyle \mathbf {\Gamma } \in \{\alpha _{1},\alpha _{2},\dots ,\alpha _{N}\}^{T}}$ } $α$ textstyle ${\textstyle \mathbf {\Gamma } \in \{\alpha _{1},\alpha _{2},\dots ,\alpha _{N}\}^{T}}$ ${\textstyle \mathbf {\Gamma } \in \{\alpha _{1},\alpha _{2},\dots ,\alpha _{N}\}^{T}}$ 로 재표현할 수 있다 $.$ ${\textstyle \gamma }$ 로 ${\$ { $textstyle \gamma$ }는 ${\textstyle \gamma }$ ( $)$ { $textstyle (2n-1)}$ ${\textstyle \alpha _{i}}$ 의 ${\textstyle (2n-1)}$ 연속 ${\textstyle \alpha _{i}}$ i \ $textstyle \alpha$ _ ${i$ 의 ${\textstyle (2n-1)}$ 세트라고 합니다.그런 다음 x ${\textstyle \mathbf {x} }$ {\ $textstyle \mathbf$ { $x$ 의 ${\textstyle \mathbf {x} }$ 각 불연속 세그먼트는 ${\textstyle \mathbf {x} _{i}=\mathbf {R} _{i}\mathbf {D} \mathbf {\Gamma } }$ 과 ${\textstyle \mathbf {x} _{i}=\mathbf {R} _{i}\mathbf {D} \mathbf {\Gamma } }$ 표현됩니다. 여기서 ${\textstyle \mathbf {R} _{i}\in \mathbb {R} ^{n\times N}}$ 는 ${\textstyle \mathbf {R} _{i}\in \mathbb {R} ^{n\times N}}$ i ${\textstyle \mathbf {x} _{i}=\mathbf {R} _{i}\mathbf {D} \mathbf {\Gamma } }$ ${\textstyle \mathbf {x} _{i}=\mathbf {R} _{i}\mathbf {D} \mathbf {\Gamma } }$ {x} $_ {i} =$ \ $mathbf {$ D} \mathbf { ${\textstyle \mathbf {R} _{i}\in \mathbb {R} ^{n\times N}}$ } \ ${\textstyle \mathbf {R} _{i}\in \mathbb {R} ^{n\times N}}$ ${\textstyle \mathbf {x} _{i}=\mathbf {R} _{i}\mathbf {D} \mathbf {\Gamma } }$ ${\textstyle \mathbf {R} _{i}\in \mathbb {R} ^{n\times N}}$ n입니다. $($ ${\textstyle i}$ $스타일$ n $)$ 이 색인 i $(텍스트 스타일$ i ${\textstyle i}$ 부터 시작됩니다.따라서 ${\textstyle \mathbf {R} _{i}\mathbf {D} }$ D $(\$ 에는 ${\textstyle \mathbf {R} _{i}\mathbf {D} }$ 0이 아닌 ${\textstyle (2n-1)m}$ ( ${\textstyle (2n-1)m}$ - ${\textstyle (2n-1)m}$ ) $(\textstyle(2n-1)m)$ 개의 ${\textstyle (2n-1)m}$ 열만 포함됩니다.따라서 ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ R ( ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ - ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ ) ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ × N ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ \ $textstyle$ \ $mathbf$ { $S } _$ { $i$ } \ $in$ \ $mathbf$ { $R }^{$ ( $2n-1) m\times$ Nm}을 ${\textstyle \mathbf {S} _{i}\in \mathbf {R} ^{(2n-1)m\times Nm}}$ 도입하여 이들을 배타적으로 보존합니다.

\displaystyle \mathbf {x} _{i} &= 언더브레이스 \mathbf {R} _{i} \mathbf {D} \mathbf {S} _{i}^{T}}}{\underset {{i}}{\underbrace {(S_{i}\mathbf {Gamma}}}}}},\end {aligned}}}

여기서

{\textstyle \Omega }

{

textstyle

\

Omega }

는

{\textstyle \Omega }

스트라이프 사전으로 알려져 있으며

,

{\textstyle \gamma _{i}}

{

textstyle

i

{\textstyle i}

}와는 독립적이며

{\textstyle \gamma _{i}}

i i \

textstyle

\

gamma _

{ i

{\textstyle \gamma _{i}}

}는 i번째 스트라이프로 분류됩니다.따라서

{\textstyle \mathbf {x} }

x

(\textstyle

\

mathbf

{x

})

는 패치 집약 또는 컨볼루션 해석에 해당합니다

{\textstyle \mathbf {x} }

.

{{displaystyle}\mathbf {x} &=_{i=1}^{N}\mathbf {R}_{i}^{T}\mathbf {D}_{L}\alpha _{i}=\sum _{i=1}^{m}\mathbf {d}_{i}\ast \mathbf {z_{i}.\end{aligned}}}}

{\textstyle \mathbf {d} _{i}}

서

{\textstyle \mathbf {d} _{i}}

\

mathbf

{

d

} _{

i

{\textstyle \mathbf {d} _{i}}

}}는

{\textstyle \mathbf {D} _{L}}

{\textstyle \mathbf {z_{i}} }

로컬

{\textstyle \mathbf {D} _{L}}

D

{\textstyle \mathbf {D} _{L}}

L의 i번째 원자({

L})

와 z i

{\

mathbf

{

z_{i

{\textstyle \alpha }

에 대응하며

,

{\textstyle \mathbf {z_{i}} \triangleq (\alpha _{1,i},\alpha _{2,i},\dots ,\alpha _{N,i})^{T}}

{\textstyle \alpha }

요소

로 구성됩니다

.

\textstyle \mathbf {z_{i} \triangleq (\alpha _{1,i},\alpha _{2,i},\dots,\alpha _{N,i})^

{T

{\textstyle \ell _{0,\infty }}

딕셔너리 구조를 지정하면

{\textstyle \ell _{0,\infty }}

0

{\textstyle \ell _{0,\infty }}

,

style

\ textstyle

\ell

_ { 0 , \ infty

}

의사

{\textstyle \ell _{0,\infty }}

노름은

{\textstyle \|\mathbf {\Gamma } \|_{0,\infty }\triangleq {\underset {i}{\text{ max}}}\;\|\gamma _{i}\|_{0}}

,

{\textstyle \|\mathbf {\Gamma } \|_{0,\infty }\triangleq {\underset {i}{\text{ max}}}\;\|\gamma _{i}\|_{0}}

max i

{\textstyle \|\mathbf {\Gamma } \|_{0,\infty }\triangleq {\underset {i}{\text{ max}}}\;\|\gamma _{i}\|_{0}}

i

{\textstyle \|\mathbf {\Gamma } \|_{0,\infty }\triangleq {\underset {i}{\text{ max}}}\;\|\gamma _{i}\|_{0}}

0 \

textstyle \ mathbf

\

Gamma }

\ { 0 , \ 0 ,

infty }

로

정의

합니다.그 후, 무소음 및 소음 손상 시나리오의 경우, 각각 다음과 같이 문제를 재구성할 수 있다.

{\mathbf {gamma } {\text{gamma}} {\text{gamma}} {\mathbf {gamma}} \; \mathbf {0,\infty} \; {\texts}.}}\;\mathbf {D} \mathbf {Gamma } =\mathbf {x} ,\{\hat {\text {noise}} &={\text {gamma} } {\text {gama} } \; \mathbf {0mathbf {x}}}\;\\mathbf {Y} -\mathbf {D} \mathbf {Gamma } \ {2} <\varepsilon .\end {aligned}

컨볼루션 스파스 모델의 안정성 및 고유성 보장

그 지역적으로 접근을 위해, D{\textstyle \mathbf{D}}상호 코히 런스가:해결 방법이‖ Γ ‖ 0,∞<>께 복종한다μ(D).}그래서 − 1=1/2.{\textstyle\mu(\mathbf{D})\geq{\big(}{\frac{m-1}{m(2n-1)-1}}{\big)}^{1/2}(m− 1m(2n− 1)≥ 12(1+1μ(D)){\t.내선 $style \mathbf {Gamma$ } \ $_{0,\infty}$ <\ $frac {1} {2}} {\big (\mathbf$ { $D}}}:{\$ big ${\textstyle \|\mathbf {\Gamma } \|_{0,\infty }<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} )}}{\big )}}$ $,$ "\ $text$ style $_0,\fty}}$ ${\textstyle \ell _{0,\infty }}$ 에 ${\textstyle \ell _{0,\infty }}$ 대한 가장 희박한 솔루션입니다.따라서 로컬 공식에서는 각 스트라이프에 대해 풀 벡터 대신 동일한 수의 비제로가 허용됩니다!

글로벌 모델과 마찬가지로 CSC는 OMP 및 BP 방법을 통해 해결됩니다.후자는 추구를 보다 작은 문제로 분할하기 위해 반복 수축 임계값 알고리즘(ISTA)^[8] 사용을 고려합니다.해결 방법이 Γ{\textstyle \mathbf{\Gamma}은 ℓ 0에 따르면,∞{\textstyle \ell_{0,\infty}}pseudonorm,}‖ Γ ‖ 0,∞<12(1+1μ(D)){\textstyle)\mathbf{\Gamma})_{0,\infty}<,{\frac{1}{2}}{\big(}1+{\frac{1}{\mu(\mathbf{D})}}{\big)}}둘 다 만족하는 존재한다.필로폰ods는 복구가 보증됩니다.또한 로컬 모델은 § $(\$ _ ${0})$ 이전과는 ${\textstyle \ell _{0}}$ 달리 신호 차원과 독립적으로 복구를 보장합니다.만약 그것의 정확한 회복 상태(내시경 적역 행성 담관 조영 법)지원 T{\textstyle{{T\mathcal}을}}일정한 θ{\theta\textstyle}에 부닥치고 있OMP과 영국 석유 회사 안정성 조건은 내시경 적역 행성 담관 조영술 θ:)정의된다 보장된다 1− max나는 ∉ T‖ DT† d나는 ‖ 1>0{\textstyle\theta =1-{\underset{i\notin{\m.에서 $hcal {T}}{\text{max}}\\mathbf {D}_{\dagger}\mathbf {d}_{i}\_{1}>0$ 입니다. $여기서 {\$ \ $textstyle$ \dagger $}$ 는 ${\textstyle \dagger }$ 유사역전을 나타냅니다.알고리즘 1은, ISTA에 근거하는 글로벌 퍼슈트 방식을 나타내고 있습니다.

알고리즘 1: 로컬 반복적인 소프트 임계값 홀딩을 통한 1D CSC.

입력:

${\textstyle \mathbf {D} _{L}}$ L ${\textstyle \mathbf {D} _{L}}$ \ $textstyle \mathbf {D} _{L$ : 로컬 사전,

$\$ : 관찰,

$§$ ${\textstyle$ \ $lambda$ : 정규화 ${\textstyle \lambda }$ ,

$\textstyle$ c ${\textstyle c}$ 스텝사이즈ISTA,

tol: 공차 계수,

maxiters: 최대 반복 횟수.

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(0)}\gets \{\mathbf {0} _{N\times 1}\}}

i

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(0)}\gets \{\mathbf {0} _{N\times 1}\}}

(

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(0)}\gets \{\mathbf {0} _{N\times 1}\}}

)

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(0)}\gets \{\mathbf {0} _{N\times 1}\}}

{

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(0)}\gets \{\mathbf {0} _{N\times 1}\}}

×

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(0)}\gets \{\mathbf {0} _{N\times 1}\}}

}

{\

textstyle \{\boldsymbol

{{\alpha

}_{i}\}^{(0)}\gets

\{\

mathbf {0} _{N\times

1

)\}

(분리 패치 초기화)

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

i

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

(

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

)

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

{

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

y

}

{

textstyle

\ { \

mathbf

{

r } _

{

i

} \ }^{ ( 0 ) } \

gets

\ { \

mathbf

{

R

} _ { i } \

mathbf

{

y

}

{\textstyle \{\mathbf {r} _{i}\}^{(0)}\gets \{\mathbf {R} _{i}\mathbf {y} \}}

（ 잔여 패치 초기화)

{\textstyle k\gets 0}

따라하다

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(k)}\gets {\mathcal {S}}_{\frac {\lambda }{c}}{\big (}\{{\boldsymbol {\alpha }}_{i}\}^{(k-1)}+{\frac {1}{c}}\{\mathbf {D} _{L}^{T}\mathbf {r} _{i}\}^{(k-1)}{\big )}}

{\textstyle \{{\boldsymbol {\alpha }}_{i}\}^{(k)}\gets {\mathcal {S}}_{\frac {\lambda }{c}}{\big (}\{{\boldsymbol {\alpha }}_{i}\}^{(k-1)}+{\frac {1}{c}}\{\mathbf {D} _{L}^{T}\mathbf {r} _{i}\}^{(k-1)}{\big )}}

(분리된 패치에 따른 코드화)

{\textstyle {\boldsymbol {\alpha }}_{i}}

i {\

textstyle

{\

boldsymbol

{

{\textstyle {\boldsymbol {\alpha }}_{i}}

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

}

_

{

i}

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

^ (

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

k )

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

R

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

D

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

(

{\textstyle {\hat {\mathbf {x} }}^{(k)}\gets \sum _{i}\mathbf {R} _{i}^{T}\mathbf {D} _{L}{\boldsymbol {\alpha }}_{i}^{(k)}}

k ) \

textstyle { mathbf

{ x } } ^{ ( k ) \

sum

_ {

i

} \

mathbf

{ R }

_

{ r } { r

} ^{

T}\mathbf {D}_{L}{\boldsymbol {alpha}}_{i}^{(k)}}(

패치집약)

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

(

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

)

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

(

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

-

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

(

{\textstyle \{\mathbf {r} _{i}\}^{(k)}\gets \mathbf {R} _{i}{\big (}\mathbf {y} -{\hat {\mathbf {x} }}^{(k)}{\big )}}

) {

textstyle \{\mathbf {r} _{i}\}^{(k

)}

\gets

\

mathbf

{R} _{

i}

{\

big (}\mathbf

{

y}

- {y}

}

} } ← {{

k}

} levigetsets \ hat {rets\mathbf {rets} {rets} {rets} {rets} } {rechat {R} {

{\textstyle k\gets k+1}

까지 ${\textstyle\{mathbf {x}}^{(k)}-{\hat {mathbf {x}^{(k-1)}\_{2}<}$ tol ${\textstyle k>}$ k $>$ \ $textstyle$ k ${\textstyle k>}$ > } maxiters.

다층 컨볼루션 스파스 부호화 모델

x ${\$ 의 ${\textstyle \mathbf {x} }$ 구조에 선행하는 희소성을 부여함으로써 고유한 표현을 위한 강력한 조건과 이를 추정하기 위한 실행 가능한 방법을 부여한다.마찬가지로, 그러한 제약은 그것의 표현 자체에 적용될 수 있으며, 연속적인 스파스 표현을 생성한다.각 코드는 주어진 컨볼루션 사전 세트의 몇 개의 원자에 의해 정의됩니다.

이 기준에 기초하여 또 다른 확장명칭 mlti-layer convolution sparse coding(ML-CSC)이 제안된다.분석 ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ 사전 ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ {D ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ K {\ $textstyle \{\mathbf {D}$ \} $_{k=1}^{K}$ 는 ${\textstyle \{\mathbf {D} \}_{k=1}^{K}}$ 효율적으로 설계할 수 있으며, 여기서 각 계층 ${\textstyle \{\mathbf {\Gamma } \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } \}_{k=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } \}_{k=1}^{K}}$ {\ $textstyle \{\mathbf {Gamma} \_{K}$ =}^{K}^{K} $K$ }는 보장된다.즉, 사전을 단일 요소가 아닌 스트라이드 컨볼루션 매트릭스(즉, 로컬 딕셔너리의 원자가 m{ $textstyle$ m $}$ 요소 ${\textstyle m}$ )로 간주함으로써 m ${textstyle$ m $}$ 은 ${\textstyle m}$ 이전 레이어의 채널 수에 대응하므로 ${\textstyle \|\mathbf {\Gamma } \|_{0,\infty }}$ ${\textstyle \|\mathbf {\Gamma } \|_{0,\infty }}$ \ $textstyle \mathbf \G$ 가 보증됩니다. $amma$ } \ $_{0,\infty$ }} 계층에 ${\textstyle \|\mathbf {\Gamma } \|_{0,\infty }}$ 따른 표현의 규범에는 한계가 있다.

예를 들어 ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ R ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ × ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ N ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ 1 × ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ 2 ${\textstyle \mathbf {D} _{1}\in \mathbb {R} ^{N\times Nm_{1}},\mathbf {D} _{2}\in \mathbb {R} ^{Nm_{1}\times Nm_{2}}}$ \ $textstyle$ \ $mathbbf$ { $D } _$ { { { $1$ } \ $in$ \ $mathbbb$ { R $} ^$ { $N$ \ $times$ Nm $_$ ${$ 1} , \ $mathbb$ { $D$ } \ $mathbb$ { D } \ $mathbb$ ^ { { D } } \ $mathb$ ^ { D } } ^ { D } \ mathb } ^ { { D } } } } { { $} _{$ 1}\ $mathbf$ { $Gamma}$ _{1 $}=\mathbf$ { $D} _{$ 2}\ $mathbf$ { $D$ $}$ {{2}}. 여기서 ${\textstyle \mathbf {\Gamma } _{1}}$ 1 { $textstyle$ \mathbf \gamma $} _{$ 1 ${\textstyle \mathbf {\Gamma } _{1}}$ }는 스퍼스 코드이며, ${\textstyle \mathbf {\Gamma } _{2}}$ 1 { $textstyle$ \mathbf }는 \mathbf {D $}$ 입니다.그런 다음, 각 표현의 추정은 각각 무소음 시나리오와 무소음 손상 시나리오 모두에 대한 최적화 문제로 공식화된다. ${\textstyle \mathbf {\Gamma } _{0}=\mathbf {x} }$ 0 $=$ ${\textstyle$ \ $mathbf$ { $Gamma} _{0$ }=\ $mathbf {x}$ 로 가정할 때:

{\displaystyle {\begin{aligned}{\text{Find}\;\mathbf {Gamma}_{i}\}_{i=1}^{K}\;{\text{s.t}.}}&\;\mathbf {Gamma}_{i-1}=\mathbf {D}_{i},\;\mathbf {Gamma}_{i},\mathbf {gamma}_{i},\infty}\leq \da _{i}\mathbf {text} 찾기}}&\;\mathbf {Gamma}_{i}-\mathbf {D}_{i}\mathbf {Gamma}_{i}\leq \varepsilon _{i},\;\mathbf {Gamma}_{i}_{i}_0,\ftyblamble

다음 내용에서는 이 확장 모델의 고유성과 안정성에 대한 이론적 보증이 설명된다.

정리 1: (소수 표현의 고유성) ${\textstyle \mathbf {x} }$ x {\ $textstyle \mathbf {x}}$ 이 ${\textstyle \mathbf {x} }$ ( ${\textstyle \{\mu (\mathbf {D} _{i})\}_{i=1}^{K}}$ ) ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ { ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ } i ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mu (\mathbf {D} _{i})\}_{i=1}^{K}}$ 1 $K$ {\textstyle $\{\mathbf {D}$ _ ${i}_{i=$ 1}^{K $})$ ${\textstyle \{\mu (\mathbf {D} _{i})\}_{i=1}^{K}}$ 을 갖는 컨볼루션 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ 사전 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ 에 대한 (ML-CSC) 모델을 만족한다고 생각하십시오.)\와 같이}_{i=1}^{K}}. 만약 진정한 보다 표현{Γ}을 충족하는 나는 갈1K<12(1+1μ(D나는)){\textstyle\와 같이{\mathbf{\Gamma})}_{i=1}^{K}<,{\frac{1}{2}}{\big(}1+{\frac{1}{\mu(\mathbf{D}_{나는})}}{\big)}}, 그 다음에 바로 그 문제에 대한 해결책{나는 ^ Γ}나는 1K{)\textstyle{{정도씩 생겨나고 있다.\hat{ $\mathbf {Gamma$ } $_{i}\}_{i=1}^{K}}$ 은 ${\textstyle \{{\hat {\mathbf {\Gamma } _{i}}}\}_{i=1}^{K}}$ (는) 다음 문턱값이 충족되도록 선택되었을 경우 고유 솔루션이 ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ . ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ i < ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ + ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ ( ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ Di $)$ \ $textstyle$ \ $spatda$ _ { $i$ } < ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ + ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ μ ( ${\textstyle \lambda _{i}<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\big )}}$ ) { i } { $big$ ( 1 \ $frac$ { 1 \ frac } } } { \ $frac }$ } $}$

정리 2: (노이즈 방지 시나리오의 글로벌 안정성) ${\textstyle \mathbf {x} }$ x(\ $textstyle \mathbf$ ${x$ $})$ 가 ${\textstyle \mathbf {x} }$ 컨볼루션 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ 사전 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ { $}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ K({ $textstyle \{i}\}_$ $})$ ${\textstyle \mathbf {E} }$ 에 대한 (ML-CSC) 모델을 만족한다고 가정합니다.2≤ ε 0{\textstyle)\mathbf{E})_{2}\leq \varepsilon _{0}}. Y의 결과)X+E{\textstyle \mathbf{Y=X+E}}. 만약 λ 나는 < 12(1+1μ(D나는)){\textstyle \lambda_{나는}<,{\frac{1}{2}}{\big(}1+{\frac{1}{\mu(\mathbf{D}_{나는})}}{\big)}}과 ε 나는 2=4ε 나는 12−. 1− ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ i ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ ‖ ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ , ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ - ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ ) ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ ( ${\textstyle \varepsilon _{i}^{2}={\frac {4\varepsilon _{i-1}^{2}}{1-(2\|\mathbf {\Gamma } _{i}\|_{0,\infty }-1)\mu (\mathbf {D} _{i})}}}$ \ $textstyle$ \ $varepsilon$ _ { $i$ }^{ $2} =$ 4 \ $varepsilon _$ { i - 1 }{ 1 - $( 2$ \ \ $mathbf$ { $Gamma }$ _ { i } _ { 0 , $infty$ } - $1 （ Di$ ） ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ - ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ ^ i ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ 2 ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ ^ 2 ^ i 2 ^ ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ ^ 2 ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ {\ ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2}^{2}\leq \varepsilon _{i}^{2}}$ 2 \ $textstyle \ mathbf$ \ $Gamma$ } - { i } - { \ $hat$ { $mathbf$ \ $Gamma$ } } $}$ _ { $i$ } \ { i $}$ \ $leq$ \ $varepsilon _$ { i ^ { i } { i ^ { i $}$

투영 기반 알고리즘

§ ${\textstyle \ell _{0}}$ (\textstyle $\ell$ _ ${0$ ${\textstyle \ell _{1}}$ $})$ 또는 ${\textstyle \ell _{0}}$ § $(\$ _ ${1})$ 규범을 통해 ML-CSC 문제를 해결하기 위한 간단한 접근법은 x $(\$ 와 ${\textstyle \mathbf {x} }$ 사전 원자 ${\textstyle \mathbf {x} }$ 의 내적을 계산하여 가장 대표적인 것을 식별하는 것이다.이러한 예측은 다음과 같이 설명된다.

{\mathbf {Gamma}}_{\ell _{p}}&= 언더셋 {\operatorname {gammin}}}{\frac {1}{2}\mathbf {D} ^T

하드 ${\textstyle {\mathcal {H}}_{\beta }(\mathbf {D} ^{T}\mathbf {x} )}$ ${\textstyle {\mathcal {H}}_{\beta }(\mathbf {D} ^{T}\mathbf {x} )}$ T ${\textstyle {\mathcal {H}}_{\beta }(\mathbf {D} ^{T}\mathbf {x} )}$ ${\textstyle {H}}_{\beta}(\mathbf$ { $D}$ ^{ $T}\mathbf {x})$ 및 ${\textstyle {\mathcal {H}}_{\beta }(\mathbf {D} ^{T}\mathbf {x} )}$ 소프트 임계값 ${\textstyle {\mathcal {S}}_{\beta }(\mathbf {D} ^{T}\mathbf {x} )}$ ${\textstyle {\mathcal {S}}_{\beta }(\mathbf {D} ^{T}\mathbf {x} )}$ x $)$ {\ $textstyle$ {\ $bet} }$ 을 통해 닫힌 형식 솔루션을 가진다.음이 아닌 제약조건도 고려되는 경우, ${\textstyle \ell _{1}}$ 는 $§$ $(\textstyle\ell_$ {1 $})$ 규범을 통해 다음과 같이 표현될 수 있다.

\displaystyle {\mathbf {gamma } {\text {gamma } } {\text {textmin}} \; {\frac {1} {2} \mathbf {D} - \mathbf {D} ^{x} {2} {\mathbf} {\mathbf}

이 폐쇄형 용액은 소프트 비음수 임계값

{\textstyle {\mathcal {S}}_{\beta }^{+}(\mathbf {D} ^{T}\mathbf {x} )}

{\textstyle {\mathcal {S}}_{\beta }^{+}(\mathbf {D} ^{T}\mathbf {x} )}

(

{\textstyle {\mathcal {S}}_{\beta }^{+}(\mathbf {D} ^{T}\mathbf {x} )}

{\textstyle {\mathcal {S}}_{\beta }^{+}(\mathbf {D} ^{T}\mathbf {x} )}

x

)

{{

textstyle {mathbf {S}_{\beta}^{+}(\mathbf

{D

}\mathbf {x

에 해당하며,

{\textstyle {\mathcal {S}}_{\beta }^{+}(z)\triangleq \max(z-\beta ,0)}

서

{\textstyle {\mathcal {S}}_{\beta }^{+}(z)\triangleq \max(z-\beta ,0)}

+ (

{\textstyle {\mathcal {S}}_{\beta }^{+}(z)\triangleq \max(z-\beta ,0)}

{\textstyle {\mathcal {S}}_{\beta }^{+}(z)\triangleq \max(z-\beta ,0)}

{\textstyle {\mathcal {S}}_{\beta }^{+}(z)\triangleq \max(z-\beta ,0)}

-

)

\

textstyle

{

cal} {cal}

기존 소프트 임계값 접근법은 부록(섹션 6.2)에 포함되어 있다.

정리 3: (다중접속 소프트 컨버전스 알고리즘의 안정적인 회복) { ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ $=$ 1 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ {\ $textstyle \{\mathbf$ { $D$ $}$ _ ${i}_{$ k} 상호 $}$ = 1 K {\textstyle \{\mathbf {D $}_{$ k}} ={k $}$ ={k}에 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ 대해 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ (ML-CSC) 모델을 만족하는 ${\textstyle \mathbf {x} }$ x {\ $textstyle\mathbf$ { $x}$ 를 ${\textstyle \mathbf {x} }$ 고려합니다. $textstyle \{\mu(\mathbf {D} _{i})$ $\}_{i=1}^{K}$ 는 ${\textstyle \{\mu (\mathbf {D} _{i})\}_{i=1}^{K}}$ ${\textstyle \mathbf {E} }$ E(\ $textstyle \mathbf {E$ 에 오염되어 있습니다. 여기서 ${\textstyle \|\mathbf {E} \|_{2}\leq \varepsilon _{0}}$ E ${\textstyle \|\mathbf {E} \|_{2}\leq \varepsilon _{0}}$ ${\textstyle \|\mathbf {E} \|_{2}\leq \varepsilon _{0}}$ ${\textstyle \|\mathbf {E} \|_{2}\leq \varepsilon _{0}}$ 0 ${\textstyle \|\mathbf {E} \|_{2}\leq \varepsilon _{0}}$ $0$ 0 { $textstyle$ \ $mathbf { E$ } \ $leq$ \ $varepsilon$ _ { $0$ . $=$ ${\textstyle \mathbf {Y=X+E} }$ + ${\textstyle \mathbf {Y=X+E} }$ E \ $textbsty$ { $0$ } . ${\textstyle |\mathbf {\Gamma } _{i}^{\max }|}$ { $textstyle \mathbf \gamma } _$ _ ${$ $textstyle \mathbf \gamma$ ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ } ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ in in ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ {\ $textstyle \{\mathbf \gam }_i }$ max ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ in in in in in in in in ${\textstyle \mathbf {\Gamma } _{i}}$ in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in in르 \{\beta_{나는}\}_{i=1}^{K}}. 만약 ‖ Γ 나는 0‖,∞<>나의 Γ 나의)− 1μ(Di)ε 거야. 나는{\textstyle)\mathbf{\Gamma}_{나는}\ _{0,\infty}< max 1Γ −{\frac{1}{2}}{\big(}1+{\frac{1}{\mu(\mathbf{D}_{12(1+1μ(D나는)Γ.나는})}}{ $\frac$ { \ $mathbf$ { \ $Gamma } _$ { $i$ }^ \ $min }$ { \ $mathbf$ { { $i$ } } - { \ $frac$ { 1 $}$ { \ $mu$ （ \ $mathbf$ { D ${\textstyle \|\mathbf {\Gamma } _{i}\|_{0,\infty }<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\frac {|\mathbf {\Gamma } _{i}^{\min }|}{|\mathbf {\Gamma } _{i}^{\min }|}}{\big )}-{\frac {1}{\mu (\mathbf {D} _{i})}}{\frac {\varepsilon _{i-1}}{|\mathbf {\Gamma } _{i}^{\max }|}}}$ } ${\textstyle \|\mathbf {\Gamma } _{i}\|_{0,\infty }<{\frac {1}{2}}{\big (}1+{\frac {1}{\mu (\mathbf {D} _{i})}}{\frac {|\mathbf {\Gamma } _{i}^{\min }|}{|\mathbf {\Gamma } _{i}^{\min }|}}{\big )}-{\frac {1}{\mu (\mathbf {D} _{i})}}{\frac {\varepsilon _{i-1}}{|\mathbf {\Gamma } _{i}^{\max }|}}}$ _ { i } } } } } { \ $frac$ { \ fr { \ $varepsilon _$ i } } } } { \ $mathb$ } }

{begin{aligned}\mathbf {Gamma}_{i}_{0,\infty}^{s}<\big (1+{\frac {1}{{i}}}}{\mu (\mathbf {D}_{i})}}: frac {\mathbf {{i}{i

다음

으로

{\textstyle {\hat {\mathbf {\Gamma } }}_{i}}

{\textstyle {\hat {\mathbf {\Gamma } }}_{i}}

^

i

^

text

style

\

mathbf } _

{ i

{\textstyle {\hat {\mathbf {\Gamma } }}_{i}}

}

{\textstyle \mathbf {\Gamma } _{i}}

{\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } _{i}}}\|_{2,\infty }\leq \varepsilon _{i}}

{\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } _{i}}}\|_{2,\infty }\leq \varepsilon _{i}}

i

{\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } _{i}}}\|_{2,\infty }\leq \varepsilon _{i}}

^ 2

{\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } _{i}}}\|_{2,\infty }\leq \varepsilon _{i}}

i

{\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } _{i}}}\|_{2,\infty }\leq \varepsilon _{i}}

text

style \

mathbf gamgam

gam

gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam gam

β

컨볼루션 뉴럴 네트워크 연결

훈련 및 추론 단계에서 모두 사용되는 컨볼루션 뉴럴 네트워크 모델의 전진 패스를 떠올려 보십시오. $x$ ${\textstyle \mathbf {x} \in \mathbb {R} ^{Mm_{1}}}$ ${\textstyle \mathbf {x} \in \mathbb {R} ^{Mm_{1}}}$ ${\textstyle \mathbf {x} \in \mathbb {R} ^{Mm_{1}}}$ 1 ${\textstyle \mathbf {x} \in \mathbb {R} ^{Mm_{1}}}$ {\ $textstyle$ \ $mathbb {x}$ \ $in \mathbb {R}$ $^{$ $Mm_$ ${1$ } } ${\textstyle \mathbf {W} _{k}\in \mathbb {R} ^{N\times m_{1}}}$ W ${\textstyle \mathbf {W} _{k}\in \mathbb {R} ^{N\times m_{1}}}$ ${\textstyle k}$ ${\textstyle \mathbf {W} _{k}\in \mathbb {R} ^{N\times m_{1}}}$ ${\textstyle \mathbf {W} _{k}\in \mathbb {R} ^{N\times m_{1}}}$ N ${\textstyle \mathbf {W} _{k}\in \mathbb {R} ^{N\times m_{1}}}$ × ${\textstyle \mathbf {W} _{k}\in \mathbb {R} ^{N\times m_{1}}}$ {\ $textstyle \mathbbf {W} _{k}\in$ \ $mathbb$ { $R$ $kstyle$ ${\textstyle k}$ 에서 입력으로 합니다. $tstyle {\text{Re$ $LU}}(\mathbf {x})=\max(0,x$ ${\textstyle \mathbf {b} \in \mathbb {R} ^{Mm_{1}}}$ b ${\textstyle \mathbf {b} \in \mathbb {R} ^{Mm_{1}}}$ R ${\textstyle \mathbf {b} \in \mathbb {R} ^{Mm_{1}}}$ ${\textstyle \mathbf {b} \in \mathbb {R} ^{Mm_{1}}}$ (\ $textstyle \mathbbf {b}$ \ $in \mathbb {R}$ })의 경우, K ${\textstyle K=2}$ $(\textstyle$ K $=2)$ 를 ${\textstyle K=2}$ 예로 들면 다음과 같이 표현될 수 있다.

{\displaystyle\mathbf {Z}_{2}&=text{Re}LU}}{\big (}\mathbf {W}_{2}^{T}\;{\text{Re}LU}}({1}^{T}\mathbf {x})+\mathbf {b}_{1}+\mathbf {b}_{2}\;{\big}).\end { aligned}}

마지막으로, 음이 아닌 상수[sic?]에 대한 CNN 알고리즘과 계층화 임계값화 접근방식을 비교하면, 두 가지 모두 동등하다는 것을 보여주는 것은 간단하다.

{\mathbf {Gamma }} {\beta _{2}}^{+} {\big (}\mathbf {D} _{2}^{{}T}{\mathcal {S}_{\beta _{1}}^{+}(\mathbf {D}_{1}^{T}\mathbf {x}){\\&=\bigtext{Re}LU}}{\big (}\mathbf {W}_{2}^{T}{\text{Re}LU}}({1}^{T}\mathbf {x} +\beta _{1}+\beta _{2}{\big}).\end { aligned}

포워드 패스알고리즘의 컨볼루션레이어

정류된 선형 단위 함수와 음이 아닌 소프트 임계값 점별 비선형성 사이의 대조

다음에서 설명한 바와 같이 코드화 문제를 해결하는 이 순진한 접근법은 ML-CSC 모델을 위한 보다 안정적인 투영 경사 강하 알고리즘의 특별한 경우이다.두 접근법의 안정성 조건을 갖추면 CNN이 회복할 수 있는 신호의 등급, 어떤 소음 조건에서 정확하게 추정할 수 있는지, 이론적 조건을 개선하기 위해 CNN의 구조를 어떻게 수정할 수 있는지에 대한 보다 명확한 이해가 이루어진다.접속에 대한 자세한 내용은 (섹션 5)를 ^[7]참조해 주십시오.

다층 CSC 모델의 추적 알고리즘

포워드 패스의 중요한 한계는 DCP 문제의 고유한 해결책을 복구할 수 없다는 것입니다.따라서, 각 계층에서 임계값화 접근법을 사용하는 대신, 완전한 추적 방법인 LBP(Digned Layered Basis Purchase, LBP)를 채택한다.§ $({$ 볼에 투영된 것을 고려하면 다음과 같은 문제가 제안된다.

{displaystyle} {\mathbf {gamma } {i} &= 언더셋 {mathbf {gamma } {i} {\text {frac {1} {2}} \ mathbf {D} _{i} \ mathbf } _{i}

여기서 각 층은 독립적인 CSC 문제로 해결되며, §

\textyle

\

xi _{i

}는

{\textstyle \xi _{i}}

각 층의 소음 수준에 비례한다.계층화된 코딩 문제를 해결하기 위한 방법 중, ISTA는 효율적인 디커플링 대안이다.다음 내용에서는 LBP에 대한 보증에 대한 간단한 요약이 확립된다.

정리 4: (복구 보증) 희소 ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ 벡터 집합 { ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ K {\ $textstyle \{\mathbf {Gamma}$ _ ${i}\}_{i=1}^{K$ 컨볼루션 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ 사전 { $\textstyle$ \i} ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ K로 특징지어지는 ${\textstyle \mathbf {x} }$ ${\textstyle \mathbf {x} }$ x {\ $textstyle\mathbf$ {x $}$ 을 고려합니다.Ual coherences 나는 1K{\textstyle\와 같이{\mu{\big(}\mathbf{D}_{나는}{\big)}\}_{i=1}^{K}원}. 만약 ‖ Γ 나는 0,∞<>‖ 12(1+1μ(D나는))_{나는}\ _{0,\infty}<{\textstyle)\mathbf{\Gamma},{\frac{1}{2}}{\big(}1+{\frac{1}{\mu(\mathbf{D}_{나는})}}{\big)}}, 다음{μ(Di)}.LBPlgorithm은 sparse 표현을 회복하는 것을 보증합니다.

정리 5: (노이즈 존재 시 안정성) ${\textstyle \mathbf {Y} =\mathbf {X+E} }$ Y $=$ + ${\textstyle \mathbf {Y} =\mathbf {X+E} }$ (\ $textstyle \mathbf {Y}$ =\ $mathbf {X+E}$ ${\textstyle \mathbf {Y} =\mathbf {X+E} }$ (여기서 ${\textstyle \|\mathbf {E} \|_{0,\infty }\leq \varepsilon _{0}}$ E ${\textstyle \|\mathbf {E} \|_{0,\infty }\leq \varepsilon _{0}}$ 0 , ${\textstyle \|\mathbf {E} \|_{0,\infty }\leq \varepsilon _{0}}$ 0 ${\textstyle \|\mathbf {E} \|_{0,\infty }\leq \varepsilon _{0}}$ \ $textstyle$ \ $mathbf {E} _0,\fty)$ \ $arevle })$ 를 고려합니다. ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {\Gamma } _{i}\}_{i=1}^{K}}$ = $1K$ {\textstyle \{\ $mathbf$ { $Gamma} _{i}\} _{i=1$ }^{K $}$ 및 컨볼루션 ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ { ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ = $1K$ {textstyle \{\ $mathbf$ { $D}$ _{i $}_{i=1$ }^{K ${\textstyle \{\mathbf {D} _{i}\}_{i=1}^{K}}$ ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ = ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ } ${\textstyle \{{\hat {\mathbf {\Gamma } }}_{i}\}_{i=1}^{K}}$ {ξ}나는}. 만약 ‖ Γ 나는 0,∞<>‖고;13(1+1μ(D나는))_{나는}\ _{0,\infty}<{\textstyle)\mathbf{\Gamma},{\frac{1}{3}}{\big(}1+{\frac{1}{\mu(\mathbf{D}_{나는})}}{\big)}}과 ξ 나는 나는}1{\textstyle \xi_{나는}=4\varepsilon _{i-1}− 4ε, 갈1K{\textstyle\와 같이{\xi)}_{i=1}^{K}정도씩 생겨나고 있다.그리고나서: (i) ${\textstyle {\hat {\mathbf {\Gamma } }}_{i}}$ ${\textstyle {\hat {\mathbf {\Gamma } }}_{i}}$ $i$ $textstyle$ $\mathbf\Gamma}) _{i$ (ii) ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2,\infty }\leq \varepsilon _{i}}$ - ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2,\infty }\leq \varepsilon _{i}}$ ^ ${\textstyle \|\mathbf {\Gamma } _{i}-{\hat {\mathbf {\Gamma } }}_{i}\|_{2,\infty }\leq \varepsilon _{i}}$ \ $mathbstyle$ 。 $i$ 및 (iii) ${\textstyle {\frac {\varepsilon _{i}}{\sqrt {\|\mathbf {\Gamma } _{i}\|_{0\infty }}}}}$ 이 ${\textstyle {\frac {\varepsilon _{i}}{\sqrt {\|\mathbf {\Gamma } _{i}\|_{0\infty }}}}}$ 보다 큰 엔트리는 반드시 복구됩니다.{ $textstyle$ { $frac$ { $varepsilon$ _ { $i$ } $}$ { \ $sqrt {$ \ $mathbf$ { $Gamma } _$ { $i$ \ { $0$ \ $infty$ } ${\textstyle {\frac {\varepsilon _{i}}{\sqrt {\|\mathbf {\Gamma } _{i}\|_{0\infty }}}}}$ } 。

컨볼루션 스파스 부호화 모델의 응용: 이미지 인페인팅

실시 예로서 CSC 모델을 통한 컬러 화상의 효율적인 화상 인페인팅 방법이 ^[6]제시된다.3채널 ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M\times 3}}$ D ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M\times 3}}$ R N × M × ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M\times 3}}$ \ $textstyle$ \ $mathbb { R }$ ^ { N \ $times$ M \ $times$ 3 ${\textstyle \mathbf {D} \in \mathbb {R} ^{N\times M\times 3}}$ ( ${\textstyle \mathbf {d} _{c,m}}$ 서 $d$ m \ $textstyle$ \ $mathbf$ { $d} _$ { c , $m}$ )는 채널 ${\textstyle \mathbf {x} }$ $c$ 의 m $,$ m \ $textstyle$ m, m} - ${\textstyle c}$ atom { d $}$ ${\textstyle c}$ - atom { times m $}$ 의 ${\textstyle \mathbf {d} _{c,m}}$ ${\textstyle m}$ 신호를 나타냅니다. ${\textstyle \mathbf {z} _{i}}$ 스파스 표현 ${\textstyle \mathbf {\Gamma } }$ {\ $textstyle \mathbf$ ${\textstyle \mathbf {z} _{i}}$ { $Gamma}$ {i ${\textstyle \mathbf {z} _{i}}$ {\ $textstyle$ \ $mathbf$ { ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ $} _{$ ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ }} {\ $textstyle \mathbf {y} =\mathbf {y}$ _i} { $g}$ ${\textstyle \mathbf {z} _{i}}$ {textstyle\ $mathbf$ } {\mathbf} {g} {g} {i} {g} {\mathb} ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ $}$ {textsty} 로 표시된 스트라이프가 있는 경우임펄스 노이즈와 같은 방법으로 로케이션이 0으로 고정됩니다.문제는 다음과 같이 공식화됩니다.

{displaystyle}\{\mathbf {z}_{i}\}&=밑줄 {\text {mathbf {z}_{i}}{\text {frac {1}{2}}\sum _{c}{bigg \ }\sum {i}\mathbf {d}\c}_cast,\end { aligned}

ADMM을 ^[9]통해 비용 함수를 보다 단순한 하위 문제로 분리하여 효율적인

\

추정을

{\textstyle \mathbf {\Gamma } }

가능하게 한다.알고리즘 2는 절차를 설명합니다.

{\textstyle {\hat {D}}_{c,m}}

서

{\textstyle {\hat {D}}_{c,m}}

D

{\textstyle {\hat {D}}_{c,m}}

^

{\textstyle {\hat {D}}_{c,m}}

,

{\textstyle {\hat {D}}_{c,m}}

\

textstyle

{

D }

{\textstyle D_{c,m}}

{ c

,

m

} 、 D

{\textstyle D_{c,m}}

{\textstyle \mathbf {d} _{c,i}\ast \mathbf {z} _{i}}

,

{\textstyle D_{c,m}}

\

textstyle

D _ {

{\textstyle D_{c,m}}

c

,

m

} 、

{\textstyle \mathbf {d} _{c,i}\ast \mathbf {z} _{i}}

{\textstyle \mathbf {d} _{c,i}\ast \mathbf {z} _{i}}

i \

textstyle

\

mathbf

{

d } _ { c

, m

}

。

{mathbf {x}}_

{\textstyle {\hat {\mathbf {z} }}_{m}}

z

{\textstyle {\hat {\mathbf {z} }}_{m}}

^

{\textstyle {\hat {\mathbf {z} }}_{m}}

{

textstyle {m}은 각각

x m

{\

및

{\textstyle \mathbf {x} _{m}}

{\textstyle \mathbf {z} _{m}}

{\textstyle \mathbf {z} _{m}}

{\

textstyle

\

mathbf

{

z

}

_

m}

의 DFT 표현에 대응합니다

{\textstyle {\hat {\mathbf {z} }}_{m}}

.

g 함수(

{\textstyle \beta }

β {

textstyle \lang

및

{\textstyle \ell _{1,2}}

,

(

노름은

{\textstyle \ell _{1,2}}

채널

{\textstyle c}

c {\

textstyle

c

}

에

{\textstyle \ell _{2}}

{\textstyle c}

따른

(

textstyle

\ell

_

{

2})

노름으로 정의되고 공간

{\textstyle m}

m {\

textstyle

m

{\textstyle m}

에

{\textstyle \ell _{1}}

따른

(

textstyle

\ell

_

{1

}) 노름으로 정의됩니다.ADMM 의 실장 및 사전 학습 순서의 상세한 것에 대하여는, 「섹션 II」를 ^[6]참조해 주세요.

알고리즘 2: 컨볼루션 스파스 코딩 모델을 통한 컬러 이미지 인페인팅.

입력:

${\textstyle {\hat {\mathbf {D} }}_{c,m}}$ ^ ${\textstyle {\hat {\mathbf {D} }}_{c,m}}$ , ${\textstyle {\hat {\mathbf {D} }}_{c,m}}$ \ $textstyle$ { \ $mathbf { D$ } } } _ { $c$ , $m$ : 컨볼루션 ${\textstyle \mathbf {D} _{c,m}}$ ${\textstyle \mathbf {D} _{c,m}}$ c ${\textstyle \mathbf {D} _{c,m}}$ , ${\textstyle \mathbf {D} _{c,m}}$ \ $textstyle$ \ $mathbf$ { $D$ } $_ { c$ , $m$ ,

${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ { ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ r , ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ , ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ b ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ { $textstyle$ \ $mathbf { y$ } = \ { \ $mathbf { y$ } _ { $r$ } , \ $mathbf$ { $y } _$ { $g$ } , \ $mathbf { y }$ \ ${\textstyle \mathbf {y} =\{\mathbf {y} _{r},\mathbf {y} _{g},\mathbf {y} _{b}\}}$ } : 색상 관찰,

$§$ ${\textstyle$ \ $lambda$ : 정규화 ${\textstyle \lambda }$ ,

${\textstyle \{\mu ,\rho \}}$ ${\textstyle \{\mu ,\rho \}}$ }, ${\textstyle \{\mu,\rho$ 스텝사이즈ADMM,

tol: 공차 계수,

maxiters: 최대 반복 횟수.

{\textstyle k\gets k+1}

따라하다

{\textstyle \{\hat {mathbf {z}} {{m} {{\hat {x}} {\m}} {\text {argmin}} \; {\frac {1} {\sum {c} {\} {\sum} {m} {\hat} {\sum} {\sum} {{m} {\sum} {\hat} {\sum} {\sum} {\sum} {\sum} {\sum} {\sum} {\sum} {{{{{sum} {}^{(k)}\_{2}^{2}.}

{\textstyle \{\mathbf {y}_{c,m}\}{{\mathbf {y}_{c,m}\}}{\text {c,m}\sum _{m}\m}\mathbf {y}_{c,m}\mu}을(\m+1) \set {\mu}을(\mu}\mu} \set {{{{{{\c,\mu}\mu}\mu}\mu}\mu}\c,\mu}을)을)}

{\textstyle \mathbf {y} _{m}^{(k+1)}=mathmathcal {S}_{\lambda /\rho}{\big (}\mathbf {x}_{m}^{(k+1)}+\mathbf {u}_{m}_{(k}{(k}{\big}}}}}}}.}

{\textstyle k\gets k+1}

까지 ${\textstyle\{\mathbf {z}_{m}\}^{(k+1)}-\{\mathbf {z}_{m}^(k)}\_{2}<}$ tol ${\textstyle i>}$ i $>$ \ $textstyle$ i $>$ } maxiters.

레퍼런스

^ Jianchao Yang; Wright, John; Huang, Thomas S; Yi Ma (November 2010). "Image Super-Resolution Via Sparse Representation". IEEE Transactions on Image Processing. 19 (11): 2861–2873. Bibcode:2010ITIP...19.2861Y. doi:10.1109/TIP.2010.2050625. PMID 20483687. S2CID 8187730.
^ Wetzstein, Gordon; Heidrich, Wolfgang; Heide, Felix (2015). "Fast and Flexible Convolutional Sparse Coding": 5135–5143. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
^ Wohlberg, Brendt (2017). "SPORCO: A Python package for standard and convolutional sparse representations". Proceedings of the 16th Python in Science Conference: 1–8. doi:10.25080/shinma-7f4c6e7-001.
^ Mairal, Julien; Bach, Francis; Ponce, Jean; Sapiro, Guillermo (2009). "Online Dictionary Learning for Sparse Coding". Proceedings of the 26th Annual International Conference on Machine Learning. ACM: 689–696. doi:10.1145/1553374.1553463. hdl:11299/180118. ISBN 9781605585161. S2CID 7027533.
^ ^a ^b ^c Papyan, Vardan; Sulam, Jeremias; Elad, Michael (1 November 2017). "Working Locally Thinking Globally: Theoretical Guarantees for Convolutional Sparse Coding". IEEE Transactions on Signal Processing. 65 (21): 5687–5701. arXiv:1707.06066. Bibcode:2017ITSP...65.5687P. doi:10.1109/TSP.2017.2733447. S2CID 11214580.
^ ^a ^b ^c ^d Wohlberg, Brendt (6–8 March 2016). "Convolutional sparse representation of color images". 2016 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI): 57–60. doi:10.1109/SSIAI.2016.7459174. ISBN 978-1-4673-9919-7. S2CID 9923572.
^ ^a ^b ^c Papyan, Vardan; Romano, Yaniv; Elad, Michael (2017). "Convolutional Neural Networks Analyzed via Convolutional Sparse Coding". J. Mach. Learn. Res. 18 (1): 2887–2938. arXiv:1607.08194. Bibcode:2016arXiv160708194P. ISSN 1532-4435.
^ Beck, Amir; Teboulle, Marc (January 2009). "A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems". SIAM Journal on Imaging Sciences. 2 (1): 183–202. doi:10.1137/080716542.
^ Boyd, Stephen (2010). "Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers". Foundations and Trends in Machine Learning. 3 (1): 1–122. doi:10.1561/2200000016. ISSN 1935-8237.

외부 링크

SPARse Optimization Research COde(SPORCO)

[1] Jianchao Yang; Wright, John; Huang, Thomas S; Yi Ma (November 2010). "Image Super-Resolution Via Sparse Representation". IEEE Transactions on Image Processing. 19 (11): 2861–2873. Bibcode:2010ITIP...19.2861Y. doi:10.1109/TIP.2010.2050625. PMID 20483687. S2CID 8187730.

[2] Wetzstein, Gordon; Heidrich, Wolfgang; Heide, Felix (2015). "Fast and Flexible Convolutional Sparse Coding": 5135–5143. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)

[3] Wohlberg, Brendt (2017). "SPORCO: A Python package for standard and convolutional sparse representations". Proceedings of the 16th Python in Science Conference: 1–8. doi:10.25080/shinma-7f4c6e7-001.

[4] Mairal, Julien; Bach, Francis; Ponce, Jean; Sapiro, Guillermo (2009). "Online Dictionary Learning for Sparse Coding". Proceedings of the 26th Annual International Conference on Machine Learning. ACM: 689–696. doi:10.1145/1553374.1553463. hdl:11299/180118. ISBN 9781605585161. S2CID 7027533.

[papyan_2017_working-5] Papyan, Vardan; Sulam, Jeremias; Elad, Michael (1 November 2017). "Working Locally Thinking Globally: Theoretical Guarantees for Convolutional Sparse Coding". IEEE Transactions on Signal Processing. 65 (21): 5687–5701. arXiv:1707.06066. Bibcode:2017ITSP...65.5687P. doi:10.1109/TSP.2017.2733447. S2CID 11214580.

[wohlberg_2016_convolutional-6] Wohlberg, Brendt (6–8 March 2016). "Convolutional sparse representation of color images". 2016 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI): 57–60. doi:10.1109/SSIAI.2016.7459174. ISBN 978-1-4673-9919-7. S2CID 9923572.

[papyan_2017_convolutional-7] Papyan, Vardan; Romano, Yaniv; Elad, Michael (2017). "Convolutional Neural Networks Analyzed via Convolutional Sparse Coding". J. Mach. Learn. Res. 18 (1): 2887–2938. arXiv:1607.08194. Bibcode:2016arXiv160708194P. ISSN 1532-4435.

[8] Beck, Amir; Teboulle, Marc (January 2009). "A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems". SIAM Journal on Imaging Sciences. 2 (1): 183–202. doi:10.1137/080716542.

[9] Boyd, Stephen (2010). "Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers". Foundations and Trends in Machine Learning. 3 (1): 1–122. doi:10.1561/2200000016. ISSN 1935-8237.

[1]

[2]

[3]

[6]

[5]

[7]

[8]

[9]

Search

컨볼루션 스파스 부호화

네임스페이스

더

목차

개요

스파스 부호화 패러다임

글로벌 스파스 부호화 모델

글로벌 스파스 모델의 안정성 및 고유성 보장

글로벌 스파스 모델에 대한 추적 알고리즘

컨볼루션 스파스 부호화 모형

컨볼루션 스파스 모델의 안정성 및 고유성 보장

다층 컨볼루션 스파스 부호화 모델

투영 기반 알고리즘

컨볼루션 뉴럴 네트워크 연결

다층 CSC 모델의 추적 알고리즘

컨볼루션 스파스 부호화 모델의 응용: 이미지 인페인팅

레퍼런스

외부 링크