과도하게 샘플링된 이진 이미지 센서

과표본된 이진 이미지 센서는 기존의 사진 필름을 연상시키는 비선형 응답 기능을 가진 이미지 센서다.^[1][2] 센서의 각 픽셀은 2진수 응답을 가지고 있어 국부 광도에 대한 1비트 정량화된 측정만 제공한다. 이미지 센서의 응답 기능은 비선형이며 로그 기능과 유사하여 센서가 고다이나믹 레인지 이미징에 적합하게 된다.^[1]

작업원리

디지털 이미지 센서가 등장하기 전에, 사진술은 대부분의 역사에서 필름을 빛 정보를 기록하기 위해 사용했다. 모든 사진 필름의 중심에는 많은 수의 빛에 민감한 은할라이드 결정 알갱이가 있다.^[3] 노출 중에 각 미크론 크기의 곡물은 2진수 운명을 가진다. 어떤 입사광자에 부딪혀 '노출'이 되거나, 광자 폭격을 놓쳐 '노출되지 않은' 상태로 남아 있다. 이후 필름 현상 과정에서는 화학적 특성 변화로 인해 노출된 곡물이 은금속으로 전환되어 필름의 불투명한 반점이 생기게 되며, 노출되지 않은 곡물은 화학 욕조에서 씻겨져 필름에 투명한 영역을 남긴다. 따라서 본질적으로 사진 필름은 원래 광도 정보를 인코딩하기 위해 불투명한 은 알갱이의 국소 밀도를 사용하는 이진 영상 매체다. 이 알갱이들의 작은 크기와 많은 숫자들 덕분에, 사람들은 영화를 멀리서 볼 때, 연속적인 회색 톤만을 관찰하면서, 이 정량화된 필름을 거의 알아차리지 못한다.

지나치게 샘플링된 이진 이미지 센서는 사진 필름을 연상시킨다. 센서의 각 픽셀은 2진수 응답을 가지고 있어 국부 광도에 대한 1비트 정량화된 측정만 제공한다. 노출 기간이 시작될 때 모든 픽셀은 0으로 설정된다. 그런 다음 노출 중에 도달하는 광자의 수가 적어도 주어진 임계값 q와 같으면 픽셀은 1로 설정된다. 이런 바이너리 센서를 만드는 한 가지 방법은 각 메모리 비트 셀이 가시광선에 민감하도록 설계된 표준 메모리 칩 기술을 수정하는 것이다.^[4] 기존 CMOS 기술로는 칩당 10~10G⁹¹⁰(기가10Ga) 픽셀을 넘을 수 있다. 이 경우 해당 픽셀 크기(50~nm )는 빛의 회절 한계치에 훨씬 못 미치고, 따라서 이미지 센서가 광장의 광학적 분해능을 오버샘플링하고 있다. 직관적으로 델타-시그마 변환을 오버샘플링할 때 흔히 그렇듯이 이 공간적 이중화를 이용하여 1비트 정량화에 의한 정보 손실을 보상할 수 있다.^[6]

사진 필름 과정을 모방하는 바이너리 센서를 만드는 것은 포섬에 의해 처음 구상되었는데,^[7] 포섬은 디지털 필름 센서(현재의 퀀타 이미지 센서라고^[8] 한다)라는 이름을 만들었다. 원래 동기는 주로 기술적 필요성에서 비롯되었다. 카메라 시스템의 소형화는 픽셀 크기의 지속적인 축소를 요구한다. 그러나 특정 시점에서 작은 픽셀의 제한된 풀웰 용량(즉 픽셀이 보유할 수 있는 최대 광전자)은 병목 현상이 되어 매우 낮은 신호 대 잡음 비(SNR)와 낮은 동적 범위를 산출한다. 이와는 대조적으로 픽셀이 작은 임계값 q 주변에서 몇 개의 광자 전자만 감지하면 되는 이진 센서는 최대 웰 용량에 대한 요구 사항이 훨씬 적어 픽셀 크기가 더 줄어들 수 있다.

이미징 모델

렌즈

그림 1에 표시된 단순화된 카메라 모델을 고려하십시오. $\lambda {\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$( ${\displaystyle x}$) ${\displaystyle \lambda _{0}(x)}$은 들어오는$$ 광도 필드다. 광강도가 짧은 노출 기간 내에 일정하게 유지된다고 가정하면 이 필드는 공간 $변수{\displaystyle }$ x ${\displaystyle$x}의 함수만으로 모델링할 수 있다$.$ 광학 시스템을 통과한 후 원래의 광장 ${\displaystyle {0\mathrm{}}_{}}$ 0${\displaystyle {}_{}x}$ ${\displaystyle )}$ ${\display \lambda _{0}(x)}$이 렌즈에 의해 필터링되어$$ 린과 같은 작용을 한다.주어진 충동 반응을 가진 귀 시스템 렌즈의 결함(예: 이상)으로 인해, 광학 시스템의 포인트 확산 함수(PSF)인 임펄스 응답은 디락 델타가 될 수 없으므로, 관측 가능한 광장의 분해능에 제한을 가한다. 그러나 보다 근본적인 신체적 한계는 빛 회절 때문이다.^[9] 그 결과, 렌즈가 이상적이라고 해도 PSF는 불가피하게 작은 흐릿한 점이 된다. 광학에서는 그러한 회절제한 지점을 흔히 에어리 디스크라고 하는데,^[9] 이 디스크의 반지름 $R{\displaystyle {}_{}}$ ${\displaystyle a_{}}$ ${\$는 다음과 같이 계산할 수 있다$$.

${\displaystyle R_{a}=1.22\,wf,}$

여기서 $w{\displaystyle }$ ${\displaystyle w}$은 빛의 파장이고 f ${\displaystyle f}$은 광학 시스템의 F 번호다. PSF의 저역 통과(스무팅) 특성 때문에 결과 $\lambda {\displaystyle (x}$) ${\displaystyle \lambda(x)}$은 유한 공간 해상도를 가지며$$, 즉 단위 공간당 자유도가 유한하다.

센서

그림.2는 이항 센서 모델을 보여준다. $s{\displaystyle {}_{}}$ ${\displaystyle m_{}}$ ${\$은 센서 픽셀에 의해 누적된 노출 값을 나타낸다$$. $s{\displaystyle {}_{}}$ ${\displaystyle m_{}}$ ${\$의 로컬 값에 따라 각 픽셀(그림에서 "버킷"으로 표시됨)은 표면에 부딪히는 광자의 다른 수를 수집한다$.$ ${\displaystyle y_{}}$ ${\displaystyle m_{}}$ ${\$은(는) 노출 기간 동안 $m{\displaystyle }$ ${\displaystyle m}$ th$$ 픽셀 표면에 충돌하는 광자의 수입니다. $s{\displaystyle {}_{}}$ ${\displaystyle m_{}}$ ${\$와 광자수 $y{\displaystyle {}_{}}$ m$${\$displaystyle y_{m}$ 사이의 관계는 확률적이다$$. ${\displaystyle {구체적}_{}}$으로는 y $m{\displaystyle {}_{}}$ ${\$을(를) 포아송 랜덤 변수의 실현으로 모델링할 수 있으며$$, 강도 파라미터는 $s{\displaystyle {}_{}}$ ${\displaystyle m_{}}$ ${\$과 같다$.$

감광성 장치로 이미지 센서의 각 픽셀은 광자를 전기 신호로 변환하며, 광자의 진폭은 해당 픽셀에 임팩트하는 광자의 수와 비례한다. 기존의 센서 설계에서 아날로그 전기 신호는 A/D 변환기에 의해 8 ~ 14비트로 정량화된다(보통 비트가 많을수록 좋다). 그러나 바이너리 센서에서는 정량기가 1비트다. ${\displaystyle {그림}_{}}$.2에서 $b{\displaystyle {}_{}}$ m ${\$는 $m{\displaystyle }$ ${\displaystyle m}$ th 픽셀의 정량화된 출력이다$$. 광자 카운트 ${\displaystyle y_{}}$ m ${\$은 랜덤 변수에서 추출되므로$$ 바이너리 ${\displaystyle {센서}_{}}$ 출력 b m$${\$displaystyle$b_{$m}$도 마찬가지 입니다$.$

공간 및 시간적 오버샘플링

총 노출 시간 pling${\displaystyle \tau }$을(를) 변경하지 않고 연속적으로 여러 프레임을 사용하는 시간적 오버샘플링이 허용되는 경우$,$ 바이너리 센서의 성능은 특정 조건에서 공간 오버샘플링 횟수가 동일한 센서와 동일하다.^[2] 그것은 사람들이 공간 과표본과 시간 과표본 사이에 교역을 할 수 있다는 것을 의미한다. 기술이 보통 화소의 크기와 노출 시간에 제한을 주기 때문에 이것은 꽤 중요하다.

기존 센서에 비해 뛰어난 기능

기존 영상 픽셀의 풀웰 용량이 제한적이기 때문에 광도가 너무 강하면 픽셀이 포화 상태가 된다. 픽셀의 동적 범위가 낮은 이유다. 과다 샘플링된 이진 이미지 센서의 경우 동적 범위는 단일 픽셀에 대해 정의되지 않고 픽셀 그룹에 대해 정의되므로 동적 범위가 높게 된다.^[2]

재건

과표본된 2진 이미지 센서의 사용과 관련하여 가장 중요한 문제 중 하나는 ${\displaystyle {2진법}_{}}$ 측정 b ${\$$$\$lambda$ (x$)}$에서 광도 $\lambda {\displaystyle }$ ${\displaystyle (x}$){\displaystyle b_${m}}$를 재구성하는 것이다$.$ 최대우도 추정을 이 문제를 해결하는 데 사용할 수 있다.^[2] 그림 4는 단일 광자 눈사태 다이오드(SPAD)^[10] 카메라가 촬영한 4096개의 이진 영상에서 광도를 재구성한 결과를 보여준다. 시간적 측정이 적고 하드웨어 친화적인 구현이 더 빠르고 더 정교한 알고리즘을 통해 더 나은 재구성 품질을 달성할 수 있다.^[11]

참조