데모자이싱

Demosaicing

디모자이싱(des-mosaising, demosaizing 또는 debayering) 알고리즘은 컬러 필터 어레이(CFA)와 중첩된 이미지 센서에서 출력된 불완전한 컬러 샘플에서 전체 컬러 영상을 재구성하는 데 사용되는 디지털 이미지 프로세스다. 그것은 또한 CFA 보간 또는 색 재구성으로도 알려져 있다.

대부분의 현대 디지털 카메라는 CFA와 중첩된 단일 이미지 센서를 사용하여 이미지를 획득하므로 디모자이싱은 이러한 이미지를 보기 쉬운 형식으로 렌더링하는 데 필요한 처리 파이프라인의 일부분이다.

많은 현대 디지털 카메라들은 카메라의 내장 펌웨어를 사용하는 것이 아니라 소프트웨어를 사용하여 이미지를 분해할 수 있도록 원시 형식으로 저장할 수 있다.

목표

단조 알고리즘의 목적은 CFA에서 출력된 공간적으로 과소 샘플링된 컬러 채널에서 전체 색상 영상(즉, 전체 색상 3배)을 재구성하는 것이다. 알고리즘에는 다음과 같은 특성이 있어야 한다.

컬러 필터 배열

주요 기사: 컬러 필터 배열
이미지 센서의 픽셀 배열에서 컬러 필터의 Bayer 배열. 각각의 2x2 셀에는 2개의 녹색, 1개의 파란색, 1개의 빨간 필터가 있다.

컬러 필터 배열은 이미지 센서 앞에 컬러 필터를 모자이크한 것이다. 상업적으로 가장 일반적으로 사용되는 CFA 구성은 여기에 표시된 Bayer 필터다. 홀수 행의 경우 적색(R) 필터와 녹색(G) 필터를 번갈아 사용하고 짝수 행의 경우 녹색(G) 필터와 청색(B) 필터를 번갈아 사용한다. 녹색 필터는 인간의 녹색 빛에 대한 높은 민감도에 맞춰 빨간색이나 파란색 필터보다 두 배나 많다.

본질적으로 CFA의 색상 하위 샘플링은 앨리어싱으로 귀결되므로, 보간술에 의해 유입되는 잘못된 컬러 아티팩트(색깔별칭)를 줄이기 위해 광학 안티앨리어싱 필터를 일반적으로 영상 센서와 렌즈 사이의 광학 경로에 배치한다.[1]

센서의 각 픽셀이 컬러 필터 뒤에 있기 때문에 출력은 픽셀 값의 배열로, 각각 3개의 필터 색상 중 1개의 원시 강도를 나타낸다. 따라서 각 픽셀에 대해 단일 구성요소가 아닌 모든 색상 구성요소의 색상 수준을 추정하는 알고리즘이 필요하다.

삽화

색 필터링 배열에서 수집한 데이터에서 전체 색 영상을 재구성하려면 빈 칸을 채우기 위해 보간 형식이 필요하다. 이곳의 수학은 개인의 수행에 따르며, 선동이라고 불린다.

이 예에서는 Adobe Photoshop의 바이큐빅 보간법을 사용하여 디지털 카메라와 같은 Bayer 필터 장치의 회로를 시뮬레이션한다.

아래 이미지는 Bayer 필터링된 이미지 센서의 출력을 시뮬레이션한다. 각 픽셀에는 빨간색, 녹색 또는 파란색 구성 요소만 있다. 해당 원본 영상이 이 섹션의 끝에 있는 데모사이드 재구성과 함께 표시된다.

Shades framed bayer.png
바이어 필터 샘플
Shades bayer r.png Shades bayer g.png Shades bayer b.png
빨간색 녹색 파랑

디지털 카메라는 일반적으로 위의 정보를 사용하여 전체 RGB 이미지를 재구성하는 수단을 가지고 있다. 결과 이미지는 다음과 같은 것일 수 있다.

Shades framed aa.jpg Shades framed dc.jpg
오리지 재구성됨

재구성된 영상은 일반적으로 균일한 색상의 영역에서는 정확하지만 분해능(상세 및 예리함)이 상실되고 가장자리 아티팩트가 있다(예를 들어 글자의 가장자리는 가시적인 색 프링과 일부 거칠기가 있음).

알고리즘

단순 보간법

이러한 알고리즘은 동일한 색상 구성요소의 인근 인스턴스(instance)에 대해 비교적 간단한 수학적 연산을 사용하는 균일한 그리드의 다변량 보간법의 예다. 가장 간단한 방법은 동일한 색 채널의 인접한 픽셀을 복사하는 가장 가까운 보간법이다. 품질이 중요한 응용 프로그램에는 적합하지 않지만 제한된 계산 리소스를 제공하는 미리 보기를 생성하는 데 유용할 수 있다. 또 다른 간단한 방법은 이선형 보간법으로, 비 적색 픽셀의 적색 값을 인접한 두 개 또는 네 개의 적색 픽셀의 평균으로 계산하고, 청색과 녹색의 경우에도 이와 유사하게 계산한다. 각 색면 내에서 독립적으로 보간하는 보다 복잡한 방법으로는 이두보간, 스플라인 보간, 란초스 재샘플링이 있다.

이러한 방법은 균질한 영상 영역에서 좋은 결과를 얻을 수 있지만 순수한 색상의 CFA와 함께 사용하면 가장자리와 디테일이 있는 영역에서 심한 강등 유물이 발생하기 쉽다.[2] 그러나, 선형 보간술은 주걱턱(전색경) CFA와 결합할 때 매우 좋은 결과를 얻을 수 있다.[3] 단순하게 형성된 이미지 모델을 이용하여 감산할 수 있다. 동일한 세그먼트 내의 자연 영상에서 색의 비율은 보존되어야 한다. 이 사실은 이미지 감정에 민감한 보간술에 이용되었다. [4]

이미지 내의 픽셀 상관 관계

보다 정교한 디모사싱 알고리즘은 색상 이미지 내에서 픽셀의 공간 및/또는 스펙트럼 상관 관계를 이용한다.[5] 공간적 상관관계는 픽셀이 이미지의 작은 동종 영역 내에서 유사한 색상 값을 가정하는 경향이다. 스펙트럼상관은 작은 영상 영역에서 서로 다른 색 평면의 픽셀 값 사이의 종속성이다.

이러한 알고리즘에는 다음이 포함된다.

  • VNG(Variable Number of Gradients)[6] 보간술은 관심 픽셀 근처의 그라데이션(Gradients)을 계산하고 더 낮은 그라데이션(이미지의 보다 부드럽고 유사한 부분을 나타냄)을 사용하여 추정한다. dcraw의 첫 번째 버전에서 사용되며, 컬러 아티팩트에 시달린다.
  • 픽셀 그룹(PPG)[7]은 추정치를 작성할 때 자연 경관에 대한 가정을 사용한다. 그것은 자연 영상에 Variable Number of Gradients 방법보다 더 적은 색상의 아티팩트를 가지고 있다; 그것은 rel. 8.71부터 dcraw에 "Patterned Pixel Grouping"으로 도입되었다.
  • 적응성 동질성-방향성(AHD)은 다소 업계 표준이다. 보간술은 균질성 지표를 최대화하기 위해 보간술의 방향을 선택하므로 일반적으로 색상 왜곡을 최소화한다.[8] 그것은 dcraw의 최근 버전에서 구현되었다.[9]
  • Emil J. Martinec가 디자인한 Alliasing Minimization 및 지퍼 제거(AMAZE)는 느리지만 저소음 캡처에 특히 뛰어난 성능을 발휘한다. AMaZE 구현은 RawTherape 및 다크테이블에서 확인할 수 있다.

비디오 초고해상도/데모사싱

초해상도·초해상도도 같은 문제의 양면성이며, 통일된 맥락에서 해결하는 것이 타당하다는 것이 밝혀졌다.[10] 이 두 문제 모두 앨리어싱 문제를 다룬다는 점에 유의하십시오. 따라서 특히 비디오(멀티프레임) 재구성의 경우, 공동의 초해상도 및 디모사싱 접근방식이 최적의 솔루션을 제공한다.

트레이드오프

예를 들어 어떤 방법은 자연 장면에 더 나은 결과를 산출할 수 있고, 어떤 방법은 예를 들어 인쇄물에 더 나은 결과를 산출할 수 있다. 이는 명확하게 알려지지 않은 픽셀 추정의 본질적인 문제를 반영한다. 물론, 속도 대 추정 품질의 유비쿼터스 절충도 있다.

컴퓨터 이미지 처리 소프트웨어에서 사용

디지털 카메라의 원시 이미지 데이터에 접근할 때, 카메라에 내장된 것에 국한되지 않고 다양한 디모사싱 알고리즘을 가진 컴퓨터 소프트웨어를 사용할 수 있다. RawTherape와 같은 몇 가지 원시 개발 프로그램은 사용자에게 어떤 알고리즘을 사용해야 하는지 선택할 수 있는 옵션을 제공한다. 그러나 대부분의 프로그램은 한 가지 특정 방법을 사용하도록 코딩되어 있다. 디모사싱 알고리즘의 선택에서 오는 가장 훌륭한 디테일(및 곡물 텍스처)을 렌더링하는 차이는 다양한 원시 개발자들 사이의 주요 차이점 중 하나이다. 종종 사진작가들은 이러한 효과와 관련된 미적 이유로 특정한 프로그램을 선호할 것이다.

서리 제거로 인한 컬러 공예품들은 사진 위조를 식별하는 중요한 단서를 제공한다.[11]

참고 항목

참조

  1. ^ Adrian Davies; Phil Fennessy (2001). Digital imaging for photographers (Fourth ed.). Focal Press. ISBN 978-0-240-51590-8.
  2. ^ Lanlan Chang; Yap-Peng Tan (2006). "Hybrid color filter array demosaicking for effective artifact suppression" (PDF). Journal of Electronic Imaging. 15: 2. Bibcode:2006JEI....15a3003C. doi:10.1117/1.2183325. Archived from the original (PDF) on 2009-12-29.
  3. ^ Keigo Hirakawa; Patrick J. Wolfe. "Spatio-Spectral Color Filter Array Design for Enhanced Image Fidelity" (PDF). Archived from the original (PDF) on July 20, 2011. {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)
  4. ^ R. 킴멜 데모사싱: 컬러 CCD 샘플에서 영상 재구성. 이미지 처리에 관한 IEEE 거래, 8:1221–8, 1999. 9.
  5. ^ Lanlan Chang; Yap-Peng Tan (2006). "Hybrid color filter array demosaicking for effective artifact suppression" (PDF). Journal of Electronic Imaging. 15: 013003. Bibcode:2006JEI....15a3003C. doi:10.1117/1.2183325. Archived from the original (PDF) on 2009-12-29.
  6. ^ Ting Chen. "Interpolation using a Threshold-based variable number of gradients". Archived from the original on 2012-04-22.
  7. ^ Chuan-kai Lin, Portland State University (2004). "Pixel Grouping for Color Filter Array Demosaicing". Archived from the original on 2016-09-23.
  8. ^ Kiego Hirakawa; Thomas W. Parks (2005). "Adaptive homogeneity-directed demosaicing algorithm" (PDF). IEEE Transactions on Image Processing. 14 (3): 360. Bibcode:2005ITIP...14..360H. doi:10.1109/TIP.2004.838691. S2CID 37217924.
  9. ^ Linux에서 원시 디지털 사진 디코딩 2016-10-19 웨이백 머신(Wayback Machine), Dave Corn.
  10. ^ Sina Farsiu; Michael Elad; Peyman Milanfar (2006). "Multi-Frame Demosaicing and Super-Resolution of Color Images" (PDF). IEEE Transactions on Image Processing. 15 (1): 141–159. Bibcode:2006ITIP...15..141F. CiteSeerX 10.1.1.132.7607. doi:10.1109/TIP.2005.860336. PMID 16435545. S2CID 2989394.
  11. ^ YiZhen Huang; YangJing Long (2008). "Demosaicking recognition with applications in digital photo authentication based on a quadratic pixel correlation model" (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition: 1–8. Archived from the original (PDF) on 2010-06-17.

외부 링크