바이어 필터

Bayer filter
Bayes 필터와 혼동하지 마십시오.
「RGBG」는 여기서 리다이렉트 됩니다.전자 장치 디스플레이에 사용되는 서브픽셀 매트릭스 방식은 PenTile RGBG를 참조하십시오.
"Bayer matrix"는 여기서 리다이렉트 됩니다.패턴 디더링에 사용되는 Bayer 행렬(Bryce Bayer에 의해 생성됨)은 순서 디더링을 참조하십시오.
이미지 센서의 픽셀 배열에 있는 컬러 필터의 바이엘 배열
센서의 프로파일/단면

바이엘 필터 모자이크는 RGB 컬러 필터를 광센서의 정사각형 그리드에 배치하기 위한 컬러 필터 어레이(CFA)이다.디지털 카메라, 캠코더, 스캐너에 사용되는 대부분의 싱글 칩 디지털 이미지 센서에 컬러 필터가 사용됩니다.필터 패턴은 반은 녹색, 1/4은 빨간색, 1/4은 파란색입니다.따라서 BGGR, RGBG,[1][2][3] GRBG [4]또는 RGGB라고도 불립니다.

그것은 이스트만 코닥의 발명가인 브라이스 바이엘의 이름을 따서 지어졌다.바이엘은 질서 있는 디더링에 사용되는 재귀적으로 정의된 행렬로도 알려져 있습니다.

Bayer 필터의 대안으로는 다양한 색상 수정과 배열, 그리고 컬러 공동 사이트 샘플링, Foveon X3 센서, 다이크로익 미러 또는 투명 회절 필터 [5]어레이와 같은 완전히 다른 기술이 있습니다.

설명.

  1. 오리지널 씬
  2. Bayer 필터가 있는 120×80픽셀 센서의 출력
  3. Bayer 필터 색상으로 컬러 코딩된 출력
  4. 누락된 색상 정보를 보간한 후 재구성된 영상
  5. 비교를 위해 120×80픽셀의 전체 RGB 버전(필름 스캔, Foveon 또는 픽셀 이동 이미지 등)

1976년 브라이스 바이어의 특허(미국 특허 제397만1065호[6])는 녹색 포토센서 휘도 민감 소자와 빨간색과 파란색 포토센서 색도 민감 소자로 불렸다.그는 인간의 눈의 생리를 모방하기 위해 빨강이나 파랑보다 두 배 더 많은 녹색 원소를 사용했다.인간 망막의 휘도 지각은 녹색 빛에 가장 민감한 일광 시력 동안 M과 L 원뿔 세포를 조합하여 사용합니다.이러한 요소를 센서 요소, 감지, 픽셀 센서 또는 단순 픽셀이라고 합니다. 이러한 요소에 의해 감지된 샘플 값은 보간 후 이미지 픽셀이 됩니다.바이엘은 특허 등록 당시 시안-마젠타-노란색 조합을 제안하기도 했다.필요한 염료가 존재하지 않았기 때문에 이 배치는 당시에는 실용적이지 않았지만 일부 새로운 디지털 카메라에 사용되고 있습니다.새로운 CMY 염료의 큰 장점은 개선된 광흡수 특성을 가지고 있다는 것입니다. 즉, 그 양자 효율이 더 높습니다.

바이엘 필터 카메라의 원시 출력을 바이엘 패턴 이미지라고 합니다.각 픽셀은 3가지 색상 중 하나만 기록하도록 필터링되기 때문에 각 픽셀의 데이터는 빨간색, 녹색 및 파란색 값을 각각 완전히 지정할 수 없습니다.풀컬러 이미지를 얻기 위해 다양한 디모자이싱 알고리즘을 사용하여 각 픽셀의 완전한 빨간색, 녹색 및 파란색 값 세트를 보간할 수 있습니다.이러한 알고리즘은 대응하는 색상의 주변 픽셀을 사용하여 특정 픽셀의 값을 추정합니다.

다양한 컴퓨팅 능력을 필요로 하는 알고리즘에 따라 최종 이미지의 품질이 달라집니다.이 작업은 카메라 내에서 JPEG 또는 TIFF 이미지를 생성하거나 센서에서 직접 원시 데이터를 사용하여 카메라 외부에서 수행할 수 있습니다.카메라 프로세서의 처리능력은 한정되어 있기 때문에, 많은 사진작가는 PC로 이러한 조작을 수동으로 실시하는 것을 선호합니다.카메라가 저렴할수록 이러한 기능에 영향을 줄 기회가 줄어듭니다.프로 카메라에서는, 화상 보정 기능이 전혀 없거나, 또는 오프 할 수 있습니다.Raw 형식의 레코딩은 디모사이싱 알고리즘을 수동으로 선택하고 변환 파라미터를 제어할 수 있는 기능을 제공하며, 이는 소비자 사진뿐만 아니라 다양한 기술 [7]및 광도 문제를 해결하는 데에도 사용됩니다.

데모사이싱

데모사이싱은 다양한 방법으로 수행될 수 있습니다.간단한 방법은 이웃에 있는 같은 색의 픽셀의 색상 값을 보간합니다.예를 들어 칩이 이미지에 노출되면 각 픽셀을 읽을 수 있습니다.녹색 필터가 있는 픽셀은 녹색 성분을 정확하게 측정할 수 있습니다.이 픽셀의 빨간색 및 파란색 컴포넌트는 네이버에서 가져옵니다.녹색 화소에 대해서는 2개의 적색 인접 화소를 보간하여 적색 값을 산출할 수 있으며, 2개의 청색 화소를 보간하여 청색 값을 산출할 수 있다.

이 간단한 방법은 색상이 일정하거나 부드러운 구배가 있는 영역에서는 잘 작동하지만, 특히 이미지의 날카로운 모서리를 따라 색이나 밝기가 갑작스럽게 변화하는 영역에서는 색상 블리딩과 같은 아티팩트가 발생할 수 있습니다.따라서 다른 디모자이싱 방법에서는 고대비 에지를 식별하고 이러한 에지를 따라만 보간할 수 있지만 교차하지는 않습니다.

다른 알고리즘은, 빛의 조건이 변화해도, 화상내의 영역의 색상은 비교적 일정하기 때문에, 색채널끼리의 상관성이 높은 것을 전제로 하고 있습니다.따라서 처음에 녹색채널을 보간한 후 빨간색, 그 후에 파란색채널을 보간하여 각각 적녹색비가 일정하도록 한다.이미지 내용에 대해 다른 가정을 하는 다른 방법이 있으며, 누락된 색상 값을 계산하기 위해 이 시도부터 시작합니다.

아티팩트

디지털 센서의 해상도 한계에 가까운 작은 크기의 디테일이 있는 이미지는 디모사이싱 알고리즘에 문제가 될 수 있으며, 모델과는 다른 결과가 발생할 수 있습니다.가장 빈번한 아티팩트는 Moiré로, 반복 패턴, 색상 아티팩트 또는 비현실적인 미로 같은 패턴으로 배열된 픽셀로 나타날 수 있습니다.

잘못된 색 아티팩트

Color Filter Array(CFA; 컬러 필터 어레이) 보간 또는 디모사이싱의 흔하고 불행한 아티팩트는 잘못된 색칠로 알려져 있습니다.일반적으로 이 아티팩트는 가장자리를 따라 나타나며, 가장자리를 따라 나타나는 것이 아니라 교차하는 잘못된 결과로 갑작스럽게 또는 부자연스러운 색상 변화가 발생합니다.이 오색소를 방지하고 제거하기 위한 다양한 방법이 있습니다.디모사이싱 중에 부드러운 색상 전이 보간법을 사용하여 최종 이미지에서 가색이 나타나는 것을 방지한다.하지만, 디모사이싱 후에 가짜 색을 제거할 수 있는 다른 알고리즘들이 있다.이러한 기능은 이미지에서 잘못된 색상의 아티팩트를 제거하는 동시에 빨간색 및 파란색 색 평면을 보간하기 위한 보다 강력한 디모사이싱 알고리즘을 사용할 수 있는 장점이 있습니다.

가짜 색채 제거 유물을 묘사하는 세 개의 이미지.

지퍼링 인공물

지퍼링 아티팩트는 주로 가장자리를 따라 발생하는 CFA 디모사이싱의 또 다른 부작용으로 지퍼 효과라고 알려져 있습니다.간단히 말해서, 지퍼링은 가장자리를 따라 온/오프 패턴으로 발생하는 가장자리 흐림의 다른 이름입니다.이 효과는 디모자이싱 알고리즘이 특히 빨간색과 파란색 평면에서 모서리에 걸쳐 픽셀 값을 평균하여 특징적인 흐릿함을 발생시킬 때 발생합니다.앞에서 설명한 바와 같이 이러한 영향을 방지하는 가장 좋은 방법은 이미지 가장자리를 가로지르는 것이 아니라 보간하는 다양한 알고리즘입니다.패턴 인식 보간, 적응형 컬러 평면 보간 및 방향 가중 보간은 모두 영상에서 검출된 가장자리를 따라 보간함으로써 지퍼링을 방지하려고 합니다.

CFA 디모사이싱의 지퍼링 아티팩트를 묘사한 세 개의 이미지

그러나 각 포토사이트에서 모든 색상을 포착하고 구별할 수 있는 이론적으로 완벽한 센서를 사용하더라도 Moiré와 다른 아티팩트는 여전히 나타날 수 있습니다.이는 다른 방법으로 연속적인 신호를 이산적인 간격 또는 위치에서 샘플링하는 시스템에서 피할 수 없는 결과입니다.이러한 이유로 대부분의 사진 디지털 센서에는 OLPF(광학식 로우패스 필터) 또는 안티앨리어싱(AA) 필터라고 불리는 것이 포함되어 있습니다.이것은 일반적으로 센서 바로 앞에 있는 얇은 층으로, 센서의 해상도보다 미세한 문제가 발생할 수 있는 세부 사항을 효과적으로 흐리게 함으로써 작동합니다.

변경 사항

주요 기사:컬러 필터 어레이

바이엘 필터는 소비자용 디지털 카메라에서 거의 보편적입니다.다른 방법으로는 CYGM 필터(cyan, yellow, green, magenta)와 RGBE 필터(red, green, blue, emerald)가 있습니다.이 필터에는 유사한 디모사이싱이 필요합니다.Foveon X3 센서(모자이크를 사용하지 않고 빨간색, 녹색, 파란색 센서를 수직으로 레이어)와 3개의 개별 CCD 배열(색상별로 하나씩)은 데모사이싱이 필요하지 않습니다.

범색소세포'

3개의 새로운 Kodak RGBW 필터 패턴

2007년 6월 14일 이스트만 코닥은 바이엘 필터의 대안으로 디지털 카메라의 이미지 센서 감도를 높이는 컬러 필터 패턴을 발표했습니다.이 패턴은 가시광선의 모든 파장에 민감하며 [8]센서에 닿는 더 많은 양의 빛을 모읍니다.이들은 여러 가지 패턴을 나타내지만 바이엘 패턴의 2×2 단위만큼 작은 반복 단위는 없습니다.

이전 RGBW 필터 패턴

또 다른 2007년 미국 특허 출원, 에드워드 T.Chang은 "컬러 필터가 빨간색, 파란색, 녹색, 투명 픽셀 1개로 구성된 2×2개의 픽셀 블록으로 구성된 패턴을 가지고 있다"는 센서를 주장했는데, 이는 전체적인 [9]감도를 높이기 위한 적외선 감도를 포함하도록 의도한 것이다.코닥 특허 출원은 이보다 [10]더 빨랐다.

기존에는 CMYW(Cyan, Magenta, [11]Yellow, White) 센서 RGBW(Red, Green, Blue, White)[12]에 사용됐지만 코닥은 아직 새로운 필터 패턴을 비교하지 않았다.

후지필름 'EXR' 컬러 필터 어레이

EXR 센서

후지필름의 EXR 컬러 필터 어레이는 CCD(SuperCCD)와 CMOS(BSI CMOS) 양쪽으로 제조되고 있습니다.SuperCCD와 마찬가지로 필터 자체가 45도 회전합니다.기존의 바이엘 필터 설계와는 달리 항상 두 개의 인접한 포토사이트가 동일한 색상을 감지합니다.이러한 어레이의 주된 이유는, 픽셀의 「비닝」에 기여하기 위해서입니다.이것에 의해, 2개의 인접 포토 사이트가 Marge 되어, 센서 자체가 빛에 「감응」할 수 있게 됩니다.또 다른 이유는 센서가 두 개의 서로 다른 노출을 기록하는 것입니다. 이 노출은 병합되어 더 큰 동적 범위의 이미지를 생성합니다.기본 회로에는 센서의 다른 행에서 정보를 가져오는 2개의 읽기 채널이 있습니다.그 결과, 2개의 인터리브 센서와 같은 기능을 할 수 있게 되어, 포토 사이트 마다 노출 시간이 다릅니다.사진의 절반은 의도적으로 노출을 줄여 장면의 밝은 부분을 완전히 캡처할 수 있습니다.이렇게 보존된 강조 표시 정보는 '전체' 노출을 기록하는 센서의 나머지 절반의 출력과 혼합되어 유사한 색상의 포토사이트의 근접한 간격을 활용할 수 있습니다.

후지필름 'X-Trans' 필터

주요 기사:후지필름 X-트랜스 센서
x-트랜스 센서에 사용되는 반복 6×6 그리드

후지필름 X시리즈의 카메라에 많이 사용되는 후지필름 X-트랜스 CMOS 센서는 바이어 필터보다 컬러 모이레에 대한 내성이 뛰어나기 때문에 안티앨리어싱 필터 없이 만들 수 있다고 알려져 있습니다[13].따라서 센서를 사용하는 카메라는 동일한 메가픽셀 수로 더 높은 해상도를 얻을 수 있습니다.또, 새로운 디자인은, 각 행에 빨강, 파랑, 초록의 픽셀을 가지는 것으로, 가색 발생을 저감 한다고 주장되고 있다.이러한 픽셀의 배열은 또한 필름과 같은 입자를 제공한다고 합니다.

커스텀 패턴의 주요 결점 중 하나는 Adobe Photoshop[14] Lightroom과 같은 서드파티제의 원시 프로세싱 소프트웨어에서 완전한 지원이 부족할 수 있다는 것입니다.이 소프트웨어에는 몇 년이 [15]걸리고 있습니다.

쿼드 바이어

소니는 2018년 3월 27일 출시된 화웨이 P20 프로에 처음 탑재된 쿼드 바이엘 컬러 필터 어레이를 선보였다.쿼드 바이엘은 바이엘 필터와 비슷하지만 인접한 2x2 픽셀은 같은 색이며 4x4 패턴은 4x 파란색, 4x 빨간색 및 8x [16]녹색을 특징으로 합니다.어두운 장면의 경우 신호 처리는 기본적으로 더 큰 픽셀처럼 각 2x2 그룹의 데이터를 결합할 수 있습니다.밝은 장면의 경우 신호 처리를 통해 쿼드 바이엘을 기존의 바이엘 필터로 변환하여 더 높은 [17]분해능을 얻을 수 있습니다.Quad Bayer의 픽셀은 긴 시간 적분 및 짧은 시간 적분으로 작동하여 싱글샷 HDR을 달성하여 혼합 [18]문제를 줄일 수 있습니다.쿼드바이엘은 삼성 테트라셀, [17][19]옴니비전은 4셀,[20] 퀄컴은 쿼드CFA(Quad CFA)로 불린다.

2019년 3월 26일, Huawei P30 시리즈는 RYB 쿼드 바이엘을 탑재한 4x4 패턴과 4x4 블루, 4x 레드, 8x [21]옐로우로 구성된 4x4 패턴을 발표했다.

노나셀

2020년 2월 12일, 삼성 갤럭시 S20 Ultra는 노나셀 CFA를 채택하여 발표되었습니다.Nonacell CFA는 Bayer 필터와 비슷하지만 인접한 3x3 픽셀은 같은 색이며 6x6 패턴은 9x 파란색, 9x 빨간색 및 18x [22]녹색을 특징으로 합니다.

「 」를 참조해 주세요.

레퍼런스

바이엘 패턴 필터 모자이크에 관한 브라이스 바이엘의 1976년 특허의 첫 페이지. 휘도 민감 및 색도 민감 요소에 대한 그의 용어를 보여줍니다.
  • 미국 특허 3971065, 브라이스 E.Bayer, "컬러 이미징 어레이", 1976-07-20 발행 웹상에서

메모들

  1. ^ Jeff Mather (2008). "Adding L* to RGBG". Archived from the original on 2011-07-13. Retrieved 2011-02-18.
  2. ^ dpreview.com (2000). "Sony announce 3 new digital cameras". Archived from the original on 2011-07-21.
  3. ^ Margaret Brown (2004). Advanced Digital Photography. Media Publishing. ISBN 0-9581888-5-8.
  4. ^ Thomas Maschke (2004). Digitale Kameratechnik: Technik digitaler Kameras in Theorie und Praxis. Springer. ISBN 3-540-40243-8. Archived from the original on 2019-01-09. Retrieved 2016-09-23.
  5. ^ Wang, Peng; Menon, Rajesh (29 October 2015). "Ultra-high-sensitivity color imaging via a transparent diffractive-filter array and computational optics". Optica. 2 (11): 933. Bibcode:2015Optic...2..933W. doi:10.1364/optica.2.000933.
  6. ^ "Patent US3971065 - Color imaging array - Google Patents". Archived from the original on 2013-08-11. Retrieved 2013-04-23.
  7. ^ Cheremkhin, P. A., Lesnichii, V. V. & Petrov, N. V. (2014). "Use of spectral characteristics of DSLR cameras with Bayer filter sensors". Journal of Physics: Conference Series. 536: 012021. doi:10.1088/1742-6596/536/1/012021.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  8. ^ John Compton and John Hamilton (2007-06-14). "Color Filter Array 2.0". A Thousand Nerds: A Kodak blog. Archived from the original on 2007-07-20. Retrieved 2011-02-25.
  9. ^ "US patent publication 20070145273 "High-sensitivity infrared color camera"". Archived from the original on 2017-02-22.
  10. ^ "US Patent Application 20070024879 "Processing color and panchromatic pixels"". Archived from the original on 2016-12-21.
  11. ^ L. J. d'Luna; et al. (1989). "A digital video signal post-processor for color image sensors". Proceedings of the Custom Integrated Circuits Conference. 1989: 24.2/1–24.2/4. doi:10.1109/CICC.1989.56823. S2CID 61954103. A variety of CFA patterns can be used, with various arrangements of red, green, and blue (RGB) or of cyan, magenta, yellow, and white (CMYW) colors.
  12. ^ 스기야마 도시노부 미국 특허출원 20050231618 '이미지 캡처 장치' 웨이백 머신에 2017-02-22 보관 2005년 3월 30일 출원
  13. ^ "Fujifilm X-Trans sensor technology". Archived from the original on 2012-04-09. Retrieved 2012-03-15.
  14. ^ Diallo, Amadou. "Adobe's Fujifilm X-Trans sensor processing tested". dpreview.com. Archived from the original on 21 October 2016. Retrieved 20 October 2016.
  15. ^ "Adobe Improves X-Trans Processing in Lightroom CC Update: Promises More to Come". Thomas Fitzgerald Photography Blog. Archived from the original on 21 October 2016. Retrieved 20 October 2016.
  16. ^ "Sony Releases Stacked CMOS Image Sensor for Smartphones with Industry's Highest 48 Effective Megapixels". Sony Global - Sony Global Headquarters. Archived from the original on 2019-09-05. Retrieved 2019-08-16.
  17. ^ a b "How Tetracell delivers crystal clear photos day and night Samsung Semiconductor Global Website". www.samsung.com. Archived from the original on 2019-08-16. Retrieved 2019-08-16.
  18. ^ "IMX294CJK Sony Semiconductor Solutions". Sony Semiconductor Solutions Corporation. Archived from the original on 2019-08-16. Retrieved 2019-08-16.
  19. ^ "Product Releases News & Events OmniVision". www.ovt.com. Archived from the original on 2019-08-16. Retrieved 2019-08-16.
  20. ^ US 보류 중인 20200280659, "쿼드 컬러 필터 어레이 카메라 센서 구성"
  21. ^ "Part 4: Non-Bayer CFA, Phase Detection Autofocus (PDAF) TechInsights". techinsights.com. Archived from the original on 2019-08-16. Retrieved 2019-08-16.
  22. ^ "Samsung's 108Mp ISOCELL Bright HM1 Delivers Brighter Ultra-High-Res Images with Industry-First Nonacell Technology". news.samsung.com. Archived from the original on 2020-02-12. Retrieved 2020-02-14.

외부 링크