직렬 시간 인코딩 증폭 현미경

Serial time-encoded amplified microscopy

타임 스트레치 현미경(Time Extension Microcopy)은 직렬로 인코딩된 증폭 영상/마이크로스코피 또는 스트레치 타임 인코딩된 증폭 영상/마이크로스코피(STEAM)라고도 하며, MHz 프레임률, ~100ps 셔터 속도, ~30dB(×1000) 광학 이미지 획득을 제공하는 빠른 실시간 광학 영상법이다.STEAM은 포토닉 타임 스트레치 기법을 기반으로 연속 실시간 영상 촬영에서 셔터 속도와 프레임률 세계 신기록을 보유하고 있다.STEM은 내부 라만 증폭과 함께 Photonic Time Stret을 채택하여 광학 이미지 증폭을 실현하여 사실상 모든 광학 영상 및 감지 시스템에 영향을 미치는 감도와 속도 사이의 근본적인 절충을 회피한다.이 방법은 단일 픽셀 광검출기를 사용하므로 검출기 배열과 판독 시간 제한이 필요하지 않다.이 문제를 피하고 높은 영상 획득 속도에서 감도를 획기적으로 향상시키기 위해 광학 영상 증폭 기능을 탑재한 스팀 셔터[1] 속도는 최첨단 CCD나[2] CMOS 카메라보다 최소 1000배 이상 빠르다.프레임률은 가장 빠른 CCD 카메라보다 1000배, 가장 빠른 CMOS 카메라보다 10100배 빠르다.

역사

시간 연장 현미경 검사 및 생물학적 세포 분류를 위한 미세유체학에의 적용은 UCLA에서 발명되었다.[3][4][5][6][7][8][9][10]분광 인코딩 조명의 개념과 포토닉 타임 스트레치를 결합한 것으로 펨토초 실시간 싱글샷 디지타이저를 만들기 위해 앞서 같은 연구실에서 개발한 초고속 실시간 데이터 수집 기술이며,[11] 한 번의 샷으로 라만 분광계를 자극했다.[12]첫 번째 시연은 1차원 버전이었고[13] 나중에는 2차원 버전이었다.[14]나중에 시스템을 대기계간 구성으로 확장하여 고속 영상 진동계가 생성되었다.[15]이어 혈구 자유분류를 위한 시간연장정량화상영상(TS-QPI)으로 기술을 확장하고 96% 이상의 정확도로 혈액 내 암세포 분류를 위한 인공지능(AI)과 결합했다.[16]이 시스템은 세포의 생물물리학적 매개변수 16개를 1회 촬영으로 동시에 측정하고, 심신경망(DNN)을 이용해 초차원 분류를 실시했다.그 결과를 로지스틱 회귀 분석, 순진한 베이즈 등 다른 머신러닝 분류 알고리즘과 딥러닝으로 얻은 정확도가 가장 높았다.이것은 나중에 "딥 사이토메트리"로 확장되었는데, 딥러닝에 앞서 이미지 처리와 특징 추출의 계산 집약적인 작업을 타임 스레치 라인 칸에 직접 공급함으로써 피하게 되었고, 각각은 레이저 펄스를 깊은 경련 신경 네트워크로 나타낸다.이러한 원시 시간 간격 데이터의 직접 분류는 GPU 가속 프로세서에서 최대 700마이크로초로 추론 시간을 줄였다.1m/s의 유속에서는 세포가 1mm 미만으로 움직일 뿐이다.따라서 이 초음파 추론 시간은 세포 분류를 위해 충분히 빠르다.

배경

빠른 실시간 광학영상 기술은 충격파, 레이저융접, 살아있는 세포의 화학역학, 신경활동, 레이저수술, 미세유체학, MEMS 등 역동적인 사건을 연구하는데 필수불가결한 기술. 기존의 CCD와 CMOS 카메라의 일반적인 기법은 높은 감각으로 빠른 역동적 과정을 포착하기에 불충분하다.y와 속도, 기술적 한계가 있다. 센서 어레이의 데이터를 판독하는 데 시간이 걸리고 감도와 속도 사이에 근본적인 절충이 있다. 높은 프레임 속도에서는 각 프레임 동안 광자가 더 적게 수집되며, 이는 거의 모든 광학 영상 시스템에 영향을 미치는 문제다.

레이저 융접, 플라즈마 방사선, 연소 진단에 사용되는 스트림 카메라는 버스트 모드에서만 작동하며(프레임 몇 개만 제공) 카메라와 캡처할 이벤트를 동기화해야 한다.따라서 생물학적 시스템에서 무작위 또는 과도현상을 포착할 수 없다.스트로보시경은 빠른 사건의 역동성을 포착할 수 있지만 회전, 진동 및 진동과 같이 반복적인 경우에만 상호 보완적인 역할을 한다.이들은 한 번만 발생하거나 정기적으로 발생하지 않는 비반복적인 무작위 이벤트를 포착할 수 없다.

작동 원리

기본 원리는 둘 다 광학적으로 수행된 두 단계를 포함한다.첫 번째 단계에서 광대역 광학 펄스의 스펙트럼은 공간 분산기에 의해 대상을 비추는 무지개로 변환된다.여기서 무지개 펄스는 다른 색(주파수)의 많은 하위 펄스로 구성되는데, 무지개 펄스의 다른 주파수 성분(색)이 물체의 다른 공간 좌표에 입사한다는 것을 나타낸다.따라서 객체의 공간정보(이미지)는 무지개 펄스를 반사하거나 전송하는 결과물의 스펙트럼으로 암호화된다.이미지로 인코딩된 무지개 펄스는 동일한 공간 디스펜서로 복귀하거나 다른 공간 디스펜서로 들어가 무지개의 색상을 다시 하나의 펄스로 결합한다.여기서 STEAM의 셔터 속도 또는 노출 시간은 무지개 펄스의 시간 폭에 해당한다.두 번째 단계에서 스펙트럼은 실시간 디지털화가 가능하도록 분산형 푸리에 변환을 사용하여 시간 내에 연장되는 직렬 시간 신호로 매핑된다.시간 연장은 내부 라만 증폭을 일으키기 위해 펌핑되는 분산 섬유 안에서 일어난다.여기서 영상은 검출기의 열 소음 수준을 극복하기 위해 자극된 라만 산란으로 광학적으로 증폭된다.증폭된 시간 확장된 직렬 영상 스트림은 단일 픽셀 광검출기에 의해 감지되고 영상이 디지털 도메인에서 재구성된다.후속 펄스는 반복 프레임을 캡처하므로 레이저 펄스 반복 속도는 STEM의 프레임 속도에 해당한다.두 번째는 시간 연장 아날로그-디지털 변환기로 알려져 있으며, 시간 연장 기록 범위(TiSER)라고도 알려져 있다.

증폭 분산 푸리에 변환

동시 스트레칭과 증폭은 또한 증폭된 시간 스트레치 분산 푸리에 변환(TS-DFT)이라고도 한다.[18][19]증폭된 타임 스트레치 기술은 펨토초 실시간 샘플링 속도를 가진 아날로그-디지털 변환을 시연하고, 초당 수백만 프레임에서 한 번의 샷으로 자극을 받은 라만 분광법을 시연하기 위해 앞서 개발됐다.[12]증폭 시간 스트레치는 광학 펄스의 스펙트럼이 큰 그룹-속도 분산에 의해 느린 시간 파형으로 매핑되고 라만 산란 자극 과정에 의해 동시에 증폭되는 과정이다.따라서 광학 스펙트럼은 단일 픽셀 광검출기로 포착해 실시간으로 디지털화할 수 있다.광학 스펙트럼의 반복 측정에는 펄스가 반복된다.증폭 시간 연장 DFT는 레이저와 파장 분할 멀티플렉서에서 펌프하는 분산 섬유로 구성되어 레이저를 분산 섬유로 결합한다.증폭 분산형 푸리에 변환은 원래 디지털 컨버터에 대한 초광대역 아날로그가 가능하도록 개발되었으며, 높은 처리량 실시간 분광법에도 사용되었다.스팀 이미저의 분해능은 주로 회절 한계, 백엔드 디지타이저의 샘플링 속도, 공간분산기에 의해 결정된다.[20]

시간 연장 정량적 위상 이미징

See the full description in www.nature.com/articles/srep21471.
시간연장 정량상 영상시스템은 기계 시야와 학습을 위한 빅데이터 분석 파이프라인이 포함된 인공지능 촉진 현미경이다.이미지 라이선스 CC BY 4.0 -

TS-QPI(Time-stretch 정량적 위상 영상)는 위상 및 강도 공간 프로파일의 동시 측정을 위한 타임 스레치 기술에 기반한 영상 기법이다.[21][22][23][24]UCLA에서 개발되어 타임 스트레치 인공지능 현미경 개발로 이어졌다.[21]

시간 연장 이미징

시간 연장 영상에서는 물체의 공간 정보가 나노초 미만의 펄스 지속 시간 내에 레이저 펄스의 스펙트럼으로 암호화된다.그런 다음 카메라의 한 프레임을 나타내는 각 펄스는 전자 아날로그-디지털 변환기(ADC)에 의해 실시간으로 디지털화될 수 있도록 시간 단위로 늘어나게 된다.초고속 펄스 조명은 흐릿한 영상을 얻기 위해 고속 셀이나 흐름의 입자의 움직임을 동결시킨다.검출 감도는 초단거리 셔터 시간(광학 펄스 폭) 동안 수집된 광자의 수가 적고, 시간 스트레칭에 따른 피크 광학 전력의 하락에 의해 도전을 받는다.[25]이러한 문제는 시간 스트레칭을 수행하는 분산 장치 내에서 낮은 소음 수치 라만 증폭기를 구현함으로써 시간 스트레치 이미징에서 해결된다.또한, 시각적 시야를 통해 광학 이미지 압축과 균일하지 않은 공간 해상도를 달성하기 위해 시간 확장 이미징에 왜곡된 스트레치 변환을 사용할 수 있다.

타임스트레치 카메라의 일관성 있는 버전에서, 이미징은 스펙트럼 간섭계측과 결합되어 실시간 및 높은 처리량으로 정량적[26][27] 위상과 강도 영상을 측정한다.마이크로 유체 채널과 통합된 일관성 있는 시간 스트레치 영상 시스템은 고속 영상 흐름도계로 정량적인 광상 위상 이동과 개별 세포의 손실을 모두 측정하여 초당 몇 미터까지의 유량에서 초당 수백만 개의 라인 이미지를 캡처하여 초당 최대 10만 개의 셀에 도달한다.시간 연장 정량상 영상촬영은 기계학습과 결합하여 세포의 매우 정확한 라벨 없는 분류를 달성할 수 있다.

적용들

이 방법은 높은 셔터 속도와 프레임률이 요구되는 광범위한 과학, 산업 및 생물의학 분야에 유용하다.변위 감지,[citation needed] 바코드 판독 [citation needed]및 혈액 검사에 1차원 버전을 사용할 수 있으며,[28] 충격파, 미세유체 흐름,[29] 신경 활동, MEMS,[30] 레이저 절제 역학 등의 실시간 관찰, 진단 및 평가를 위한 2차원 버전을 사용할 수 있다.[citation needed]3차원 버전은 범위 감지,[citation needed] 치수 측정학,[citation needed] 표면 진동 및 벨로시메트리에 유용하다.[31]

광학 영역의 이미지 압축

이미징에서 휘어진 스트레치 변환의 그림.

빅데이터는 데이터 급류에 인수·처리 단위가 압도되는 바이오의학과 과학 기기에서도 기회를 가져다 준다.대량의 데이터를 실시간으로 압축해야 하는 필요성으로 인해 균일하지 않은 확장 변환, 즉 데이터의 간격에 따라 데이터를 재구성하는 작업에 대한 관심이 높아지고 있다.

최근 UCLA의 연구진은 광학 영역에서 실시간으로 영상 압축을 시연했다.[32]비선형 그룹 지연 분산과 시간 스레치 영상을 사용하여 정보가 풍부한 부분이 희박한 영역보다 높은 샘플 밀도로 샘플링되도록 영상을 시각적으로 뒤틀 수 있었다.이것은 광학-전기 변환 전에 이미지를 재조정한 후 균일한 전자 샘플러가 뒤따르는 방식으로 이루어졌다.균일하지 않게 늘어난 이미지를 재구성하면 정보가 풍부한 곳에서는 해상도가 더 높고 정보가 훨씬 적고 상대적으로 중요하지 않은 곳에서는 해상도가 더 낮다는 것을 알 수 있다.다운샘플링이 없는 균일한 케이스에 비해 동일한 샘플링율을 유지하면서 중앙의 정보 풍부 지역이 잘 보존되어 있다.이미지 압축은 초당 3,600만 프레임으로 실시간 시연됐다.

참고 항목

참조

  1. ^ J. R. Janesick (2001). Scientific charge-coupled devices. SPIE Press. ISBN 9780819436986.
  2. ^ H. Zimmermann (2000). Integrated silicon optoelectronics. Springer. ISBN 978-3540666622.
  3. ^ K. Goda; K. K. Tsia & B. Jalali (2008). "Amplified dispersive Fourier-transform imaging for ultrafast displacement sensing and barcode reading". Applied Physics Letters. 93 (13): 131109. arXiv:0807.4967. Bibcode:2008ApPhL..93m1109G. doi:10.1063/1.2992064. S2CID 34751462.
  4. ^ K. Goda; K. K. Tsia & B. Jalali (2009). "Serial time-encoded amplified imaging for real-time observation of fast dynamic phenomena". Nature. 458 (7242): 1145–9. Bibcode:2009Natur.458.1145G. doi:10.1038/nature07980. PMID 19407796. S2CID 4415762.
  5. ^ 2014-02-18년 발행된 미국 특허 8654441, Jalalali Bahram & Motafakker-Fard Ali, "차등 간섭 대비 직렬 시간 인코딩 증폭 현미경"은 캘리포니아 대학의 등록부에 배정되었다.
  6. ^ 미국 특허 8870060, 잘랄리 바람; 고다 케이스케 & 티시아 케빈 킨맨, "분산 푸리에-트랜스포메이션의 응용과 방법"이 2014-10-28년 캘리포니아 대학교 등록부에 배정되어 발행되었다.
  7. ^ 미국 특허 9835840, 잘랄리 바흐람; 고다 케이스케 & 티시아 케빈 킨만, 캘리포니아 대학교 등록부에 배정된 2015-01-30에 발행된 "2차원 스펙트럼 브러시를 이용한 광학 증폭 영상법"
  8. ^ 미국 특허 8987649, 잘랄리 바흐람; 고다 케이스케 & 티시아 케빈 킨만, 캘리포니아 대학교 등록부에 배정된 2015-03-24에서 발행된 "2차원 스펙트럼 브러시를 사용한 광학 증폭 영상 촬영 방법"
  9. ^ 미국 특허권 9903804, Jalalali Bahram & Mahjoubfar Ata, "실시간 라벨이 없는 고투과 셀의 흐름 심사"가 캘리포니아 대학의 등록부에 배정된 2018-02-27을 발행했다.
  10. ^ 미국 특허권 10593039, 잘랄리 바람; Mahjoubfar Atta & Chen Lifan, "라벨이 없는 세포 분류와 입자의 기계 시력 추출에 대한 딥러닝"이 캘리포니아 대학의 등록부에 할당된 2020-03-17로 발행되었다.
  11. ^ a b Chou, J.; Boyraz, O.; Solli, D.; Jalali, B. (2007). "Femtosecond real-time single-shot digitizer". Applied Physics Letters. 91 (16): 161105–1–161105–3. Bibcode:2007ApPhL..91p1105C. doi:10.1063/1.2799741 – via Researchgate.net.
  12. ^ a b Solli, D.R.; Boyraz, O.; Jalali, B. (2008). "Amplified wavelength–time transformation for real-time spectroscopy". Nature Photonics. 2 (1): 48–51. Bibcode:2008NaPho...2...48S. doi:10.1038/nphoton.2007.253. S2CID 8991606.
  13. ^ K. Goda; K. K. Tsia & B. Jalali (2008). "Amplified dispersive Fourier-transform imaging for ultrafast displacement sensing and barcode reading". Applied Physics Letters. 93 (13): 131109. arXiv:0807.4967. Bibcode:2008ApPhL..93m1109G. doi:10.1063/1.2992064. S2CID 34751462.
  14. ^ K. Goda; K. K. Tsia & B. Jalali (2009). "Serial time-encoded amplified imaging for real-time observation of fast dynamic phenomena". Nature. 458 (7242): 1145–9. Bibcode:2009Natur.458.1145G. doi:10.1038/nature07980. PMID 19407796. S2CID 4415762.
  15. ^ A. Mahjoubfar; K. Goda; A. Ayazi; A. Fard; S. H. Kim & B. Jalali (2011). "High-speed nanometer-resolved imaging vibrometer and velocimeter". Applied Physics Letters. 98 (10): 101107. Bibcode:2011ApPhL..98j1107M. doi:10.1063/1.3563707.
  16. ^ Chen, C.L.; Mahjoubfar, A.; Tai, L.; Blaby, I.; Huang, A.; Niazi, K.; Jalali, B. (2016). "Deep Learning in Label-free Cell Classification". Scientific Reports. 6: 21471. Bibcode:2016NatSR...621471C. doi:10.1038/srep21471. PMC 4791545. PMID 26975219.
  17. ^ Li, Yueqin; Mahjoubfar, Ata; Chen, Claire Lifan; Niazi, Kayvan Reza; Pei, Li & Jalali, Bahram (2019). "Deep cytometry: deep learning with real-time inference in cell sorting and flow cytometry". Scientific Reports. 9 (1): 1–12. arXiv:1904.09233. Bibcode:2019NatSR...911088L. doi:10.1038/s41598-019-47193-6. PMC 6668572. PMID 31366998.
  18. ^ K. Goda; D. R. Solli; K. K. Tsia & B. Jalali (2009). "Theory of amplified dispersive Fourier transformation". Physical Review A. 80 (4): 043821. Bibcode:2009PhRvA..80d3821G. doi:10.1103/PhysRevA.80.043821. hdl:10722/91330.
  19. ^ K. Goda & B. Jalali (2010). "Noise figure of amplified dispersive Fourier transformation". Physical Review A. 82 (3): 033827. Bibcode:2010PhRvA..82c3827G. doi:10.1103/PhysRevA.82.033827. S2CID 8243947.
  20. ^ Tsia K. K., Goda K., Capewell D., Jalali B. (2010). "Performance of serial time-encoded amplified microscope". Optics Express. 18 (10): 10016–28. Bibcode:2010OExpr..1810016T. doi:10.1364/oe.18.010016. hdl:10722/91333. PMID 20588855. S2CID 8077381.{{cite journal}}: CS1 maint : 복수이름 : 작성자 목록(링크)
  21. ^ a b Chen, Claire Lifan; Mahjoubfar, Ata; Tai, Li-Chia; Blaby, Ian K.; Huang, Allen; Niazi, Kayvan Reza; Jalali, Bahram (2016). "Deep Learning in Label-free Cell Classification". Scientific Reports. 6: 21471. Bibcode:2016NatSR...621471C. doi:10.1038/srep21471. PMC 4791545. PMID 26975219.CC BY 4.0 라이센싱에 따라 게시됨
  22. ^ Michaud, Sarah (5 April 2016). "Leveraging Big Data for Cell Imaging". Optics & Photonics News. The Optical Society. Retrieved 8 July 2016.
  23. ^ "Photonic Time Stretch Microscopy Combined with Artificial Intelligence Spots Cancer Cells in Blood". Med Gadget. 15 April 2016. Retrieved 8 July 2016.
  24. ^ Chen, Claire Lifan; Mahjoubfar, Ata; Jalali, Bahram (23 April 2015). "Optical Data Compression in Time Stretch Imaging". PLOS ONE. 10 (4): e0125106. Bibcode:2015PLoSO..1025106C. doi:10.1371/journal.pone.0125106. PMC 4408077. PMID 25906244.
  25. ^ Mahjoubfar, Ata; Churkin, Dmitry V.; Barland, Stéphane; Broderick, Neil; Turitsyn, Sergei K.; Jalali, Bahram (2017). "Time stretch and its applications". Nature Photonics. 11 (6): 341–351. Bibcode:2017NaPho..11..341M. doi:10.1038/nphoton.2017.76.
  26. ^ G. 포페스쿠, "세포와 조직의 양적 위상 영상화", 맥그라우 힐 프로페셔널(2011년)
  27. ^ Lau, Andy K. S.; Wong, Terence T. W.; Ho, Kenneth K. Y.; Tang, Matthew T. H.; Chan, Antony C. S.; Wei, Xiaoming; Lam, Edmund Y.; Shum, Ho Cheung; Wong, Kenneth K. Y.; Tsia, Kevin K. (2014). "Interferometric time-stretch microscopy for...quantitative cellular and tissue imaging" (PDF). Journal of Biomedical Optics. Free PDF download. 19 (7): 076001. Bibcode:2014JBO....19g6001L. doi:10.1117/1.JBO.19.7.076001. hdl:10722/200609. PMID 24983913. S2CID 24535924.
  28. ^ Chen C., Mahjoubfar A., Tai L., Blaby I., Huang A., Niazi K., Jalali B. (2016). "Deep Learning in Label-free Cell Classification". Scientific Reports. 6: 21471. Bibcode:2016NatSR...621471C. doi:10.1038/srep21471. PMC 4791545. PMID 26975219.{{cite journal}}: CS1 maint : 복수이름 : 작성자 목록(링크)
  29. ^ D. Di Carlo (2009). "Inertial microfluidics". Lab on a Chip. 9 (21): 3038–46. doi:10.1039/b912547g. PMID 19823716.
  30. ^ T. R. Hsu (2008). MEMS & microsystems: design, manufacture, and nanoscale engineering. Wiley. ISBN 978-0470083017.
  31. ^ Mahjoubfar A., Goda K., Ayazi A., Fard A., Kim S., Jalali B. (2011). "High-speed nanometer-resolved imaging vibrometer and velocimeter". Applied Physics Letters. 98 (10): 101107. Bibcode:2011ApPhL..98j1107M. doi:10.1063/1.3563707.{{cite journal}}: CS1 maint : 복수이름 : 작성자 목록(링크)
  32. ^ CL Chen; A Mahjoubfar; B Jalali (2015). "Optical Data Compression in Time Stretch Imaging". PLOS ONE. 10 (4): 1371. Bibcode:2015PLoSO..1025106C. doi:10.1371/journal.pone.0125106. PMC 4408077. PMID 25906244.