광음향 이미징에 관한 딥 러닝

광음향 이미징의 딥 러닝은 광음향 이미징(PA)의 하이브리드 이미징 양식과 빠르게 진화하는 딥 러닝 분야를 결합합니다.광음향 이미징은 광흡수가 온도 상승을 유발하고 열탄성 ^[1]팽창을 통해 압력 상승을 일으키는 광음향 효과에 기초한다.이 압력 상승은 조직을 통해 전파되며 초음파 변환기를 통해 감지됩니다.광학흡수, 온도상승 및 압력상승의 비례성으로 인해 초음파 압력파 신호를 사용하여 ^[2]조직 내의 원래 광에너지 증착을 정량화할 수 있다.

광음향 이미징은 광음향 컴퓨터 단층 촬영(PACT)과 광음향 현미경 촬영(PAM) 모두에서 딥 러닝의 응용을 가지고 있습니다.PACT는 광자기장과 비초점 초음파 ^[1]변환기를 사용합니다.다른computed 단층 촬영 방법과 유사하게, 샘플, 그리고 그것은 tiss 내부의 처음 압력 분포를 이끌어 내는 데 반비례 재건 알고리즘이 기하학(보편적인 backprojection,[3]일반적으로를 통해 수정 delay-and-sum,[4]또는 시간 반전[5][6])에 기반하는 데 사용됩니다 여러 견해 각도에서 훌륭하게 그려져 있다.가.한편, PAM은, 약초점 광학 들뜸(음향 해상도 PAM 또는 AR-PAM) 또는 촘촘한 초점 광학 들뜸(광학 해상도 PAM 또는 OR-PAM)^[7]과 조합한 초점 초음파 검출을 사용합니다.일반적으로 PAM은 기계 래스터 스캔 패턴을 통해 이미지를 1점씩 캡처합니다.각 스캔 지점에서 음향 비행 시간은 축방향 분해능을 제공하는 반면 음향 포커싱은 측면 ^[1]분해능을 생성합니다.

PACT에서의 딥러닝 적용

PACT에서 딥 러닝의 첫 번째 응용 프로그램 중 하나는 공간 임펄스 반응을 학습하고 광음향 점 소스를 찾기 위해 심층 신경 네트워크가 훈련되었던 Leather ^[8]등에 의해 이루어졌다.무작위로 선택한 테스트 영상 중 2,412개에서 발생한 평균 축 및 가로 방향 점 위치 오차는 각각 0.28mm와 0.37mm였습니다.이 초기 구현 후 PACT의 딥 러닝 애플리케이션은 주로 음향 반사,^[9] 희박한 샘플링,^[10][11][12] 제한된 ^[13][14][15]시야 및 제한된 ^{[16][14][17][18]}대역폭에서 아티팩트를 제거하는 것으로 확장되었다.또한 PACT에서는 최근 파면 현지화에 ^[19]딥 러닝을 사용하기 위한 몇 가지 작업이 이루어지고 있습니다.딥 러닝 퓨전 기반 ^[20]네트워크를 사용하여 재구성을 개선하기 위해 두 가지 다른 재구성의 정보를 융합한 네트워크가 있다.

딥 러닝을 사용하여 광음향 점 소스 찾기

기존의 광음향 빔 형성 기법은 PA 신호 도착 시간의 차이를 설명하기 위해 검출기 배열 형상 및 비행 시간을 사용하여 광음향파 전파를 모델링했다.그러나 이 기술은 음향 반사로 인한 잔향 음향 신호를 고려하지 못하여 실제 광음향 점 소스 위치 정보를 손상시키는 음향 반사 아티팩트를 초래했습니다.Lather ^[8]등에서는 (단순한 VGG-16 스타일 아키텍처와 유사한) 사전 빔 형성 광음향 데이터를 입력으로 받아들이고 2-D 지점 선원 위치를 지정하는 분류 결과를 출력하는 컨볼루션 신경망을 사용했다.

음향 반사 아티팩트 제거(복수의 소스 및 채널 노이즈 존재 시)

Laither 등,^[8] Allman 등 연구자의 연구를 바탕으로 한다.^[9] 는 완전한 VGG-16 아키텍처를 사용하여 (복수의 소스 및 채널 노이즈가 존재하는 경우) 광음향 채널 데이터 내에서 포인트 소스를 찾아 반사 아티팩트를 제거합니다.이러한 딥 러닝의 활용은 MATLAB k-wave 라이브러리에서 생성된 시뮬레이션 데이터에 대해 훈련되었고, 나중에 실험 데이터에 대한 결과를 재확인했다.

잘못된 PACT 재구축

PACT 에서는, 복수의 입체 각도로부터의 투영을 조합해 화상을 형성하는 단층 촬영 재구성이 실시됩니다.필터링된 백투영 또는 시간 반전과 같은 재구성 방법이 Nyquist-Shannon의 샘플링 요구 사항에 따른 샘플링 또는 제한된 대역폭/뷰로 인해 잘못 배치된 역문제인 경우 결과 재구성에는 영상 아티팩트가 포함됩니다.전통적으로 이러한 아티팩트는 총 변동 최소화 등의 느린 반복 방법으로 제거되었지만 딥 러닝 접근법의 등장으로 네트워크 훈련의 선행 지식을 활용하여 아티팩트를 제거하는 새로운 방법이 열렸습니다.이러한 희박한 샘플링, 제한된 대역폭 및 제한된 뷰 아티팩트를 제거하는 딥 러닝 방법에서 일반적인 워크플로우는 먼저 잘못된 위치에 있는 재구성 기술을 수행하여 사전 빔 형성 데이터를 아티팩트를 포함하는 초기 압력 분포의 2-D 표현으로 변환한다.그런 다음, 지상 진실 초기 압력 분포의 아티팩트가 없는 표현을 생성하기 위해 컨볼루션 뉴럴 네트워크(CNN)가 아티팩트를 제거하도록 훈련된다.

딥 러닝을 사용하여 스파스 샘플링 아티팩트 제거

균일한 단층 화각의 밀도가 나이키스트-쉐넌의 샘플링 정리에 규정된 농도 이하일 경우, 촬상 시스템은 스파스 샘플링하고 있다고 한다.스파스 샘플링은 일반적으로 생산 비용을 낮게 유지하고 이미지 ^[10]획득 속도를 향상시키기 위한 방법으로 발생합니다.이러한 스파스 샘플링 아티팩트를 제거하기 위해 사용되는 일반적인 네트워크 아키텍처는 U-net^[10][12] 및 Fully Dense(FD; 완전 밀도) U-net입니다.^[11]이러한 아키텍처에는 모두 압축 및 압축 해제 단계가 포함되어 있습니다.압축 단계에서는 영상 아티팩트 및 기타 ^[23]세부 정보가 없는 잠재적 표현으로 영상을 압축하는 방법을 학습합니다.압축 해제 단계는 아티팩트와 ^[23]관련된 세부 정보를 추가하지 않고 이미지 세부 정보를 다시 추가하기 위해 나머지 연결에 의해 전달된 정보와 결합됩니다.FD U-net은, 원래의 U-net 아키텍처를 변경해, 레이어가 조밀한 ^[11]블록내의 이전의 레이어에서 학습한 정보를 이용할 수 있도록 합니다.또 다른 기술은 인공물을 제거하고 k파 영상 ^[17]재구성을 개선하기 위해 단순한 CNN 기반 아키텍처를 사용하는 것이 제안되었다.

딥 러닝을 사용하여 제한된 보기 아티팩트 제거

일반적으로 기하학적 한계로 인해 부분 입체 각도의 영역이 캡처되지 않은 경우 이미지 획득은 제한된 ^[24]시야를 갖는다고 합니다.Davoudi ^[12]등의 실험에서 설명되었듯이 제한된 시야의 손상은 재구성된 이미지의 주파수 영역에서 누락된 정보로 직접 관찰될 수 있다.sparse 샘플링과 마찬가지로 limited-view는 초기 재구성 알고리즘을 부적절하게 만듭니다.딥 러닝에 앞서, 제한된 시야 문제는 음향^[25] 디플렉터 및 완전한 링 모양의 ^[12][26]변환기 어레이와 같은 복잡한 하드웨어와 ^{[27][28][29][30][31]}압축 감지, 가중 ^[32]계수 및 반복 필터링된 ^[33][34]백투영과 같은 솔루션을 사용하여 해결되었습니다.이 잘못된 재구성 결과는 CNN에 의해 제거될 수 있는 이미징 아티팩트입니다.제한된 뷰 아티팩트를 제거하는 데 사용되는 딥 러닝 알고리즘에는 U-net^{[12][15][35] [36]}및 FD U-net뿐만 아니라 생성적 적대 네트워크(GAN)^[14] 및 U-net 볼륨 버전이 ^[13]포함됩니다.하나의 GAN 구현은 U-net을 제너레이터로 사용하고 VGG를 식별자로 사용하여 훈련(WGAN-GP)^[14] 안정화를 위한 Wasserstein 메트릭과 그라데이션 패널티를 사용하여 U-net에서 개선되었다.

심층 신경망을 통한 제한된 대역폭 아티팩트 제거

제한된 대역폭 문제는 초음파 변환기 어레이의 제한된 감지 주파수 대역폭 때문에 발생합니다.이 변환기 어레이는 주파수 영역의 대역 통과 필터처럼 작동하여 광음향 신호 ^[15][16]내의 고주파 및 저주파를 모두 감쇠시킵니다.이 제한된 대역폭으로 인해 아티팩트가 발생하고 영상 시스템의 ^[14]Axial 분해능이 제한될 수 있습니다.제한된 대역폭 아티팩트를 제거하기 위해 사용되는 일차적인 심층 뉴럴 네트워크 아키텍처는^[14] WGAN-GP와 수정된 U-net입니다.^[15][16]딥 러닝 전에 아티팩트와 노이즈 제한 대역폭 재구성을 제거하는 일반적인 방법은 Wiener 필터링이었습니다. 이는 PA 신호의 ^[14]주파수 스펙트럼을 확장하는 데 도움이 됩니다.Wiener 필터링에 비해 딥러닝 방식의 주요 장점은 Wiener 필터링에 높은 초기 신호 대 잡음비(SNR)가 필요하다는 것입니다.이것은 항상 가능한 것은 아니지만 딥러닝 모델에는 이러한 제한이 ^[14]없습니다.

광음향 이미지 개선을 위한 정보와 심층 신경망의 융합

상보 정보는 광음향 화상 ^[20]재구성을 개선하기 위해 융접 기반의 아키텍처를 사용하여 이용된다.재구성이 다르면 출력의 특성이 달라지기 때문에 다른 재구성 기법을 ^[20]사용하면 영상 품질과 특성이 달라집니다.두 가지 다른 재구성의 출력을 결합하고 이러한 재구성에 비해 더 나은 영상 품질을 제공하기 위해 새로운 퓨전 기반 아키텍처가 제안되었다.여기에는 가중치 공유 및 출력 영상 ^[20]품질 개선을 위한 특성 결합이 포함됩니다.

PAM에서의 딥 러닝 응용 프로그램

광음향 현미경은 초점 초음파 검출을 사용하여 픽셀 단위로 이미지를 획득한다는 점에서 다른 형태의 광음향 단층 촬영과 다릅니다.PAM 영상은 일반적으로 Hilbert 변환 및 최대 진폭 투영(MAP)^[1]을 통해 2-D 투영에 매핑되는 시간 분해능 볼륨 데이터로 획득됩니다.PAM에 대한 딥 러닝의 첫 번째 적용은 움직임 보정 ^[37]알고리즘의 형태를 취했습니다.이 절차는 스캔 중 생체 내 모델이 이동할 때 발생하는 PAM 아티팩트를 수정하기 위해 제시되었습니다.이 움직임에 따라 혈관 불연속부가 나타납니다.

PAM에서 모션 아티팩트를 제거하기 위한 심층 학습

PAM에서 딥 러닝을 통해 다루어지는 두 가지 주요 모션 아티팩트 유형은 수직 방향과 기울어진 방향의 변위이다.첸 ^[37]등는 PAM 모션 아티팩트를 제거하기 위해 각 레이어가 가중치 매트릭스와 바이어스 벡터로 표현되는 단순한 3층 컨볼루션 뉴럴 네트워크를 사용했다.컨볼루션 레이어 중 2개는 RELU 활성화 기능을 포함하고, 마지막 레이어는 활성화 ^[37]기능을 가지고 있지 않다.이 아키텍처를 사용하여 3 × 3, 4 × 4, 5 × 5의 커널 크기를 테스트하고 가장 큰 5 × 5의 커널 크기를 테스트하여 최상의 ^[37]결과를 얻었습니다.훈련 후, 움직임 보정 모델의 성능이 테스트되었고 시뮬레이션과 생체 내 ^[37]데이터 모두에서 잘 수행되었다.

「 」를 참조해 주세요.

• 광음향 이미징
• 광음향 현미경 검사
• 광음향 효과

레퍼런스

외부 링크

광음향 이미징

광음향 현미경 검사

광음향 효과