유넷

U-Net
시리즈의 일부
기계 학습
및 데이터 마이닝
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
문제
지도 학습
(분류 • 회귀)
클러스터링
치수 축소
구조화된 예측
이상 검출
인공신경망
강화 학습
인간과의 학습
모델 진단
이론.
기계학습장
관련 기사

U-Net은 프라이부르크 [1]대학 컴퓨터 과학부에서 생물의학 영상 분할을 위해 개발된 컨볼루션 뉴럴 네트워크입니다.네트워크는 완전한 컨볼루션 네트워크를[2] 기반으로 하고 있으며, 그 아키텍처는 더 적은 트레이닝 이미지로 작동하고 더 정확한 세분화를 생성하도록 수정 및 확장되었습니다.최신 GPU에서는 512 x 512 이미지를 분할하는 데 1초도 걸리지 않습니다.

묘사

U-Net 아키텍처는 Long, Shelhamer 및 Darrell이 [2]처음 제안한 이른바 "완전 컨볼루션 네트워크"에서 비롯되었습니다.

주된 아이디어는 일반적인 계약 네트워크를 연속적인 계층으로 보완하는 것입니다. 여기서 풀링 작업은 업샘플링 연산자로 대체됩니다.따라서 이러한 레이어는 출력의 분해능을 높입니다.이어서 연속된 컨볼루션 층은 [1]이 정보에 근거해 정확한 출력을 조립하는 것을 학습할 수 있다.

U-Net의 중요한 변경 중 하나는 업샘플링 부분에 다수의 피쳐 채널이 있다는 것입니다.이것에 의해, 네트워크는 콘텍스트 정보를 고해상도 레이어에 전파할 수 있습니다.그 결과 팽창경로는 수축부와 거의 대칭이 되어 u자형 아키텍처를 얻을 수 있다.네트워크는 완전히 연결된 [2]레이어 없이 각 컨볼루션의 유효한 부분만 사용합니다.영상의 테두리 영역의 픽셀을 예측하기 위해 입력 영상을 미러링하여 누락된 컨텍스트를 추정합니다.이 타일링 전략은 네트워크를 큰 이미지에 적용하는 데 중요합니다. 그렇지 않으면 GPU 메모리에 의해 해상도가 제한되기 때문입니다.

역사

U-Net은 Olaf Ronneberger, Philipp Fischer, Thomas Brox에 의해 2015년에 만들어졌으며 "U-Net: Convolutional Networks for Medical Image Segmentation"[1]이라는 논문에서 보고되었다.FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell(2014)의 개선과 발전입니다."시맨틱 분할을 위한 완전한 컨볼루션 네트워크"[2]

네트워크 아키텍처

네트워크는 수축 경로와 확장 경로로 구성되어 있으며, 이를 통해 u자형 아키텍처를 제공합니다.컨트랙션 패스는 컨볼루션의 반복 적용으로 구성되는 전형적인 컨볼루션네트워크로, 각 네트워크에는 정류선형 유닛(ReLU)과 최대 풀링 연산이 뒤따릅니다.수축 중에는 공간정보를 줄이고 특징정보를 늘린다.확장 경로는 일련의 업 컨볼루션 및 연결을 통해 특징과 공간 정보를 수축 [3]경로의 고해상도 특징과 결합한다.

이것은 256 x 256 RGB 이미지용으로 k x 256 x 256 이미지 마스크를 생성하기 위한 U-Net의 아키텍처 예시입니다.

적용들

단백질 결합 부위 [6]예측뿐만 아니라 뇌 영상 분할("BRATS")[4] 및 간 영상 분할("siliver07")[5]과 같은 생물의학 영상 분할에는 U-Net이 많이 사용됩니다.U-Net의 변형은 의료 영상 [7]재구축에도 적용되었습니다.다음은 U-Net의 몇 가지 변형 및 응용 프로그램입니다.

  1. U-Net을 사용한 픽셀 단위 회귀 분석 및 팬서핑에 [8]적용
  2. 3D U-Net: 스파스 [9]주석에서 고밀도 볼륨 분할 학습;
  3. TernausNet:[10] VGG11 인코더를 탑재한 U-Net은 이미지 세그멘테이션용으로 ImageNet에 대해 사전 트레이닝되어 있습니다.
  4. 형광 얼룩을 추정하기 위한 이미지 대 이미지 변환
  5. 단백질 [6]구조의 결합 부위 예측.

실장

jakeret (2017) : 텐서플로우 [12]유넷

독일 [13]프라이부르크 대학 컴퓨터 과학부의 패턴 인식 및 이미지 처리의 U-Net 소스 코드.

레퍼런스

  1. ^ a b c Ronneberger O, Fischer P, Brox T (2015). "U-Net: Convolutional Networks for Biomedical Image Segmentation". arXiv:1505.04597 [cs.CV].
  2. ^ a b c d Shelhamer E, Long J, Darrell T (April 2017). "Fully Convolutional Networks for Semantic Segmentation". IEEE Transactions on Pattern Analysis and Machine Intelligence. 39 (4): 640–651. arXiv:1411.4038. doi:10.1109/TPAMI.2016.2572683. PMID 27244717. S2CID 1629541.
  3. ^ "U-Net code".
  4. ^ "MICCAI BraTS 2017: Scope Section for Biomedical Image Analysis (SBIA) Perelman School of Medicine at the University of Pennsylvania". www.med.upenn.edu. Retrieved 2018-12-24.
  5. ^ "SLIVER07 : Home". www.sliver07.org. Retrieved 2018-12-24.
  6. ^ a b Nazem F, Ghasemi F, Fassihi A, Dehnavi AM (April 2021). "3D U-Net: A voxel-based method in binding site prediction of protein structure". Journal of Bioinformatics and Computational Biology. 19 (2): 2150006. doi:10.1142/S0219720021500062. PMID 33866960.
  7. ^ Andersson J, Ahlström H, Kullberg J (September 2019). "Separation of water and fat signal in whole-body gradient echo scans using convolutional neural networks". Magnetic Resonance in Medicine. 82 (3): 1177–1186. doi:10.1002/mrm.27786. PMC 6618066. PMID 31033022.
  8. ^ Yao W, Zeng Z, Lian C, Tang H (2018-10-27). "Pixel-wise regression using U-Net and its application on pansharpening". Neurocomputing. 312: 364–371. doi:10.1016/j.neucom.2018.05.103. ISSN 0925-2312. S2CID 207119255.
  9. ^ Çiçek Ö, Abdulkadir A, Lienkamp SS, Brox T, Ronneberger O (2016). "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation". arXiv:1606.06650 [cs.CV].
  10. ^ Iglovikov V, Shvets A (2018). "TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation". arXiv:1801.05746 [cs.CV].
  11. ^ Kandel ME, He YR, Lee YJ, Chen TH, Sullivan KM, Aydin O, et al. (December 2020). "Phase imaging with computational specificity (PICS) for measuring dry mass changes in sub-cellular compartments". Nature Communications. 11 (1): 6256. arXiv:2002.08361. doi:10.1038/s41467-020-20062-x. PMC 7721808. PMID 33288761.
  12. ^ Akeret J (2018-12-24), Generic U-Net Tensorflow implementation for image segmentation: jakeret/tf_unet, retrieved 2018-12-24
  13. ^ "U-Net: Convolutional Networks for Biomedical Image Segmentation". lmb.informatik.uni-freiburg.de. Retrieved 2018-12-24.