시각적인 일시적 주의

Visual temporal attention
UCF-101 데이터[1] 세트에서 평행 막대 동작 범주의 비디오 프레임 (a) 선수가 평행 막대에서 수행하는 비디오 시간 주의 무게에서 가장 높은 순위 4 프레임; (b) 선수가 땅에 서 있는 비디오 시간 주의 무게에서 가장 낮은 순위 4 프레임.모든 체중은 ATW CNN [2]알고리즘에 의해 예측된다.고 가중치 비디오 프레임은 일반적으로 액션 카테고리와 관련된 가장 독특한 움직임을 포착한다.

시각적인 시간적 주의는 특정한 시간의 순간에 주의를 기울이는 것을 수반하는 시각적 주의의 특별한 경우이다.공간 대응 시각적 공간 주의와 유사하게, 이러한 주의 모듈은 딥 러닝 모델에 대한 향상된 성능과 인간 해석 가능한 설명을[3] 제공하기 위해 컴퓨터 비전의 비디오 분석에서 광범위하게 구현되었다.

시각 공간 주의 메커니즘이 인간 및/또는 컴퓨터 비전 시스템이 의미론적으로 더 실질적인 공간 영역에 더 집중할 수 있도록 하기 때문에 시각 시간 주의 모듈은 기계 학습 알고리즘이 인간의 행동 인식과 같은 비디오 분석 작업에서 중요한 비디오 프레임을 더 강조할 수 있도록 한다.컨볼루션 뉴럴 네트워크 기반 시스템에서 주의 메커니즘에 의해 도입된 우선순위 부여는 라벨이 부착된 트레이닝 데이터에 [3]의해 결정되는 파라미터를 가진 선형 가중치 레이어로서 정기적으로 구현된다.

동작 인식 응용 프로그램

ATW CNN [4]아키텍처3개의 CNN 스트림이 각각 공간 RGB 영상, 시간광학 흐름 영상 및 시간 왜곡 광학 흐름 영상을 처리하기 위해 사용됩니다.주의 모델은 각 스트림/모달리티에 대해 스니펫 간에 시간적 가중치를 할당하기 위해 사용된다.가중 합계는 세 가지 스트림/모달리티의 예측을 융합하는 데 사용됩니다.

최근의 비디오 분할 알고리즘은 종종 공간 및 시간 주의 메커니즘을 [2][4]모두 이용한다.Convolutional Neural Network(CNN; 컨볼루션 뉴럴 네트워크)와 같은 강력한 도구가 도입된 이후 인간의 행동 인식 연구가 상당히 가속화되었다.그러나 CNN에 시간적 정보를 통합하기 위한 효과적인 방법은 여전히 활발하게 연구되고 있다.자연어 처리에서 인기 있는 반복 주의 모델에 의해 동기 부여되어, 시각 주의 모델을 시간적 가중 다중 스트림 CNN에 포함하는 주의 인식 시간적 가중 CNN(ATW CNN)이 비디오에서 제안된다[4].이 주의 모델은 시간적 가중치로 구현되며 비디오 표현의 인식 성능을 효과적으로 향상시킵니다.게다가, 제안된 ATW CNN 프레임워크의 각 스트림은 네트워크 매개 변수와 시간 가중치 모두를 역 전파를 통해 확률적 경사 강하(SGD)에 의해 최적화된 엔드 투 엔드 훈련을 할 수 있다.실험 결과에 따르면 ATW CNN 주의 메커니즘은 보다 관련성이 높은 비디오 세그먼트에 초점을 맞춤으로써 보다 차별적인 스니펫으로 성능 향상에 크게 기여한다.


「 」를 참조해 주세요.

레퍼런스

  1. ^ Center, UCF (2013-10-17). "UCF101 - Action Recognition Data Set". CRCV. Retrieved 2018-09-12.
  2. ^ a b Zang, Jinliang; Wang, Le; Liu, Ziyi; Zhang, Qilin; Hua, Gang; Zheng, Nanning (2018). "Attention-Based Temporal Weighted Convolutional Neural Network for Action Recognition". IFIP Advances in Information and Communication Technology. Cham: Springer International Publishing. pp. 97–108. arXiv:1803.07179. doi:10.1007/978-3-319-92007-8_9. ISBN 978-3-319-92006-1. ISSN 1868-4238. S2CID 4058889.
  3. ^ a b "NIPS 2017". Interpretable ML Symposium. 2017-10-20. Retrieved 2018-09-12.
  4. ^ a b c 왕, 르, Zang, Jinliang, 장쯔이 치린;뉴, 전싱. 후아, 갱, 정화, 특히(2018-06-21)."액션 인식은 Attention-Aware 시간적 가중 Convolutional한 신경망에 의해"(PDF).있는 센서다.MDPI했다. 18(7):1979년.Bibcode:2018Senso..18.1979W. doi:10.3390/s18071979.ISSN 1424-8220.PMC 6069475.PMID 29933555.재료는 창조적 공용 귀인 4.0국제 라이센스 하에 가능하다 이 원본에서 복사되었다.