도메인 적응

통상적인 머신 러닝 설정과 이행 학습의 구별, 도메인 적응의 위치 설정.

도메인 적응은^[1]^[2]^[3] 기계 학습 및 이전 학습과 관련된 분야입니다.이 시나리오는 소스 데이터 분포에서 다른(그러나 관련된) 대상 데이터 분포에서 우수한 성능 모델을 학습하는 것을 목표로 할 때 발생합니다.예를 들어, 일반적인 스팸 필터링 문제의 작업 중 하나는 한 사용자(소스 배포)에서 상당히 다른 전자 메일을 수신하는 새 사용자(타깃 배포)로 모델을 조정하는 것입니다.도메인 적응은 관련이 없는 ^[4]소스를 학습하는 데에도 도움이 되는 것으로 나타났다.복수의 소스 배포를 사용할 수 있는 경우, 이 문제는 멀티 소스 도메인 ^[5]적응이라고 불립니다.

개요

도메인 적응은 하나 이상의 "소스 도메인"에서 훈련받은 알고리즘을 다른 (그러나 관련된) "대상 도메인"에 적용하는 능력입니다.도메인 적응은 전송 학습의 하위 범주입니다.도메인 적응에서 소스 도메인과 타깃 도메인은 모두 동일한 특징 공간(다만 분포는 다르다)을 가집니다.반면 전송 학습에는 타깃 도메인의 특징 공간이 소스 특징 공간과 ^[6]다른 경우가 포함됩니다.

도메인 이동

도메인 ^[7]이동 또는 분포 ^[8]이동은 알고리즘의 교육 데이터 집합과 배포 시 발생하는 데이터 집합 간의 데이터 분포 변경입니다.이러한 영역 이동은 인공지능의 실제 적용에서 흔히 볼 수 있다.기존의 기계학습 알고리즘은 도메인 이동에 잘 적응하지 못하는 경우가 많습니다.현대의 머신러닝 커뮤니티에는 보다 나은 도메인 ^[7]적응을 위해 다양한 전략이 있습니다.

예

뉴스 와이어에 대해 훈련된 알고리즘은 생물의학 ^[9]문서의 새로운 데이터 세트에 적응해야 할 수 있다.
훈련 중에 특정 그룹의 전자 메일 사용자를 대상으로 훈련되는 스팸 필터는 배포 ^[10]시 새 대상 사용자에 맞게 조정해야 합니다.
이전 질병과 관련된 라벨이 부착된 데이터에 대해 훈련받은 AI 진단 알고리즘을 COVID-19 ^[11]대유행과 관련된 라벨이 없는 새로운 데이터에 적용한다.
대유행 발생과 같은 갑작스러운 사회 변화는 도메인 이동을 구성하며, 이제는 사용되지 않는 소비자 데이터에 대해 훈련받은 기계 학습 알고리즘이 실패하여 ^[12]^[13]개입이 필요할 수 있습니다.

그 외의 애플리케이션에는, WiFi의 현지화 검출과 컴퓨터 ^[6]비전의 다양한 측면이 있습니다.

형식화

$X$ {\ $displaystyle$ X $}$ 를 $X$ 입력 공간(또는 설명 공간)으로 하고Y {\ $displaystyle$ Y $}$ 를 $Y$ 출력 공간(또는 라벨 공간)으로 $합니다$ .기계학습 알고리즘의 목적은 $X$ 의 예에 라벨을 부착할 수 있는 수학적 모델(가설) $h:X\to Y$ $h:X\to Y$ (\ $displaystyle$ h $:X$ $X$ $to$ Y)를 $h:X\to Y$ 학습하는 것입니다. 이 모델은 학습 $S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}$ S $S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}$ $S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}$ $S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}$ X $S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}$ 로부터 $Y$ 학습됩니다. $\displaystyle$ S $=\{(x_{i$ }, $y_{i})\in(X\times$ Y $)\}_{i=1}^{m$

일반적으로 (도메인 적응이 없는) 지도 $(x_{i},y_{i})\in S$ 에서는 ( $(x_{i},y_{i})\in S$ S { $displaystyle$ ( $x_{i$ }, $y_{$ i $(x_{i},y_{i})\in S$ })\ $in S$ 의 예시는 $X\times Y$ X $X\times Y$ × $X\times Y$ { $displaystyle X\times}$ 의 $D_{S}$ S $}$ 에서 i.i.d.d.로 추출한 것으로 가정합니다.다음으로( $S에서)$ (\ $h$ $displaystyle$ D_ ${S$ 를 $h$ 하여 $D_{S}$ $D_{S}$ 에서 나오는 새로운 예에 라벨을 붙일 때 가능한 한 오류를 최소화하는 것이 목적입니다.

관리한 학습 및 도메인 적응 간 가장 큰 차이는 후자 상황에서 우리는 X×Y{\displaystyle X\times Y}[표창 필요한]에 DS{\displaystyle D_{S}}와 DT{\displaystyle D_{T}두개의 다른(관련)하는 것은}를 배우는 날이다.도메인 적응 과제 그 지식의 양도로 구성되어 있다.M이 원본 도메인 DS{\displaystyle D_{S}}대상 DT{\displaystyle D_{T}에}. 그 그럼, 목적(또는 무명 찰 라벨 샘플을 두 도메인에서 나오고 있)h{h\displaystyle}를 배우려면 가능한 대상 도메인 DT{\displaystyle D_{T}}-LSB- 표창에 작은 고장으로 범한다.해결을 필요하다.

주요 문제는 다음과 같습니다.모델이 소스 도메인에서 학습된 경우 타깃 도메인에서 전송된 데이터에 라벨을 올바르게 붙일 수 있는 능력은 얼마나 됩니까?

도메인 적응의 다양한 유형

도메인 적응에는 몇 가지 컨텍스트가 있습니다.이들은 대상 작업에 대해 고려되는 정보가 서로 다릅니다.

비지도 도메인 적응: 학습 샘플은 레이블이 지정된 소스 예제 세트, 레이블이 지정되지 않은 소스 예제 세트 및 레이블이 지정되지 않은 대상 예제 세트를 포함한다.
준감독 도메인 적응: 이 상황에서는 라벨이 붙은 타겟의 「작은」세트도 검토한다.
감시 도메인 적응: 검토된 모든 예에 라벨을 붙여야 합니다.

4가지 알고리즘 원리

알고리즘의 재무게 부여

목적은 (고려된 ^[14]^[15]오차 측도의 관점에서) 대상 표본과 "모양"으로 보이도록 레이블이 지정된 표본의 출처에 무게를 다시 부여하는 것입니다.

반복 알고리즘

적응 방법은 대상 ^[16]예제를 반복적으로 "자동 라벨링"하는 방식으로 구성됩니다.원리는 간단합니다.

$모델$ h $(\displaystyle$ h $)$ 는 $h$ 라벨이 부착된 예에서 학습한다.
$(\displaystyle$ h $)$ 는 $h$ 일부 대상 예에 자동으로 라벨을 붙입니다.
새로운 모델은 라벨이 붙은 새로운 예로부터 학습됩니다.

다른 반복적인 접근법이 있지만,^[17]^[18] 일반적으로는 대상 라벨이 붙은 예가 필요합니다.

공통 표현 공간 검색

목표는 두 도메인에 대한 공통 표현 공간을 찾거나 구성하는 것입니다.목적은 소스 라벨링 태스크에서 양호한 성능을 유지하면서 도메인이 서로 가까운 공간을 확보하는 것이다.이것은 다른 영역의 표본에서 특징 표현을 구별할 ^[19]^[20]수 없도록 장려하는 적대적 기계 학습 기법을 사용하여 달성할 수 있다.

계층적 베이스 모델

목표는 $카운트$ n의 인수분해 모델인 베이지안 계층형 $p(n)$ p $p(n)$ ( $p(n)$ n ){ $displaystyle$ $p(n$ $n$ 를 구축하여 도메인 고유 ^[4]및 글로벌 공유 잠복 요인을 모두 허용하는 도메인 의존적 잠재 표현을 도출하는 것이다.

레퍼런스

^ Redko, Ievgen; Morvant, Emilie; Habrard, Amaury; Sebban, Marc; Bennani, Younès (2019). Advances in Domain Adaptation Theory. ISTE Press - Elsevier. p. 187. ISBN 9781785482366.
^ Bridle, John S.; Cox, Stephen J (1990). "RecNorm: Simultaneous normalisation and classification applied to speech recognition" (PDF). Conference on Neural Information Processing Systems (NIPS). pp. 234–240.
^ Ben-David, Shai; Blitzer, John; Crammer, Koby; Kulesza, Alex; Pereira, Fernando; Wortman Vaughan, Jennifer (2010). "A theory of learning from different domains" (PDF). Machine Learning. 79 (1–2): 151–175. doi:10.1007/s10994-009-5152-4.
^ ^a ^b Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2018). "Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data". arXiv:1810.09433 [stat.ML].
^ Crammer, Koby; Kearns, Michael; Wortman, Jeniifer (2008). "Learning from Multiple Sources" (PDF). Journal of Machine Learning Research. 9: 1757–1774.
^ ^a ^b Sun, Shiliang; Shi, Honglei; Wu, Yuanbin (July 2015). "A survey of multi-source domain adaptation". Information Fusion. 24: 84–92. doi:10.1016/j.inffus.2014.12.003.
^ ^a ^b 쑨, 바오첸, 자시펑, 케이트생코."불안할 정도로 쉬운 도메인 적응의 귀환"제30회 AAAI 학술대회 2016.
^ 아모데이, 다리오, 크리스 올라, 제이콥 스타인하트, 폴 크리스티아노, 존 슐먼, 댄 마네."AI 안전에 대한 구체적인 문제" arXiv 프리프린트 arXiv : 1606.065 (2016).
^ Daumé III, Hal. "역할 정도로 쉬운 도메인 적응." arXiv 프리프린트 arXiv:0907.1815(2009).
^ 벤 데이비드, 샤이, 존 블리처, 코비 크래머, 페르난도 페레이라."도메인 적응을 위한 표현 분석"신경 정보 처리 시스템의 발전, 페이지 137-144. 2007.
^ Hu, Yipeng; Jacob, Joseph; Parker, Geoffrey J. M.; Hawkes, David J.; Hurst, John R.; Stoyanov, Danail (June 2020). "The challenges of deploying artificial intelligence models in a rapidly evolving pandemic". Nature Machine Intelligence. 2 (6): 298–300. arXiv:2005.12137. doi:10.1038/s42256-020-0185-2. ISSN 2522-5839.
^ Matthews, Dylan (26 March 2019). "AI disaster won't look like the Terminator. It'll be creepier". Vox. Retrieved 21 June 2020.
^ "Our weird behavior during the pandemic is messing with AI models". MIT Technology Review. 11 May 2020. Retrieved 21 June 2020.
^ Huang, Jiayuan; Smola, Alexander J.; Gretton, Arthur; Borgwardt, Karster M.; Schölkopf, Bernhard (2006). "Correcting Sample Selection Bias by Unlabeled Data" (PDF). Conference on Neural Information Processing Systems (NIPS). pp. 601–608.
^ Shimodaira, Hidetoshi (2000). "Improving predictive inference under covariate shift by weighting the log-likelihood function". Journal of Statistical Planning and Inference. 90 (2): 227–244. doi:10.1016/S0378-3758(00)00115-4.
^ Gallego, A.J.; Calvo-Zaragoza, J.; Fisher, R.B. (2020). "Incremental Unsupervised Domain-Adversarial Training of Neural Networks" (PDF). IEEE Transactions on Neural Networks and Learning Systems. PP (11): 4864–4878. doi:10.1109/TNNLS.2020.3025954. hdl:20.500.11820/72ba0443-8a7d-4cdd-8212-38682d4f0730. PMID 33027004. S2CID 210164756.
^ Arief-Ang, I.B.; Salim, F.D.; Hamilton, M. (2017-11-08). DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data. 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands. pp. 1–10. doi:10.1145/3137133.3137146. ISBN 978-1-4503-5544-5.
^ Arief-Ang, I.B.; Hamilton, M.; Salim, F.D. (2018-12-01). "A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data". ACM Transactions on Sensor Networks. 14 (3–4): 21:1–21:28. doi:10.1145/3217214. S2CID 54066723.
^ Ganin, Yaroslav; Ustinova, Evgeniya; Ajakan, Hana; Germain, Pascal; Larochelle, Hugo; Laviolette, François; Marchand, Mario; Lempitsky, Victor (2016). "Domain-Adversarial Training of Neural Networks" (PDF). Journal of Machine Learning Research. 17: 1–35.
^ Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2017). "Addressing Appearance Change in Outdoor Robotics with Adversarial Domain Adaptation". arXiv:1703.01461 [cs.RO].

[1] Redko, Ievgen; Morvant, Emilie; Habrard, Amaury; Sebban, Marc; Bennani, Younès (2019). Advances in Domain Adaptation Theory. ISTE Press - Elsevier. p. 187. ISBN 9781785482366.

[2] Bridle, John S.; Cox, Stephen J (1990). "RecNorm: Simultaneous normalisation and classification applied to speech recognition" (PDF). Conference on Neural Information Processing Systems (NIPS). pp. 234–240.

[3] Ben-David, Shai; Blitzer, John; Crammer, Koby; Kulesza, Alex; Pereira, Fernando; Wortman Vaughan, Jennifer (2010). "A theory of learning from different domains" (PDF). Machine Learning. 79 (1–2): 151–175. doi:10.1007/s10994-009-5152-4.

[:bmdl-4] Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2018). "Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data". arXiv:1810.09433 [stat.ML].

[5] Crammer, Koby; Kearns, Michael; Wortman, Jeniifer (2008). "Learning from Multiple Sources" (PDF). Journal of Machine Learning Research. 9: 1757–1774.

[survey_multi-source-6] Sun, Shiliang; Shi, Honglei; Wu, Yuanbin (July 2015). "A survey of multi-source domain adaptation". Information Fusion. 24: 84–92. doi:10.1016/j.inffus.2014.12.003.

[frustratingly-7] 쑨, 바오첸, 자시펑, 케이트생코."불안할 정도로 쉬운 도메인 적응의 귀환"제30회 AAAI 학술대회 2016.

[8] 아모데이, 다리오, 크리스 올라, 제이콥 스타인하트, 폴 크리스티아노, 존 슐먼, 댄 마네."AI 안전에 대한 구체적인 문제" arXiv 프리프린트 arXiv : 1606.065 (2016).

[9] Daumé III, Hal. "역할 정도로 쉬운 도메인 적응." arXiv 프리프린트 arXiv:0907.1815(2009).

[10] 벤 데이비드, 샤이, 존 블리처, 코비 크래머, 페르난도 페레이라."도메인 적응을 위한 표현 분석"신경 정보 처리 시스템의 발전, 페이지 137-144. 2007.

[11] Hu, Yipeng; Jacob, Joseph; Parker, Geoffrey J. M.; Hawkes, David J.; Hurst, John R.; Stoyanov, Danail (June 2020). "The challenges of deploying artificial intelligence models in a rapidly evolving pandemic". Nature Machine Intelligence. 2 (6): 298–300. arXiv:2005.12137. doi:10.1038/s42256-020-0185-2. ISSN 2522-5839.

[12] Matthews, Dylan (26 March 2019). "AI disaster won't look like the Terminator. It'll be creepier". Vox. Retrieved 21 June 2020.

[13] "Our weird behavior during the pandemic is messing with AI models". MIT Technology Review. 11 May 2020. Retrieved 21 June 2020.

[14] Huang, Jiayuan; Smola, Alexander J.; Gretton, Arthur; Borgwardt, Karster M.; Schölkopf, Bernhard (2006). "Correcting Sample Selection Bias by Unlabeled Data" (PDF). Conference on Neural Information Processing Systems (NIPS). pp. 601–608.

[15] Shimodaira, Hidetoshi (2000). "Improving predictive inference under covariate shift by weighting the log-likelihood function". Journal of Statistical Planning and Inference. 90 (2): 227–244. doi:10.1016/S0378-3758(00)00115-4.

[16] Gallego, A.J.; Calvo-Zaragoza, J.; Fisher, R.B. (2020). "Incremental Unsupervised Domain-Adversarial Training of Neural Networks" (PDF). IEEE Transactions on Neural Networks and Learning Systems. PP (11): 4864–4878. doi:10.1109/TNNLS.2020.3025954. hdl:20.500.11820/72ba0443-8a7d-4cdd-8212-38682d4f0730. PMID 33027004. S2CID 210164756.

[17] Arief-Ang, I.B.; Salim, F.D.; Hamilton, M. (2017-11-08). DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data. 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands. pp. 1–10. doi:10.1145/3137133.3137146. ISBN 978-1-4503-5544-5.

[18] Arief-Ang, I.B.; Hamilton, M.; Salim, F.D. (2018-12-01). "A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data". ACM Transactions on Sensor Networks. 14 (3–4): 21:1–21:28. doi:10.1145/3217214. S2CID 54066723.

[Domain-Adversarial_Training-19] Ganin, Yaroslav; Ustinova, Evgeniya; Ajakan, Hana; Germain, Pascal; Larochelle, Hugo; Laviolette, François; Marchand, Mario; Lempitsky, Victor (2016). "Domain-Adversarial Training of Neural Networks" (PDF). Journal of Machine Learning Research. 17: 1–35.

[ADA-20] Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2017). "Addressing Appearance Change in Outdoor Robotics with Adversarial Domain Adaptation". arXiv:1703.01461 [cs.RO].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

Search