구간 예측 변수 모형

회귀 분석에서 구간 예측 변수 모형(IPM)은 근사치할 함수의 한계를 구하는 회귀 분석 접근법이다. 이는 보통 점 값이나 전체 확률 분포를 추정하고자 하는 기계 학습의 다른 기법과는 다르다. IPM은 잠재적으로 무한대의 함수를 포함하며 퇴행 변수에 대한 특정 분포가 없기 때문에 구간 예측 변수 모델을 비모수 회귀 기법이라고도 한다.

기능을 나타내기 위해 일반적으로 사용되는 멀티 포인트 데이터의 다중 입력 다중 출력 IPM이 최근에 개발되었다.^[1] 이러한 IPM은 모델의 매개변수를 절편 정규 분포 또는 절편-배당 분포를 사용하는 경로 연결 반알제브라 집합으로 규정한다.^[3] 이 접근방식의 주요 장점은 다양한 충실도 수준에 대한 복잡한 매개변수 의존성을 특징짓는 능력이다. 이 실무관행을 통해 분석가는 예측에서 원하는 보수성의 수준을 조정할 수 있다.

시나리오 최적화 이론의 결과로서, 많은 경우에 시험 시간에 모델의 성능에 관하여 엄격한 예측을 할 수 있다.^[4] 따라서 구간 예측 변수 모형은 분량 회귀 분석에서 보장된 경계로 볼 수 있다. 구간 예측 변수 모델은 또한 가우스 과정이 특정한 경우인 무작위 예측 변수 모델의 지원을 규정하는 방법으로 볼 수 있다.^[5]

볼록 간격 예측 변수 모형

일반적으로 구간 예측 변수 모형은 모수 함수를 지정하여 생성되며, 일반적으로 모수 벡터와 기초의 산물로 선택된다. 보통 기초는 다항식 형상으로 구성되거나 방사형 기초가 사용되기도 한다. 그런 다음 볼록 세트가 파라미터 벡터에 할당되고 볼록 세트의 크기가 최소화되어 가능한 모든 데이터 포인트가 파라미터의 가능한 한 값으로 예측될 수 있다. 타원형 파라미터 세트는 Campi(2009)가 사용했으며, Campi(2009)는 IPM을 훈련하기 위한 볼록 최적화 프로그램을 제공한다.^[4] 크레스포(2016년)는 IPM의 한계에 편리하고 선형적인 형태를 초래하는 고직사각형 매개변수 세트의 사용을 제안했다.^[6] 따라서 IPM은 선형 최적화 프로그램으로 훈련될 수 있다.

${\displaystyle \operatorname {arg\,min} _{p}\left\{\mathbb {E} _{x}({\bar {y}}_{p}(x)-{\underline {y}}_{p}(x)):{\bar {y}}_{p}(x^{(i)})>y^{(i)}>{\underline {y}}_{p}(x^{(i)}),i=1,\ldots ,N\right\}}$

where the training data examples are ${\displaystyle y^{(i)}}$ and ${\displaystyle x^{(i)}}$, and the Interval Predictor Model bounds ${\displaystyle {\underline {y}}_{p}(x)}$ and ${\displaystyle {\overline {y}}_{p}(x)}$ are parameterised by the parameter vector $[\displaystyle p$ 이러한 IPM의 신뢰성은 볼록한 IPM의 경우 지원 제약의 수가 트레인 가능한 매개변수의 치수보다 적으므로 시나리오 접근법을 적용할 수 있다는 점에 주목함으로써 얻어진다.

라케르다(2017년)는 이 접근방식이 포인트 평가보다는 훈련 데이터의 간격을 평가하는 상황으로 확대될 수 있음을 입증했다.^[7]

비콘벡스 구간 예측 변수 모형

캄피(2015년)에서는 시나리오 최적화에 대한 비콘벡스 이론이 제안되었다.^[8] 여기에는 훈련 후 구간 예측 변수 모델에 대한 지지 제약 조건 $S{\displaystyle }$ ${\displaystyle S$의 수를 측정하여 모델의 신뢰성에 대한 예측이 포함된다. 이를 통해 단일층 신경망과 같은 비컨벡스 IPM이 생성될 수 있다. Campi(2015)는 검증 세트에 대한 사전 평가 없이 테스트 시간에 모델의 신뢰성을 결정할 수 있는 시나리오 최적화 프로그램이 $S{\displaystyle }$ ${\displaystyle S}$번만$$ 해결되는 알고리즘을 입증한다.^[8] 이는 최적화 프로그램을 해결함으로써 달성된다.

${\displaystyle \operatorname {arg\,min} _{p}\왼쪽\{h: {\hat {y}}(x^{(i)}-y^{{p}(i)}}{h,i=1,\ldots,N\right\}}$

where the interval predictor model center line ${\displaystyle {\hat {y}}_{p}(x)=({\overline {y}}_{p}(x)+{\underline {y}}_{p}(x))\times 1/2}$, and the model width ${\displaystyle h=({\overline {y}}_{$$p}(x)-{\underline{y}_{p}(x)\times$ 1/$2$ 이로 인해 IPM이 생성되어 동질성 불확실성으로 예측된다.

Sadeghi(2019)는 Campi(2015)의 비 컨벡스 시나리오 접근법을 확장하여 부정확한 데이터 집합의 반복성 불확실성으로 간격을 예측하는 더 깊은 신경 네트워크를 훈련할 수 있음을 보여준다.^[9] 이는 다음이 제공하는 최대 오류 손실 함수에 일반화를 제안함으로써 달성된다.

${\displaystyle {\mathcal{L}_{\text{max-error}=\max _{i}-{\hat {y}_{p}(x^{i)},}$

Campi가 제안한 최적화 프로그램(2015년)을 해결하는 것과 맞먹는다.

적용들

초기에는 시나리오 최적화가 강력한 제어 문제에 적용되었다.^[10]

크레스포(2015)와 (2021)는 공간 방사선 차폐 설계 및 시스템 식별에 구간 예측 변수 모델을 적용했다.^[12]

Patelli(2017), Faes(2019), Crespo(2018)에서는 구조신뢰성 분석 문제에 Interval Edvorator 모델이 적용됐다.^{[13] [5] [14]} Brandt(2017)는 해상 풍력터빈 자켓 하부구조의 피로 손상 추정에 구간 예측 모델을 적용한다.^[15]

Garatti(2019)는 Chebyshev 층(즉, 선형 ${\$recription에$$ 의해 장착된 함수 주위의 최소 축 층)이 데이터의 분포와 관련하여 신뢰성이 불변하는 특정 등급의 구간 예측 변수 모델에 속함을 입증했다.^[16]

소프트웨어 구현

PyIPM은 크레스포의 작품(2015년)의 오픈 소스 파이썬 구현을 제공한다.^[17] 오픈코산(OpenCOSSAN)은 크레스포의 작품(2015년)의 매트랩 구현을 제공한다.^[13]

참조