불확도정량화
Uncertainty quantification불확실성 정량화(UQ)는 계산 및 실제 세계 애플리케이션에서 양적 특성화와 불확실성 감소에 관한 과학이다. 시스템의 일부 측면이 정확히 알려져 있지 않은 경우 특정 결과가 얼마나 발생할 가능성이 있는지 판단하려고 한다. 예를 들면 다른 자동차와의 정면충돌 시 인체의 가속도를 예측하는 것이다: 속도가 정확히 알려졌더라도 개별 자동차 제조에 있어서의 작은 차이, 모든 볼트가 얼마나 단단하게 조여져 왔는지 등은 통계적 의미에서만 예측할 수 있는 다른 결과를 초래할 것이다.
자연과학과 공학의 많은 문제들 또한 불확실성의 원천으로 가득 차 있다. 컴퓨터 시뮬레이션에 대한 컴퓨터 실험은 불확실성 정량화의 문제를 연구하기 위한 가장 일반적인 접근법이다.[1][2][3][4]
원천
불확실성은 다양한 맥락에서 수학적 모델과 실험적인 측정을 입력할 수 있다. 불확실성의 원인을 분류하는 한 가지 방법은 다음을 고려하는 것이다.[5]
- 매개변수
- 이는 컴퓨터 모델(수학적 모델)에 대한 입력이지만 정확한 값이 실험자에게 알려져 있지 않고 물리적 실험에서 통제될 수 없거나 또는 통계적 방법으로 정확히 추정할 수 없는 모델 매개변수에서 비롯된다. 이것의 몇 가지 예로는 낙하하는 물체 실험에서 국부적 자유낙하 가속도, 공학에 대한 유한요소 분석에서 다양한 물질적 특성, 거시경제 정책 최적화 맥락에서의 곱셈 불확실성 등이 있다.
- 파라메트릭
- 이는 모형의 입력 변수의 변동성에서 비롯된다. 예를 들어, 제조 과정에서 작업물의 치수는 설계되고 지시된 것과 정확히 같지 않을 수 있으며, 이는 작업물의 성능에 변동성을 야기할 수 있다.
- 구조불확도
- 모델 불충분, 모델 편향 또는 모델 불일치로도 알려져 있는 이것은 문제의 기초 물리학에 대한 지식이 부족하기 때문에 발생한다. 모델이 거의 항상 현실과 근사치에 불과하다는 사실을 고려할 때, 실제 상황에 대해 수학적 모델이 얼마나 정확하게 참된 시스템을 설명하느냐에 따라 달라진다. 자유 낙하 모델을 사용하여 낙하 물체의 공정을 모델링하는 한 예가 있다. 항상 공기 마찰이 존재하기 때문에 모델 자체가 부정확하다. 이 경우 모델에 알 수 없는 파라미터가 없다고 해도 모델과 참물리학 사이에 여전히 불일치가 예상된다.
- 알고리즘
- 수치 불확도 또는 이산 불확도라고도 한다. 이 유형은 컴퓨터 모델의 구현당 수치 오류와 수치 근사치에서 온다. 대부분의 모델은 너무 복잡해서 정확히 해결할 수 없다. 예를 들어 유한요소법이나 유한차분법을 사용하여 부분미분방정식의 해법(숫자오차를 도입)을 근사하게 할 수 있다. 다른 예로는 수치적 구현에 필요한 근사치인 수치적 통합과 무한 총량 절단이 있다.
- 실험적인
- 관측 오차라고도 하며, 이는 실험 측정값의 변동성에서 기인한다. 실험 불확실성은 불가피하며 모든 입력/변수에 대해 정확히 동일한 설정을 사용하여 여러 번 측정을 반복하면 알 수 있다.
- 보간법
- 이는 컴퓨터 모델 시뮬레이션 및/또는 실험 측정에서 수집된 가용 데이터의 부족에서 비롯된다. 시뮬레이션 데이터나 실험 측정이 없는 다른 입력 설정의 경우 해당 반응을 예측하기 위해 보간 또는 외삽해야 한다.
알레토릭과 인식론
불확실성은 때때로 의료 적용에서 두드러지게 보이는 두 가지 범주로 분류된다.[6][7][8]
- 알레토릭
- 알레토릭 불확실성은 통계적 불확실성으로도 알려져 있으며, 동일한 실험을 실행할 때마다 달라지는 미지의 대표적이다. 예를 들어, 각 발사(동일한 가속도, 고도, 방향 및 최종 속도)를 정확히 복제하는 기계 활로 화살표는 화살표 축의 무작위적이고 복잡한 진동으로 인해 표적에 대한 동일한 지점에 모두 충격을 주지는 않을 것이며, 그 결과의 제거를 위해 충분한 지식을 결정할 수 없다. 충격 지점의 분산 여기서의 주장은 분명히 "할 수 없다"의 정의에 있다. 우리가 현재 이용할 수 있는 측정 장치로 충분히 측정할 수 없다고 해서 반드시 그러한 정보의 존재를 배제하는 것은 아니며, 이는 이러한 불확실성을 아래의 범주로 이동시킬 것이다. 알레토릭은 라틴 알레아 또는 주사위로부터 파생된 것으로, 운수 게임을 가리킨다.
- 인식불확도
- 인식론적 불확실성은 체계적 불확실성으로도 알려져 있으며, 원칙적으로는 알 수 있지만 실제로는 알 수 없는 것들 때문이다. 이는 측정이 정확하지 않거나, 모형이 특정 효과를 무시하거나, 특정 데이터가 의도적으로 숨겨져 있기 때문일 수 있다. 이러한 불확실성의 근원의 한 예는 지구 표면 근처의 중력 가속도를 측정하도록 설계된 실험에서의 드래그일 것이다. 일반적으로 사용되는 중력 가속도 9.8m/s²는 공기저항의 영향을 무시하지만, 그 물체에 대한 공기저항을 측정하여 실험에 접목시켜 중력가속 계산에서 발생하는 불확실성을 줄일 수 있다.
- 알레토르기와 인지적 불확실성의 복합적 발생 및 상호작용
- 알레토릭과 인식론적 불확실성은 또한 실험 매개변수가 알레토릭 불확실성을 보여주고 그러한 실험 매개변수가 컴퓨터 시뮬레이션에 입력될 때 단일 용어로 동시에 발생할 수 있다. 이때 불확실성을 계량화하기 위해, 예를 들어 가우스 프로세스 또는 다항식 혼돈 팽창과 같은 대리모형이 컴퓨터 실험에서 학습되는 경우, 이 대리모형은 실험 파라미터의 알레르토릭 불확실성에 의존하거나 상호작용하는 인식론적 불확실성을 나타낸다.[4] 그러한 불확실성은 더 이상 알레토릭 또는 인식론적 불확실성으로만 분류될 수는 없지만, 보다 일반적인 추론적 불확실성이다.
실제 적용에서는 두 가지 종류의 불확실성이 존재한다. 불확실성 정량화는 두 가지 유형의 불확실성을 개별적으로 명시적으로 표현하고자 한다. 알레르기의 불확실성에 대한 계량은 비교적 간단할 수 있는데, 여기서 전통적인 (수시론적) 확률은 가장 기본적인 형태다. 몬테카를로법과 같은 기법이 자주 사용된다. 확률 분포는 그 순간(가우스인의 경우, 일반적으로 임의적으로 높은 순서에 대한 모든 순간의 지식조차도 여전히 분포 함수를 고유하게 명시하지 않지만 평균과 공분산만으로 충분하다) 또는 최근에는 카루넨-로브와 다항식 혼돈 확대와 같은 기법으로 나타낼 수 있다. 인식론적 불확실성을 평가하기 위해, 시스템, 프로세스 또는 메커니즘의 (부족한) 지식을 이해하려고 노력한다. 인식론적 불확실성은 일반적으로 베이지안 확률의 렌즈를 통해 이해되며, 여기서 확률은 이성적인 사람이 특정 주장에 대해 어떻게 확신할 수 있는지를 나타내는 것으로 해석된다.
수학적 관점
수학에서 불확실성은 확률 분포의 측면에서 종종 특징지어진다. 그러한 관점에서 인식론적 불확실성은 관련 확률 분포가 무엇인지 확실하지 않다는 것을 의미하며, 알레토르적 불확실성은 확률 분포에서 추출한 랜덤 표본이 무엇인지 확실하지 않다는 것을 의미한다.
불확실성 대 변동성
기술 전문가들은 종종 불확실한 수량에 대해 "범위"를 추정하도록 요청 받는다. 변동성 범위 또는 불확실성 범위에 대한 요청을 받고 있는지 구별하는 것이 중요하다. 마찬가지로 모델러가 변동성 또는 불확실성의 모델을 구축하고 있는지, 그리고 관계가 있다면 그 관계를 파악하는 것이 중요하다.[9]
문제 유형
불확실성 정량화에는 크게 두 가지 유형의 문제가 있다. 하나는 불확실성의 전방 전파(계통 응답의 전반적인 불확실성을 예측하기 위해 모델을 통해 다양한 불확실성의 원천이 전파되는 경우)이고, 다른 하나는 모델 불확실성과 매개변수 불확실성의 역 평가(모드)이다.el 매개변수는 테스트 데이터를 사용하여 동시에 보정된다.) 이전의 문제에 대한 연구가 확산되었고 그것을 위해 대다수의 불확실성 분석 기법이 개발되었다. 반면에, 후자의 문제는 모델의 불확실성 정량화와 진정한 시스템 응답의 후속 예측이 강력한 시스템 설계에 큰 관심을 가지고 있기 때문에 엔지니어링 설계계에서 관심을 끌고 있다.
앞으로
불확실성 전파는 불확실한 입력에서 전파되는 시스템 출력의 불확실성을 계량화하는 것이다. 불확실성 출처에 열거된 모수적 변동성의 출력에 미치는 영향에 초점을 맞춘다. 불확실성 전파 분석의 대상은 다음과 같다.
- 출력의 저차 모멘트(예: 평균 및 분산)를 평가한다.
- 출력의 신뢰성을 평가한다. 이것은 일반적으로 시스템의 출력이 시스템의 성능과 밀접하게 관련되어 있는 신뢰성 공학에서 특히 유용하다.
- 출력의 전체 확률 분포를 평가한다. 이는 효용 계산에 완전한 분포를 사용하는 효용 최적화 시나리오에서 유용하다.
반비례
시스템에 대한 일부 실험 측정과 수학적 모델에서 나온 일부 컴퓨터 시뮬레이션 결과를 감안할 때, 역불확도 정량화는 실험과 수학적 모델 사이의 불일치(편향 보정이라고 함)를 추정하며, (ca)가 있을 경우 모델에 알려지지 않은 모수의 값을 추정한다.lled 파라미터 보정 또는 단순 보정). 일반적으로 이것은 전방 불확실성 확산보다 훨씬 더 어려운 문제지만, 일반적으로 모델 업데이트 과정에서 구현되기 때문에 매우 중요하다. 역불확도 계량에는 다음과 같은 몇 가지 시나리오가 있다.
치우침 보정 전용
치우침 보정은 모형의 불충분함, 즉 실험과 수학적 모형의 불일치를 정량화한다. 편향 보정을 위한 일반적인 모델 업데이트 공식은 다음과 같다.
where denotes the experimental measurements as a function of several input variables , denotes the computer model (mathematical model) response, 은(는) 첨가물 불일치 함수(일명 바이어스 함수)를 나타내며, 은(는) 실험 불확도를 나타낸다. The objective is to estimate the discrepancy function , and as a by-product, the resulting updated model is . A prediction confidence interval is provided with the updated model as the quantification o불확실성 f
파라미터 보정 전용
모수 교정은 수학 모델에서 하나 이상의 알려지지 않은 모수의 값을 추정한다. 교정용 제형을 업데이트하는 일반적인 모델은 다음과 같다.
where denotes the computer model response that depends on several unknown model parameters , and denotes the true values of the unknown parameters 실험 중에 목표는{\을(를 추정하거나, 참 매개변수 값에 대한 최선의 지식을 포괄하는 의 확률 분포를 도출하는 것이다.
바이어스 보정 및 파라미터 보정
하나 이상의 알 수 없는 매개변수를 가진 부정확한 모델을 고려하며, 모델 업데이트 공식은 다음과 같은 두 가지 요소를 결합한다.
그것은 가능한 모든 불확실성의 원천을 포함하는 가장 포괄적인 모델 업데이트 공식이며, 해결하는데 가장 많은 노력이 필요하다.
선택적 방법론
불확실성 수량화 문제를 해결하기 위한 많은 연구가 이루어졌지만, 그들 중 대다수가 불확실성 확산을 다루고 있다. 지난 10년에서 20년 동안, 역불확도 계량 문제에 대한 많은 접근법도 개발되었고 대부분의 중소형 문제에 유용한 것으로 입증되었다.
전진 전파
기존의 불확실성 전파 접근법에는 확률론적 접근법과 비확률론적 접근법이 포함된다. 불확실성 확산에는 기본적으로 다섯 가지 범주의 확률론적 접근법이 있다.[10]
- 시뮬레이션 기반 방법: 몬테카를로 시뮬레이션, 중요도 샘플링, 적응 샘플링 등
- 일반 대리모 기반 방법: 비제도적 접근법에서는 실험이나 시뮬레이션을 값싸고 빠른 근사치로 대체하기 위해 대리모형을 학습한다. 대리모 기반 방식도 완전히 베이시안 방식으로 채용할 수 있다.[4][11][12] 이러한 접근방식은 예를 들어 계산적으로 비용이 많이 드는 시뮬레이션과 같이 샘플링 비용이 엄청나게 높을 때 특히 강력하다는 것이 입증되었다.
- 로컬 확장 기반 방법: 테일러 시리즈, 섭동법 등 이러한 방법은 높은 비선형성을 나타내지 않는 비교적 작은 입력 변동성과 출력을 처리할 때 장점이 있다. 이러한 선형 또는 선형화된 방법은 불확실성 전파에 자세히 설명되어 있다.
- 기능 확장 기반 방법: Neumann 확장, 직교 또는 KLE(Karhunen-Loeve Expansion, KLE), 다항 혼돈 확장(PCE) 및 웨이브 확장(Wavelet Expansion)을 특별한 경우로 한다.
- 가장 가능성이 높은 포인트(MPP) 기반 방법: 1차 신뢰도 방법(FORM) 및 2차 신뢰도 방법(SORM)
- 수치 통합 기반 방법: 완전 요인 수치 통합(FFNI) 및 치수 감소(DR).
비확률론적 접근방법의 경우 구간 분석,[13] 퍼지 이론, 가능성 이론 및 근거 이론이 가장 널리 사용된다.
확률론적 접근방식은 의사결정 분석 이론과 일관성이 있기 때문에 공학 설계에서 불확실성 분석에 대한 가장 엄격한 접근방식으로 간주된다. 그 주춧돌은 통계 샘플링을 위한 확률밀도함수의 계산이다.[14] 이는 가우스 변수의 변환으로 얻을 수 있는 무작위 변수에 대해 엄격하게 수행될 수 있으며, 이는 정확한 신뢰 구간으로 이어진다.
역불확도
빈도수주의자
회귀 분석 및 최소 제곱 문제에서는 모수 추정치의 표준 오차를 쉽게 사용할 수 있으며, 신뢰 구간으로 확장할 수 있다.
베이시안
베이지안 프레임워크에는 역불확도 정량화를 위한 몇 가지 방법론이 존재한다. 가장 복잡한 방향은 편향 보정, 파라미터 보정 모두로 문제 해결을 목표로 하는 것이다. 그러한 문제들의 도전은 모델 부족과 매개변수 불확실성의 영향뿐만 아니라 컴퓨터 시뮬레이션과 실험의 데이터 부족도 포함한다. 일반적인 상황은 실험과 시뮬레이션에서 입력 설정이 같지 않다는 것이다. 또 다른 일반적인 상황은 실험에서 도출된 매개변수가 시뮬레이션에 입력된다는 것이다. 계산적으로 비용이 많이 드는 시뮬레이션을 위해서는 종종 가우스 프로세스나 다항식 혼돈 팽창과 같은 대리모형이 필요하며, 시뮬레이션에 가장 근접한 대리모형을 찾기 위한 역 문제를 정의해야 한다.[4]
모듈식 접근법
역불확도 정량화에 대한 접근방식은 모듈식 베이지안 접근방식이다.[5][15] 모듈형 베이지안 접근방식은 그 명칭을 4개 모듈 절차에서 유래한다. 현재 사용 가능한 데이터와 별도로 알 수 없는 모수의 사전 분포를 할당해야 한다.
- 모듈 1: 컴퓨터 모델을 위한 가우스 프로세스 모델링
시뮬레이션 결과 부족에 따른 문제를 해결하기 위해 컴퓨터 모델을 가우스 프로세스(GP) 모델로 교체한다.
어디에,
은 (는) 입력 변수의 치수, 은 (는) 알 수 없는 파라미터의 치수다. While is pre-defined, , known as hyperparameters of the GP model, need to be estimated via maximum likelihood est이미징(MLE). 이 모듈은 일반화된 크라이깅 방법으로 간주할 수 있다.
- 모듈 2: 불일치 기능에 대한 가우스 프로세스 모델링
첫 번째 모듈과 마찬가지로 불일치 기능은 GP 모델로 대체된다.
어디에,
Together with the prior distribution of unknown parameters, and data from both computer models and experiments, one can derive the maximum likelihood estimates for . A같은 시간 모듈 1의 도 업데이트된다.
- 모듈 3: 알 수 없는 파라미터의 후방 분포
베이지스의 정리는 미지의 매개변수의 후분포를 계산하는 데 적용된다.
여기서 은(는) 이전 모듈의 모든 고정 하이퍼 매개 변수를 포함한다.
- 모듈 4: 실험 반응 및 불일치 함수의 예측
풀 어프로치
완전 베이지안식 접근방식은 알 수 없는 파라미터 {\{\에 대한 이전 버전뿐만 아니라 다른 하이퍼 파라미터 에 대한 이전 버전도 할당해야 한다. 이 절차는 다음 단계를 따른다.[16]
- 후분포 , ∣ {\
- 을 (를) 밖으로 하고 p ∣ ∣ 을를) 얻으십시오. 이 한 번의 작업으로 교정이 완료됨;
- 실험 반응 및 불일치 함수의 예측.
그러나 이 접근법에는 다음과 같은 상당한 단점이 있다.
- 대부분의 경우 data p}}},{\data}}}}}}}}}}}은 매우 난치한 기능이다그러므로 통합이 문제가 많이 발생한다. 더욱이 다른 하이퍼 파라미터 에 대한 이전 값을 신중하게 선택하지 않으면 수치 통합의 복잡성은 더욱 증가한다.
- 예측 단계에서는 (최소한 시스템 응답의 기대값을 포함해야 하는) 예측도 수치적 통합이 필요하다. 마르코프 체인 몬테 카를로(MMC)는 종종 통합을 위해 사용된다. 그러나 그것은 계산적으로 비싸다.
완전한 베이시안 접근법은 엄청난 양의 계산을 필요로 하며, 가장 복잡한 모델링 상황을 다루는데 아직 실용적이지 않을 수도 있다.[16]
알려진 문제
불확실성 전파를 위한 이론과 방법론은 역불확도 계량화에 비해 훨씬 잘 확립되어 있다. 후자의 경우 다음과 같은 몇 가지 어려움이 해결되지 않은 채로 남아 있다.
- 차원성 문제: 계산 비용은 문제의 차원성, 즉 입력 변수 수 및/또는 알 수 없는 파라미터 수에 따라 극적으로 증가한다.
- 식별 가능성 문제:[17] 알 수 없는 매개변수와 불일치 함수의 여러 조합은 동일한 실험 예측을 산출할 수 있다. 따라서 매개변수의 다른 값은 구별/식별할 수 없다. 이 문제는 베이지안 접근방식에서 우회되며, 여기서 그러한 조합은 평균화된다.[4]
랜덤 이벤트
6면체 주사위 하나를 굴리면서도 1면체에서 6면체까지 얻을 확률은 같다. 90% 범위 확률의 구간은 전체 출력 범위를 확장한다. 주사위를 5개 굴리고 결과의 합을 관찰하면서 88.244%의 신뢰 구간 폭은 범위의 46.15%이다. 주사위 굴리기 횟수가 많은 범위에 비해 간격이 좁아진다. 우리의 실제 사건은 수많은 확률론적 사건에 영향을 받고 모든 확률론적 사건의 영향은 높은 적용범위 확률을 좁은 간격으로 예측될 수 있다. 대부분의 경우.[18]
참고 항목
참조
- ^ Sacks, Jerome; Welch, William J.; Mitchell, Toby J.; Wynn, Henry P. (1989). "Design and Analysis of Computer Experiments". Statistical Science. 4 (4): 409–423. doi:10.1214/ss/1177012413. JSTOR 2245858.
- ^ Iman, Ronald L.; Helton, Jon C. (1988). "An Investigation of Uncertainty and Sensitivity Analysis Techniques for Computer Models". Risk Analysis. Wiley. 8 (1): 71–90. doi:10.1111/j.1539-6924.1988.tb01155.x. ISSN 0272-4332.
- ^ Walker, W.E.; Harremoës, P.; Rotmans, J.; van der Sluijs, J.P.; van Asselt, M.B.A.; Janssen, P.; Krayer von Krauss, M.P. (2003). "Defining Uncertainty: A Conceptual Basis for Uncertainty Management in Model-Based Decision Support". Integrated Assessment. Swets & Zeitlinger Publishers. 4 (1): 5–17. doi:10.1076/iaij.4.1.5.16466. ISSN 1389-5176.
- ^ a b c d e Ranftl, Sascha; von der Linden, Wolfgang (2021-11-13). "Bayesian Surrogate Analysis and Uncertainty Propagation". Physical Sciences Forum. 3 (1): 6. doi:10.3390/psf2021003006. ISSN 2673-9984.
- ^ a b Kennedy, Marc C.; O'Hagan, Anthony (2001). "Bayesian calibration of computer models". Journal of the Royal Statistical Society, Series B (Statistical Methodology). 63 (3): 425–464. doi:10.1111/1467-9868.00294.
- ^ Der Kiureghian, Armen; Ditlevsen, Ove (2009). "Aleatory or epistemic? Does it matter?". Structural Safety. 31 (2): 105–112. doi:10.1016/j.strusafe.2008.06.020.
- ^ Matthies, Hermann G. (2007). "Quantifying Uncertainty: Modern Computational Representation of Probability and Applications". Extreme Man-Made and Natural Hazards in Dynamics of Structures. NATO Security through Science Series. pp. 105–135. doi:10.1007/978-1-4020-5656-7_4. ISBN 978-1-4020-5654-3.
- ^ Abhaya Indrayan, Medical Biostatistics, Second Edition, Chapman & Hall/CRC Press, 2008, 페이지 8, 673
- ^ 베그, 스티브 H, 매튜 B. 웨일스, 그리고 레이다 B. 브래트볼드. "불확실 vs. 변동성: 차이점은 무엇이며 왜 그것이 중요한가?"SPE 탄화수소 경제 및 평가 심포지엄. 2014년 OnePetro.
- ^ Lee, S. H.; Chen, W. (2008-05-09). "A comparative study of uncertainty propagation methods for black-box-type problems". Structural and Multidisciplinary Optimization. Springer Science and Business Media LLC. 37 (3): 239–253. doi:10.1007/s00158-008-0234-7. ISSN 1615-147X.
- ^ Ranftl, Sascha; Melito, Gian Marco; Badeli, Vahid; Reinbacher-Köstinger, Alice; Ellermann, Katrin; von der Linden, Wolfgang (2019-12-31). "Bayesian Uncertainty Quantification with Multi-Fidelity Data and Gaussian Processes for Impedance Cardiography of Aortic Dissection". Entropy. 22 (1): 58. doi:10.3390/e22010058. ISSN 1099-4300. PMC 7516489. PMID 33285833.
- ^ Ranftl, Sascha; Müller, Thomas Stephan; Windberger, Ursula; von der Linden, Wolfgang; Brenn, Günter (2021-05-03), Data and codes for 'A Bayesian Approach to Blood Rheological Uncertainties in Aortic Hemodynamics', Zenodo, doi:10.5281/zenodo.5237189, retrieved 2022-01-12
- ^ Jaulin, L.; Kieffer, M.; Didrit, O.; Walter, E. (2001). Applied Interval Analysis. Springer. ISBN 1-85233-219-0.
- ^ Arnaut, L. R. 잔향 챔버의 측정 불확도 - I. 통계 샘플 기술 보고서 TQE 2, 2차 개정, 3.1절, 국립 물리 실험실, 2008.
- ^ Mark C. Kennedy, Anthony O'Hagan, Sheffield, University of Sheffield, 컴퓨터 모델의 베이시안 교정에 대한 추가 세부 정보: 2000년 1–13,
- ^ a b Bayarri, M. J.; Berger, J. O.; Liu, F. (2009-03-01). "Modularization in Bayesian analysis, with emphasis on analysis of computer models". Bayesian Analysis. Institute of Mathematical Statistics. 4 (1): 119–150. doi:10.1214/09-ba404. ISSN 1936-0975.
- ^ Arendt, Paul D.; Apley, Daniel W.; Chen, Wei; Lamb, David; Gorsich, David (2012-09-28). "Improving Identifiability in Model Calibration Using Multiple Responses". Journal of Mechanical Design. ASME International. 134 (10): 100909. doi:10.1115/1.4007573. ISSN 1050-0472.
- ^ Kabir, H. M. Dipu; Khosravi, Abbas; Nahavandi, Saeid; Kavousi-Fard, Abdollah (2021). "Partial Adversarial Training for Neural Network-Based Uncertainty Quantification". IEEE Transactions on Emerging Topics in Computational Intelligence. Institute of Electrical and Electronics Engineers (IEEE). 5 (4): 595–606. doi:10.1109/tetci.2019.2936546. ISSN 2471-285X.