가능한 모든 대안의 모든 쌍별 순위

Potentially all pairwise rankings of all possible alternatives

PAPRICA(Possible All Pairwise RanKings of All Possible Alternatives)는 의사결정 소프트웨어 및 컨조인트 분석 제품 1000minds 및 MeenyMo에 의해 구현되는 멀티 기준 의사결정(MCDM)[4][5][6] 또는 컨조인트 [1][2][3]분석 방법입니다.

PAPRIKA 방법은 사용자가 쌍으로 (순위를 매겨) 대안을 비교함으로써 당면한 의사결정이나 선택에 대한 기준이나 속성의 상대적 중요도와 관련하여 자신의 선호도를 표현하는 것에 기초한다.

MCDM 어플리케이션에서 PAPRIKA는 의사결정자가 상대적인 중요성을 나타내는 의사결정 기준의 가중치를 결정하기 위해 사용됩니다.응용 프로그램에 따라, 이러한 가중치는 순위를 매기거나, 우선순위를 매기거나, 대안 중 하나를 선택하는 데 사용됩니다.

결합 분석 애플리케이션에서, PAPRIKA는 제품이나 다른 관심 대상(즉, 선택 모델링, 결합 분석 및 이산 선택)[2][3]을 특징짓는 속성의 상대적 중요성을 나타내는 '부품 가치 효용'(즉, 무게)을 추정하기 위해 소비자 또는 다른 이해관계자와 함께 사용된다.

적용들

PAPRIKA 방법은 의사결정 소프트웨어 및 컨조인트 분석 제품 1000minds와 [4][5][6]MeenyMo에 의해 구현됩니다.

다중 기준 의사결정 또는 결합점 분석에 이 방법을 사용하는 영역의 예는 다음과 같다(1000minds 어플리케이션 참조).

추가 다중 속성 값 모델

PAPRIKA 방법은 성능 카테고리가[69] 있는 가법적 다중 속성 값 모델('포인트', '점수', '포인트 카운트' 또는 '선형' 시스템 또는 모델)에 특히 적용됩니다.다음 설명은 대부분 다기준 의사결정의 관점에서 제시된다.결합점 분석과 관련하여 유사한 설명이 가능하지만 여기에 제시되지는 않습니다.

이름에서 알 수 있듯이 성과 카테고리가 있는 추가 다중 속성 가치 모델(이하 단순히 '가치 모델'이라 한다)은 여러 기준(또는 '속성')으로 구성되며, 각 기준 내에 두 개 이상의 성과 범주(또는 '수준')가 추가 결합됩니다.

각 기준의 각 범주는 기준의 상대적 중요도('가중치')와 달성 정도를 모두 반영하기 위해 의도된 일정 수의 포인트 가치가 있다.고려 중인 각 대안에 대해, 포인트 값은 총 점수를 얻기 위해 기준 전체에 걸쳐 합산된다(따라서, 이것들은 가산 가치 모델이다). 이에 따라 대안은 서로에 대해 우선 순위를 매기거나 순위를 매기거나(또는 다른 분류된다.

따라서 가치 모델(또는 '점수 시스템')은 단순히 당면한 의사결정 문제에 대한 기준(및 범주)과 점 값의 일람표이다. 예를 들어, 아래 섹션의 표 1을 참조한다.이 '포인트 시스템' 표현은 정규화된 기준 가중치와 '단일 기준 값 함수'를 포함하는 보다 전통적인 접근법에 해당하며, 기준의 상대적 중요성을 나타내고 전체적으로 값을 결합한다(가중합 모델 참조).가중치 없는 포인트 시스템 표현은 사용하기 쉽고 아래의 PAPRIKA 방법을 설명하는 데 도움이 됩니다.

점제 적용 예

포인트제 적용의 예로는 입사지원자의 순위를 매기는 것이 있다.

'Maartje', 'Michelle', 'Paulien'이 아래 표 1의 가치 모델을 사용하여 순위를 매기는 세 가지 직업 후보라고 상상해 보십시오.5가지 기준(표 1 참조)에 따라 다음과 같이 평가한다고 가정합니다.

  • Maartje의 교육은 훌륭하고, 5년 이상의 경력을 가지고 있으며, 그의 레퍼런스, 사교성, 열정은 모두 좋지 않습니다.
  • 미셸의 학력은 형편없고, 경력도 2년에서 5년 정도이며, 그의 레퍼런스, 사교성, 열정도 모두 좋다.
  • Paulien은 학력이 좋고, 2년 미만의 경력을 가지고 있으며, 레퍼런스, 사교성, 열정 모두 좋습니다.

표 1: 구직자의 순위를 매기기 위한 가치 모델(포인트제)의 예

기준 카테고리 포인트
교육 불쌍한. 0
좋아요. 8
아주 좋아요. 20
훌륭합니다. 40
경험하다 2년 미만 0
2 ~ 5년 3
5년 이상 10
레퍼런스 불쌍한. 0
좋아요. 27
사교성 불쌍한. 0
좋아요. 10
열정 불쌍한. 0
좋아요. 13

Maartje, Michelle 및 Paulien에 대한 설명에 해당하는 표 1의 포인트 값을 합산하면 총 점수를 얻을 수 있습니다.

  • 마아르제의 총점 = 40 + 10 + 0 + 0 + 0 = 50점
  • 미셸의 총점 = 0 + 3 + 27 + 10 + 13 = 53점
  • 파울리앙의 총점 = 8 + 0 + 27 + 10 + 13 = 58점

분명히, 파울리앙이 총점 1위이다.따라서 가치 모델(그리고 Maartje, Michelle, Paulien이 어떻게 평가되었는지)에 따르면, Paulien이 그 일에 가장 적합한 후보입니다.(잠재적으로 지원할 수 있는 다른 후보들에 비해 파울리앙은 40+10+27+13=100점 만점에 해당하는 최고의 후보자들만큼 훌륭하지 않다.)

일반적으로, 주어진 가치 모델에 대한 기준과 범주를 지정하면, 과제는 의사결정자에게 기준과 범주의 상대적 중요성을 정확하게 반영하는 포인트 값을 도출하는 것이다.유효하고 신뢰할 수 있는 포인트 값을 도출하는 것은 가치 모델을 작성할 때 가장 어려운 작업이라고 할 수 있습니다.PAPRIKA 방법은 대안의 쌍별 순위를 사용하여 표현된 의사결정자의 선호도에 따라 이를 수행한다.

PAPRIKA 방식의 개요

기사의 첫머리에서 언급되었듯이, PAPRIKA는 '가능성이 있는 모든 대안의 모든 쌍별 RanKings'의 (부분적) 약어이다.다음 설명은 이 이름의 유래를 명확히 할 것입니다.

PAPRIKA 방법은 의사결정자에게 알려진 특정 대안 순위를 매기기 위한 가치 모델(예: 위의 직무 후보 예)과 시간이 지남에 따라 변화하는 풀에서 가정적으로 가능한 모든 대안 순위를 매기기 위한 모델(예: 의료 서비스를 제공하는 환자)과 관련이 있다.다음 설명은 이 두 번째 유형의 응용 프로그램이 더 일반적이기 때문에 중심적으로 설명합니다.

PAPRIKA는 서로에 대한 대안의 모든 쌍별 순위를 알 수 있을 때(그리고 순위가 일치할 경우) 주어진 가치 모델로 대표되는 모든 가능한 대안의 전체 순위, 즉 기준에 대한 범주의 모든 가능한 조합이 정의된다는 기본 원칙에 기초한다.

(유사적으로 도시에 사는 모든 사람을 가장 어린 사람부터 가장 나이가 많은 사람까지 순위를 매기고 싶다고 가정해 봅시다.각 개인이 연령에 대해 다른 모든 사람에 대해 어떻게 쌍으로 순위가 매겨지는지 알고 있다면(즉, 각 가능한 한 쌍에 대해) 두 사람 중 누가 젊은지, 또는 그들이 같은 나이인지 식별하면 가장 어린 사람부터 가장 나이가 많은 사람까지 도시 인구의 전체 순위를 산출할 수 있습니다.)

그러나 가치 모델에 포함된 기준과 범주의 수에 따라 가능한 모든 대안의 쌍별 순위 수는 잠재적으로 수백만 또는 수십억이다.물론, 이러한 쌍별 순위의 대부분은 쌍 중 하나의 대안에 대해 더 높은 범주가 있고 다른 기준에는 '지배적 쌍'으로 알려진 다른 대안에 비해 더 낮은 범주가 없기 때문에 자동으로 해결된다.

그러나 이는 여전히 수백만 또는 수십억 개의 '지배되지 않은 쌍' 즉, 한 쌍이 적어도 하나의 기준에 대해 상위 범주를 가지며 다른 대안보다 적어도 한 가지 다른 기준에 대해 하위 범주를 가지는 대안 쌍으로 남아 있으므로, 대안은 쌍으로 순위가 매겨져야 한다.이전 섹션의 직업 후보 순위를 매기는 예와 관련하여, 예를 들어, 한 쌍의 사람은 고학력자이지만 경험이 없는 반면, 다른 한 명은 교육받지 못했지만 경험이 풍부한 사람이고, 따라서 이 쌍의 순위를 매기기 위해서는 판단이 필요하다.

n개의 가능한 대안에 대해 n(n-1)/2개의 쌍별 순위가 있습니다.예를 들어, 각 기준 내에 8개의 기준과 4개의 범주가 있으므로8 4 = 65,536개의 가능한 대안이 있는 값 모델의 경우 65,536 x 65,535 / 2 = 2,450,880개의 쌍으로 정렬된 순위가 있습니다.지배적인 99,934,464쌍을 제거한 후에도 여전히 지배적이지 않은 2,047,516쌍이 순위를 [1]매긴다.확실히, 이 2조의 랭킹은 20억이 넘습니다.특별한 방법 없이는 인간적으로 불가능합니다.

PAPRIKA 방법은 의사결정자가 수행해야 하는 쌍별 순위 수를 최소로 유지함으로써 이 '불가능성' 문제를 해결한다. 즉, 잠재적으로 수백만 또는 수십억 개의 비지배 쌍 중 극히 일부만 유지되도록 함으로써 의사결정자의 부담을 최소화하고 방법을 실행할 수 있다.PAPRIKA는 의사결정자에 의해 명시적으로 순위가 매겨진 각 비지배적 쌍에 대해 의사결정자가 수행한 쌍별 순위 수를 최소한으로 유지하고, 이와 다른 명시적으로 순위가 매겨진 쌍의 결과로서 암묵적으로 순위가 매겨진 모든 비지배적 쌍을 식별(및 제거)한다.이 방법의 효율성의 기본은 아래의 간단한 시연에서 설명한 바와 같이 가법적 가치 모델의 전달성 특성 적용이다.

PAPRIKA 방법은 의사결정자가 한 번에 단 두 가지 기준(실제로 다른 모든 기준의 범주는 쌍으로 동일)에 대해 정의된 비지배적 쌍의 순위를 매기는 것으로 시작한다.취업 지원자의 순위를 매기는 예에 대해서는, 「교육은 저조하지만, 5년 이상의 경험이 있는 사람과, 2년 이하의 경험이 있는 사람, 어느 쪽을 채용하고 싶은가」(그림 참조)를 들 수 있다.re 1)

그림 1: 쌍으로 정렬된 질문의 예(1000minds의 스크린샷)
Example pairwise-ranking question for PAPRIKA decision-making method

의사결정자가 한 쌍의 순위를 매길 때마다(위의 예와 같이), 암묵적으로 결과로서 순위가 매겨진 모든 비지배적인 쌍이 식별되어 폐기됩니다.한 번에 단 두 가지 기준으로 정의된 비지배적 쌍의 순위를 매긴 후, 의사결정자가 더 많은 기준을 가진 쌍(즉, 세 가지 기준, 네 가지 기준, 다섯 가지 기준 등)에 따라 잠재적으로 모든 비지배적 쌍의 순위를 매길 때까지 계속하기로 선택한 경우(언제든지 중단할 수 있다).

따라서 모든 가능한 대안의 잠재적 모든 쌍별 RanKings(따라서 PAPRIKA 약자)는 (1) 지배적인 쌍(주어진) 또는 (2) 의사결정자에 의해 명시적으로 순위가 매겨진 비지배적인 쌍 또는 (3) 지배적이지 않은 쌍(collaries) 중 하나로 식별된다.명시적으로 순위가 매겨진 쌍에서 선형 프로그래밍을 통해 포인트 값(가중치)을 얻습니다. 선형 프로그램에 대한 다중 솔루션이 가능하지만 결과 포인트 값은 모두 동일한 대체 항목의 전체 순위를 재현합니다.

PAPRIKA의 사용 시뮬레이션에 따르면 의사결정자가 한 번에 단 두 가지 기준에 대해 정의된 비지배적 쌍의 순위를 매긴 후 중단하는 경우, 가능한 모든 대안의 결과적인 전체 순위는 모든 비지배적 쌍의 경우 의사결정자의 '참' 전체 순위와 매우 높은 상관관계가 있다.순위가 [1]매겨졌다.

따라서 대부분의 실질적인 목적을 위해 의사결정자는 3개 이상의 기준에 따라 정의된 쌍의 순위를 매길 필요가 없을 것으로 보이며, 따라서 의사결정자의 부담이 감소한다.예를 들어, 8개의 기준과 4개의 범주(및 순위를 매길 2,047,516개의 지배되지 않은 쌍)를 가진 가치 모델에 대해 약 95개의 명시적 쌍별 순위가 필요하며, 5개의 기준과 각각 3개의 범주가 있는 모델에 대해서는 25개의 쌍별 순위가 필요하다.[1]앞서 언급한 PAPRIKA의 실제 적용에 따르면 의사결정자는 50쌍 이상, 최대 100쌍까지 비교적 빠르게 순위를 매길 수 있으며 이는 대부분의 애플리케이션에 충분하다는 것을 알 수 있다.

이론적 선행 요소

PAPRIKA 방법의 가장 가까운 이론적 선행은 마케팅 [71]연구의 Adaptive Conjoint Analysis의 선구자인 Pairwise Trade-off [70]Analysis입니다.PAPRIKA 방법과 마찬가지로 Pairwise Trade-off Analysis는 의사결정자에 의해 명시적으로 순위가 매겨진 비지배적 쌍이 암묵적으로 다른 비지배적 쌍의 순위를 매기기 위해 사용될 수 있다는 생각에 기초한다.그러나 쌍별 트레이드오프 분석은 암묵적으로 순위가 매겨진 쌍을 체계적으로 식별하는 방법이 부족했기 때문에 1970년대 말에 중단되었다.

ZAPROS 방법(러시아어로 '기준에 가까운 폐쇄 절차'를 의미함)[72]도 제안되었다. 그러나 두 가지 기준에 따라 정의된 모든 비지배적 쌍의 순위 매김과 관련하여 "전체 정보를 [73]얻으려고 시도하는 것은 효율적이지 않다."이 글에서 설명한 바와 같이 PAPRIKA 방식은 이 효율 문제를 해결합니다.

PAPRIKA 방법의 간단한 시연

PAPRIKA 방법은 'a', 'b', 'c'로 표시된 세 가지 기준과 각 기준 내의 두 가지 범주인 '1'과 '2'로 표시된 값 모델의 기준에서 포인트 값(가중치)을 결정하는 간단한 예를 통해 쉽게 입증할 수 있다. 여기서 2는 상위 [1]범주이다.

이 가치 모델의 6점 값(각 기준에 대해 2개)은 변수 a1, a2, b2, c1, c2(a2 > a1, b2 > b1, c2 > c1) 및 가능한 8개의 대안(2 = 8)으로3 기준 222, 221, 212에 대한 범주의 순서 3배로 나타낼 수 있다.이 8가지 대안과 총점 방정식은 (아직 알려지지 않은) 포인트 값에 해당하는 변수를 단순히 더함으로써 도출된 것으로 표 2에 나열되어 있다.

비지배쌍은 '221 vs (대) 212' 또는 총점방정식의 관점에서 'a2 + b2 + c1 vs a2 + b1 + c2' 등으로 표현된다.[호출한다] [비지배쌍은 적어도 하나의 기준에 대해 상위 카테고리와 ot에 대해 하위 카테고리로 특징지어지는 대안의 쌍이다.다른 대안보다 그녀의 기준이 더 높기 때문에 대안에 대한 판단이 필요하다.반대로,'dominated 쌍의(예를 들어 121vs111– a1+b2+c1 vsa1+b1+c1에 해당하는)에서 그 대안은 본질적으로 쌍으로. 적어도 하나의 기준에 대해 보다 높은 범주와 다른 기준( 오고 있기를 하단 지점 값이 무엇인지 주어진 a2을 때문에, a1, b2>b1과 c2>c1, pairwise r.위에 올랐다wanking항상 똑같을 거야)]

이 모델은 의사결정자가 선호하는 8가지 대안의 순위를 실현하기 위해 6개 포인트 가치 변수(a1, a2, b1, b2, c1, c2)의 값을 결정하는 것을 포함한다.

많은 독자들에게 이 단순한 가치 모델은 아마도 대부분의 사람들이 공감할 수 있는 예를 들어 (a) 교육, (b) 경험, (c) 참고 자료로 구성된 3가지 기준으로 구성된 구직 지원자의 순위를 매기는 모델, 즉 각각 두 가지 '성과' 범주, 즉 (1) 형편없음 또는 (2) 좋은 것을 고려함으로써 더 구체화될 수 있을 것이다.(이것은 기사 앞부분의 표 1에 기재되어 있는 가치 모델의 간략화 버전입니다).

따라서, 이 모델의 8가지 가능한 대안은 가정적으로 지원할 수 있는 후보자의 '유형'(또는 프로필)이라고 생각할 수 있다.예를 들어, '222'는 세 가지 기준을 모두 잘하는 후보, '221'은 교육과 경험을 잘하지만 참고문헌은 잘 못하는 후보, '212'는 교육, 경험, 참고문헌을 잘 하는 3분의 1 등이다.

마지막으로, 지배되지 않는 쌍에 관해서는, 예를 들면, 221 대 212는, 좋은 경험과 좋지 않은 레퍼런스를 가지는 후보 221을 나타내고 있는 반면, 212는 반대의 특징을 가지고 있다(그리고 둘 다 좋은 교육을 받고 있다).따라서, 어떤 후보가 더 나은지 궁극적으로 참조에 대한 경험의 상대적 중요성과 관련하여 의사결정자의 선호도에 달려 있다.

표 2: 8가지 가능한 대안과 총점 방정식

대안 총점 방정식
222 a2 + b2 + c2
221 a2 + b2 + c1
212 a2 + b1 + c2
122 a1 + b2 + c2
211 a2 + b1 + c1
121 a1 + b2 + c1
112 a1 + b1 + c2
111 a1 + b1 + c1

지배되지 않는 쌍의 식별

PAPRIKA 방법의 첫 번째 단계는 지배되지 않는 쌍을 식별하는 것입니다.단 8개의 대안으로 이 모든 것을 쌍으로 비교하고 지배적인 쌍을 폐기함으로써 이를 실현할 수 있습니다.

이 간단한 접근방식은 그림 2의 매트릭스로 나타낼 수 있습니다.그림 2에서는 8가지 가능한 대안(굵은 글씨)이 왼쪽 아래 및 위쪽을 따라 나열되어 있습니다.왼쪽의 각 대안은 두 가지 대안 중 어느 쪽이 상위인지와 관련하여 상단의 각 대안과 쌍으로 비교된다(즉, 이 예에서는 어떤 후보가 그 일에 더 바람직하다).모자(^)가 있는 셀은 지배적인 쌍을 나타내며(판단이 필요하지 않은 경우), 빈 셀은 중심 대각선(각 대안 쌍으로 순위가 매겨진 경우) 또는 비지배적인 쌍을 포함하는 비어 있지 않은 셀의 역(판단이 필요한 경우)이다.

그림 2: 8개의 가능한 대안을 쌍으로 비교하여 식별된 지배적이지 않은 쌍(굵은 글씨)

대 222 221 212 122 112 121 211 111
222 ^ ^ ^ ^ ^ ^ ^
221 (i) b2 + c1 vs b1 + c2 (ii) a2 + c1 대 a1 + c2 4 a2 + b2 + c1 vs a1 + b1 + c2 ^ ^ ^
212 3) a2 + b1 대 a1 + b2 ^ 5 a2 + b1 + c2 vs a1 + b2 + c1 ^ ^
122 ^ ^ 6 a1 + b2 + c2 vs a2 + b1 + c1 ^
112 (*i) b1 + c2 vs b2 + c1 (*ii) a1 + c2 vs a2 + c1 ^
121 (*ii) a1 + b2 vs a2 + b1 ^
211 ^
111

그림 2: ^는 지배적인 쌍을 나타냅니다.지배적이지 않은 쌍은 로마 숫자로 표시되며, 별표가 있는 세 쌍은 (i)-(iii) 쌍이 중복됩니다.

그림 2에 요약된 바와 같이 지배적이지 않은 9개의 쌍(로마 숫자로 표시됨)이 있습니다.그러나 쌍에 공통되는 변수가 '취소'된 후에는 세 개의 쌍이 중복됩니다(예: 쌍 *i는 쌍 i의 복제 등).따라서 6개의 고유한 비지배 쌍이 있습니다(그림 2에 별표가 없는 경우, 후술).

지배적이지 않은 쌍에 공통되는 변수의 취소는 다음과 같이 설명할 수 있다.예를 들어 대안 121, 112를 비교할 때 a1+b2+c1과 a1+b1+c2의 양변에서 a1을 감산할 수 있다.마찬가지로 221과 212를 비교할 때 a2 + b2 + c1 대 a2 + b1 + c2의 양쪽에서 a2를 뺄 수 있습니다.두 쌍의 경우 모두 동일한 '취소됨' 형식이 됩니다. b2 + c1 vs b1 + c2.

형식적으로, 이러한 감산은 가법적 가치 모델의 '[74]공동 요인' 독립성을 반영한다. 즉, 지배되지 않는 쌍의 순위는 하나 이상의 기준에서 동률 순위와 독립적이다.통지적으로 b2 + c1 vs b1 + c2와 같이 취소된 형태의 비지배적 쌍은 _21 'vs' _12 – 즉, 식별된 기준에 대한 동일한 범주를 의미한다.

요약하면, 가치 모델의 6개의 비지배 페어를 다음에 나타냅니다.

(i) b2 + c1 vs b1 + c2
(ii) a2 + c1 대 a1 + c2
3) a2 + b1 대 a1 + b2
4 a2 + b2 + c1 vs a1 + b1 + c2
5 a2 + b1 + c2 vs a1 + b2 + c1
6 a1 + b2 + c2 vs a2 + b1 + c1

과제는 의사결정자가 가능한 한 가장 적은 쌍별 순위를 수행해야 한다는 목표(따라서 의사결정자의 부담을 최소화함으로써)로 이들 6개 비지배 쌍의 순위를 매기는 것이다.

지배되지 않는 쌍의 순위를 매기고 암묵적으로 순위가 매겨진 쌍의 식별

두 가지 기준만 있는 지배되지 않은 쌍은 본질적으로 의사결정자가 더 많은 기준을 가진 쌍에 대해 쌍으로 순위를 매기는 것이 가장 덜 인지적으로 어렵다.따라서 여기서 임의로 쌍(i) b2 + c1 vs b1 + c2로 시작하는 경우, 의사결정자는 " _21과 _12 중 어느 쪽을 선호합니까? (기준 a에서 동일하다면) 아니면 둘 사이에 무관심합니까?"라고 묻습니다.다른 말로 하면, 이 선택은 경험과 추천서가 좋지 않은 후보와 경험이 부족하고 추천서가 좋은 후보 중 하나이며, 다른 모든 것은 마찬가지이다.

의사결정자가 다음과 같이 대답한다고 가정하자: "나는 _21을 _12보다 선호한다"(즉, 낮은 경험과 좋은 참조보다 좋은 경험과 나쁜 참조가 선호된다).이 선호도는 총점 방정식의 관점에서 b2 + c1 > b1 + c2에 해당하는 '_21 __12'로 나타낼 수 있다. 여기서 '''와 '''(나중에 사용됨)는 총점 방정식의 일반적인 관계인 '>'와 '='에 해당하는 엄격한 선호도와 무관심을 나타낸다.

PAPRIKA 방법의 중심은 명시적으로 순위가 매겨진 쌍의 결과로서 암묵적으로 순위가 매겨진 모든 비지배적 쌍의 식별이다.따라서 a2 > a1(즉, 좋은 교육 poor 나쁜 교육)이 주어졌을 때, (i) b2 + c1 > b1 + c2 (iv) (그림2 참조)는 a2 + b2 + c1 > a1 + b1 + c2로 순위가 매겨지는 것이 분명하다.이 결과는 (추가) 가치 모델의 이동성 특성을 반영한다.구체적으로는 221)121(우위에 의한) 및 121112112(즉, 위와 같은 쌍 i_21__12)는 (iv)221112112를 의미하며, 212112112 및 22121212는 221112112를 의미한다.

다음으로 쌍 (ii) a2 + c1 vs a1 + c2에 대응하여 의사결정자에게 "1_2와 2_1 중 어느 쪽을 선호합니까(기준 b에서 동일한 경우), 아니면 둘 사이에 무관심합니까?"라고 질문한다고 가정합니다.다시 말해, 이 선택은 교육 수준이 낮고 추천서가 좋은 후보와 좋은 교육 수준과 추천서가 낮은 후보 사이에서 이루어지며, 다른 후보들은 모두 마찬가지이다.

의사결정자가 "나는 2_1보다 1_2를 선호한다"고 답했다고 가정해 보자(즉, 좋은 교육과 나쁜 레퍼런스가 좋은 레퍼런스보다 더 선호된다).이 프리퍼런스는 a1 + c2 > a2 + c1에 대응합니다.또, b2 > b1(좋은 경험치 poor 나쁜 경험치)이 주어졌을 경우, 이 프리퍼런스/불균형은 쌍(vi)이 a1 + b2 + c2 > a2 + b1 + c1로서 랭크 매겨집니다.

또한 명시적으로 순위가 매겨진 2개의 쌍(i) b2 + c1 > b1 + c2 및 (ii) a1 + c2 > a2 + c1은 a1 + b2 > a2 + b1로서 순위가 매겨진다.이 결과는 쌍(i)과 (ii)에 대한 부등식의 대응하는 변을 더하고 공통 변수를 제거하면 쉽게 알 수 있다.이 결과도 (i)121112112 및 (ii)1121211은 (ii)12121211을 의미하며, 이에 따라 12222221 및 22121212는 12221212를 의미한다.

두 개의 명시적 쌍별 비교 결과, 즉 의사결정자가 명시적으로 수행한 결과, 지배적이지 않은 6개 쌍 중 5개가 순위를 매겼다.의사결정자는 자신이 원할 때마다 순위를 매길 수 있지만(모든 비지배적 쌍이 순위 매기기 전), 계속하여 나머지 쌍(v)을 a2 + b1 + c2 > a1 + b2 + c1로 순위를 매긴다고 가정합니다(즉, 위에서 설명한 두 가지 질문에 대한 응답).

따라서, 지배적이지 않은 6개 쌍 모두 의사결정자가 명시적으로 3개만 순위를 매긴 결과로 순위가 매겨졌다.

(i) b2 + c1 > b1 + c2
(ii) a1 + c2 > a2 + c1
(v) a2 + b1 + c2 > a1 + b2 + c1

대체 항목과 포인트 값의 전체 순위

위의 세 가지 쌍별 순위는 일관되고, 이 단순한 가치 모델에 대한 모든 n(n-1)/2 = 28개의 쌍별 순위(n = 8)가 알려져 있기 때문에, 가능한 8가지 대안의 전체 순위(222, 122, 221, 112, 211, 111, 111)가 정의된다.

a2 > a1, b2 > b1 및 c2 > c1에 따라 위의 세 가지 불평등(i, ii, v)을 동시에 해결하면 의사결정자에게 기준의 상대적 중요성을 반영하여 포인트 값(즉, '포인트 시스템')이 주어진다.예를 들어 a1 = 0, a2 = 2, b1 = 0, b2 = 4, c1 = 0 및 c2 = 3(또는 '최상의' 대안 222가 100점을 얻도록 정규화됨)은 다음과 같습니다. a1 = 0, a2 = 22.2, b1 = 0, b2 = 444, c2 및 c2입니다.

따라서 구직자의 순위를 매기기 위한 가치 모델의 예에서 가장 중요한 기준은 (좋은) 경험(b, 4점)에 이어 참조(c, 3점), 그리고 가장 중요하지 않은 교육(a, 2점)인 것으로 밝혀졌다.세 가지 불평등에 대한 다중 해법이 가능하지만, 결과 포인트 값은 모두 위에 열거된 것과 동일한 대체 항목의 전체 순위를 재현하고 총점수와 함께 여기에 재현한다.

첫 번째 222: 2 + 4 + 3 = 9점(또는 22.2 + 44.4 + 33.3 = 100점) – 즉, 위의 포인트 값을 더하여 얻은 총점.
두 번째 122: 0 + 4 + 3 = 7 포인트 (또는 0 + 44.4 + 33.3 = 77.8 포인트 정규화)
세 번째 221: 2 + 4 + 0 = 6 포인트 (또는 22.2 + 44.4 + 0 = 66.7 포인트 정규화)
4번째 212: 2 + 0 + 3 = 5 포인트 (또는 22.2 + 0 + 33.3 = 55.6 포인트 정규화)
5번째 121: 0 + 4 + 0 = 4 포인트 (또는 0 + 44.4 + 0 = 44.4 포인트 정규화)
6번째 112: 0 + 0 + 3 = 3 포인트 (또는 0 + 0 + 33.3 = 33.3 포인트 정규화)
7번째 211: 2 + 0 + 0 = 2 포인트 (또는 22.2 + 0 + 0 = 22.2 포인트 정규화)
8번째 111: 0 + 0 + 0 = 0 포인트 (또는 0 + 0 + 0 = 0 포인트 정규화)

기타 고려사항

첫째, 의사결정자는 검토된 대안 중 적어도 하나가 기준에서 범주의 불가능한 조합에 해당한다는 이유로 주어진 비지배적 쌍(따라서 제외됨)의 순위를 명시적으로 매기는 것을 거부할 수 있다.또한 의사결정자가 특정 쌍의 순위를 명시적으로 매기는 방법을 결정할 수 없는 경우, 이를 생략할 수 있으며, 최종적으로 해당 쌍은 (이동성을 통해) 명시적으로 순위가 매겨진 다른 쌍의 결과로서 암묵적으로 순위가 매겨질 수 있다.

둘째, 지배적이지 않은 모든 쌍이 순위를 매기기 위해 의사결정자는 엄격한 선호보다는 무관심을 나타내는 경우 일반적으로 쌍별 순위를 적게 수행해야 한다.예를 들어 의사결정자가 위의 쌍(i)을 _21__12(즉, 위와 같이)가 아닌 _21~_12(즉, 무관심)로 순위를 매겼다면, 의사결정자는 두 쌍(즉, 총 두 개의 명시적으로 순위가 매겨진 쌍)이 아닌 한 쌍만 더 매길 필요가 있었을 것이다.전반적으로, 무차별적으로 순위가 매겨진 쌍은 엄격하게 순위가 매겨진 쌍보다 암묵적으로 순위가 매겨진 쌍과 관련하여 더 많은 결과를 생성한다.

마지막으로 의사결정자가 지배적이지 않은 쌍의 순위를 매기는 순서는 필요한 순위 수에 영향을 미친다.예를 들어 의사결정자가 쌍(ii)과 쌍(ii)보다 쌍(ii)을 먼저 순위를 매겼다면, 쌍(v)뿐만 아니라 세 쌍 모두(즉, 총 4개의 명시적으로 순위가 매겨진 쌍)에 명시적으로 순위를 매겨야 한다는 것을 쉽게 알 수 있다.그러나 순위 자체에 따라 사전에 알 수 없는 최적의 순서를 결정하는 것은 문제가 있다.

'더 큰' 가치 모델에 PAPRIKA 적용

물론 대부분의 실제 가치 모델은 위의 단순한 예보다 더 많은 기준과 범주를 가지고 있습니다. 즉, 지배되지 않는 쌍이 훨씬 더 많다는 것을 의미합니다.예를 들어, 앞서 8개의 기준과 각 기준 내의 4개의 범주(및8 4개의 = 65,536개의 가능한 대안)로 언급된 가치 모델은 총 2,047,516개의 비지배적 쌍을 가지고 있으며(그림 2에서 식별된 9개의 쌍과 비교함), 그 중 402,100,126개는 유일하다(위 [1]예의 6개 쌍과 비교함).(앞에서 언급한 바와 같이, 이 크기의 모델의 경우 의사결정자는 동시에 두 가지 기준에 따라 정의된 약 95쌍의 순위를 명시해야 하며, 이는 대부분의 의사결정자가 만족할 것이다.)

그러한 실제 가치 모델의 경우, 이전 하위 섹션(그림 2 참조)에서 사용된 지배되지 않는 쌍을 식별하기 위한 단순한 쌍 비교 접근법은 매우 비현실적이다.마찬가지로, 명시적으로 순위가 매겨진 쌍의 결과로 암묵적으로 순위가 매겨진 모든 쌍을 식별하는 것은 기준과 범주의 수가 증가함에 따라 점점 더 다루기 어려워진다.따라서 PAPRIKA 방법은 각각 고유한 비지배 쌍과 암묵적으로 순위가 매겨진 쌍을 식별하기 위해 계산적으로 효율적인 프로세스에 의존합니다.이러한 프로세스에 대한 자세한 내용은 이 문서의 범위를 벗어나지만 다른 곳에서 이용할 수[1] 있으며 앞서 언급한 것처럼 PAPRIKA 방법은 의사 결정 소프트웨어 제품 1000minds 및 MeenyMo에 [4][5][6]의해 구현됩니다.

기존 채점 방법과의 비교

PAPRIKA는 직접 평가,[75] SMART,[76] SMART[77] 및 Analytic Hierarchy [78]Process와 같은 대부분의 기존 점수 방법보다 더 많은 수의 판단(일반적으로 100 미만, 종종 50 미만[1])을 수반합니다.하지만 분명히 다른 유형의 판단이 관련되어 있습니다.PAPRIKA의 경우, 판단에는 지배되지 않는 쌍(일반적으로 한 번에 두 가지 기준에서만 정의)의 쌍별 비교가 수반되는 반면, 대부분의 기존 방법은 각각 기준과 범주의 상대적 중요성과 관련하여 의사결정자의 선호도에 대한 간격 척도 또는 비율 척도 측정을 수반한다.PAPRIKA에 대한 판단은 더 간단하고 더 자연스러우며, 따라서 의사결정자의 선호도를 더 정확하게 반영할 것으로 합리적으로 기대할 수 있다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b c d e f g h Hansen, Paul; Ombler, Franz (2008). "A new method for scoring additive multi-attribute value models using pairwise rankings of alternatives". Journal of Multi-Criteria Decision Analysis. 15 (3–4): 87–107. doi:10.1002/mcda.428.
  2. ^ a b c Smith, K. F.; Fennessy, P. F. (2011). "The use of conjoint analysis to determine the relative importance of specific traits as selection criteria for the improvement of perennial pasture species in Australia". Crop and Pasture Science. 62 (4): 355–65. doi:10.1071/CP10320.
  3. ^ a b c Isma', Salim Al; ili, N.A.; Li, Mengxiang; Shen, Jun; He, Qiang (2016). "Cloud computing adoption decision modelling for SMEs: a conjoint analysis". International Journal of Web and Grid Services. 12 (3): 296. doi:10.1504/ijwgs.2016.079157.
  4. ^ a b c Weistroffer, H. Roland; Li, Yan (2016). Multiple Criteria Decision Analysis Software. Multiple Criteria Decision Analysis. International Series in Operations Research & Management Science. Vol. 233. pp. 1301–1341. doi:10.1007/978-1-4939-3094-4_29. ISBN 978-1-4939-3093-7.
  5. ^ a b c Oleson, S. (2016), "Decision analysis software survey", OR/MS Today, vol. 43, no. 5
  6. ^ a b c Amoyal, J. (2018), "Decision analysis software survey", OR/MS Today, vol. 45, no. 5, doi:10.1287/orms.2018.05.13, S2CID 642562
  7. ^ Hansen, Paul; Hendry, Alison; Naden, Ray; Ombler, Franz; Stewart, Ralph (2012). "A new process for creating points systems for prioritising patients for elective health services". Clinical Governance. 17 (3): 200–209. doi:10.1108/14777271211251318.
  8. ^ Taylor, William J.; Laking, George (2010). "Value for money – recasting the problem in terms of dynamic access prioritisation". Disability & Rehabilitation. 32 (12): 1020–1027. doi:10.3109/09638281003775535. PMID 20380596. S2CID 30265587.
  9. ^ Gwynne-Jones, David P.; Iosua, Ella E.; Stout, Kirsten M. (1 May 2016). "Rationing for Total Hip and Knee Arthroplasty Using the New Zealand Orthopaedic Association Score: Effectiveness and Comparison With Patient-Reported Scores". The Journal of Arthroplasty. 31 (5): 957–962. doi:10.1016/j.arth.2015.11.022. ISSN 0883-5403. PMID 26944014.
  10. ^ Fitzgerald, Avril; Spady, Barbara Conner; DeCoster, Carolyn; Naden, Ray; Hawker, Gillian A.; Noseworthy, Thomas (October 2009). "WCWL Rheumatology Priority Referral Score Reliability and Validity Testing" (PDF). Arthritis & Rheumatism. 60 (Suppl 10): 54. doi:10.1002/art.27423. PMID 21162114.
  11. ^ Fitzgerald, Avril; de Coster, Carolyn; McMillan, Stewart; Naden, Ray; Armstrong, Fraser; Barber, Alison; Cunning, Les; Conner-Spady, Barbara; Hawker, Gillian; Lacaille, Diane; Lane, Carolyn; Mosher, Dianne; Rankin, Jim; Sholter, Dalton; Noseworthy, Tom (2011). "Relative urgency for referral from primary care to rheumatologists: The Priority Referral Score". Arthritis Care & Research. 63 (2): 231–239. doi:10.1002/acr.20366. ISSN 2151-464X. PMID 20890984. S2CID 205221379.
  12. ^ White, Douglas; Solanki, Kamal; Quincey, Vicki; Minett, Andrew; Tam, Gordon; Doube, Alan; Naden, Ray (2015). "Development of a Multidimensional Additive Points System for Determining Access to Rheumatology Services". Journal of Clinical Rheumatology. 21 (5): 239–243. doi:10.1097/RHU.0000000000000274. ISSN 1076-1608. PMID 26203827. S2CID 32974482.
  13. ^ Noseworthy, T; De Coster, C; Naden, R (2009). Priority-setting tools for improving access to medical specialists (PDF). 6th Health Technology Assessment International Annual Meeting. Annals, Academy of Medicine, Singapore. Vol. 38. Singapore. p. S78. Archived from the original (PDF) on 3 March 2016.
  14. ^ Golan, Ofra; Hansen, Paul; Kaplan, Giora; Tal, Orna (2011). "Health technology prioritization: Which criteria for prioritizing new technologies and what are their relative weights?". Health Policy. 102 (2–3): 126–35. doi:10.1016/j.healthpol.2010.10.012. PMID 21071107.
  15. ^ Golan, Ofra G; Hansen, Paul (2012). "Which health technologies should be funded? A prioritization framework based explicitly on value for money". Israel Journal of Health Policy Research. 1 (1): 44. doi:10.1186/2045-4015-1-44. PMC 3541977. PMID 23181391.
  16. ^ Shmueli, Amir (30 April 2017). "Do the equity-efficiency preferences of the Israeli Basket Committee match those of Israeli health policy makers?". Israel Journal of Health Policy Research. 6 (1): 20. doi:10.1186/s13584-017-0145-4. PMC 5410368. PMID 28469840.
  17. ^ Shmueli, Amir; Golan, Ofra; Paolucci, Francesco; Mentzakis, Emmanouil (1 April 2017). "Efficiency and equity considerations in the preferences of health policy-makers in Israel". Israel Journal of Health Policy Research. 6 (1): 18. doi:10.1186/s13584-017-0142-7. PMC 5376275. PMID 28373904.
  18. ^ Sullivan, Trudy; Hansen, Paul (1 April 2017). "Determining Criteria and Weights for Prioritizing Health Technologies Based on the Preferences of the General Population: A New Zealand Pilot Study". Value in Health. 20 (4): 679–686. doi:10.1016/j.jval.2016.12.008. ISSN 1098-3015. PMID 28408011.
  19. ^ Martelli, Nicolas; Hansen, Paul; van den Brink, Hélène; Boudard, Aurélie; Cordonnier, Anne-Laure; Devaux, Capucine; Pineau, Judith; Prognon, Patrice; Borget, Isabelle (1 February 2016). "Combining multi-criteria decision analysis and mini-health technology assessment: A funding decision-support tool for medical devices in a university hospital setting". Journal of Biomedical Informatics. 59: 201–208. doi:10.1016/j.jbi.2015.12.002. PMID 26705065.
  20. ^ Lasorsa, I.; Abis, G.; Podda, B.; Accardo, A. (2015). Multi-criteria decision analysis to redesign an Italian Clinical Engineering Service under specific needs and regulation requirements. World Congress on Medical Physics and Biomedical Engineering, June 7–12, 2015, Toronto, Canada. IFMBE Proceedings. Vol. 51. pp. 1562–1565. doi:10.1007/978-3-319-19387-8_380. ISBN 978-3-319-19386-1.
  21. ^ Aletaha, Daniel; Neogi, Tuhina; Silman, Alan J.; Funovits, Julia; Felson, David T.; Bingham, Clifton O.; Birnbaum, Neal S.; Burmester, Gerd R.; Bykerk, Vivian P.; Cohen, Marc D.; Combe, Bernard; Costenbader, Karen H.; Dougados, Maxime; Emery, Paul; Ferraccioli, Gianfranco; Hazes, Johanna M. W.; Hobbs, Kathryn; Huizinga, Tom W. J.; Kavanaugh, Arthur; Kay, Jonathan; Kvien, Tore K.; Laing, Timothy; Mease, Philip; Ménard, Henri A.; Moreland, Larry W.; Naden, Raymond L.; Pincus, Theodore; Smolen, Josef S.; Stanislawska-Biernat, Ewa; Symmons, Deborah; Tak, Paul P.; Upchurch, Katherine S.; Vencovský, Jiří; Wolfe, Frederick; Hawker, Gillian (2010). "2010 Rheumatoid arthritis classification criteria: An American College of Rheumatology/European League Against Rheumatism collaborative initiative". Arthritis & Rheumatism. 62 (9): 2569–2581. doi:10.1002/art.27584. hdl:2027.42/78045. ISSN 0004-3591. PMID 20872595. S2CID 23564760.
  22. ^ Neogi, Tuhina; Aletaha, Daniel; Silman, Alan J.; Naden, Raymond L.; Felson, David T.; Aggarwal, Rohit; Bingham, Clifton O.; Birnbaum, Neal S.; Burmester, Gerd R.; Bykerk, Vivian P.; Cohen, Marc D.; Combe, Bernard; Costenbader, Karen H.; Dougados, Maxime; Emery, Paul; Ferraccioli, Gianfranco; Hazes, Johanna M. W.; Hobbs, Kathryn; Huizinga, Tom W. J.; Kavanaugh, Arthur; Kay, Jonathan; Khanna, Dinesh; Kvien, Tore K.; Laing, Timothy; Liao, Katherine; Mease, Philip; Ménard, Henri A.; Moreland, Larry W.; Nair, Raj; Pincus, Theodore (2010). "The 2010 American College of Rheumatology/European League Against Rheumatism classification criteria for rheumatoid arthritis: Phase 2 methodological report". Arthritis & Rheumatism. 62 (9): 2582–2591. doi:10.1002/art.27580. PMC 3077961. PMID 20872596.
  23. ^ Aletaha, Daniel (2015), "Classification of rheumatoid arthritis", in Emery, Paul (ed.), Atlas of Rheumatoid Arthritis, vol. 1, Springer Healthcare, pp. 3–21, doi:10.1007/978-1-907673-91-7_1, ISBN 978-1-907673-90-0
  24. ^ Van Den Hoogen, F.; Khanna, D.; Fransen, J.; Johnson, S. R.; Baron, M.; Tyndall, A.; Matucci-Cerinic, M.; Naden, R. P.; Medsger, T. A.; Carreira, P. E.; Riemekasten, G.; Clements, P. J.; Denton, C. P.; Distler, O.; Allanore, Y.; Furst, D. E.; Gabrielli, A.; Mayes, M. D.; Van Laar, J. M.; Seibold, J. R.; Czirjak, L.; Steen, V. D.; Inanc, M.; Kowal-Bielecka, O.; Müller-Ladner, U.; Valentini, G.; Veale, D. J.; Vonk, M. C.; Walker, U. A.; et al. (2013). "2013 Classification Criteria for Systemic Sclerosis: An American College of Rheumatology/European League Against Rheumatism Collaborative Initiative". Arthritis & Rheumatism. 65 (11): 2737–2747. doi:10.1002/art.38098. PMC 3930146. PMID 24122180.
  25. ^ Van Den Hoogen, F.; Khanna, D.; Fransen, J.; Johnson, S. R.; Baron, M.; Tyndall, A.; Matucci-Cerinic, M.; Naden, R. P.; Medsger, T. A.; Carreira, P. E.; Riemekasten, G.; Clements, P. J.; Denton, C. P.; Distler, O.; Allanore, Y.; Furst, D. E.; Gabrielli, A.; Mayes, M. D.; Van Laar, J. M.; Seibold, J. R.; Czirjak, L.; Steen, V. D.; Inanc, M.; Kowal-Bielecka, O.; Muller-Ladner, U.; Valentini, G.; Veale, D. J.; Vonk, M. C.; Walker, U. A.; et al. (2013). "2013 classification criteria for systemic sclerosis: An American college of rheumatology/European league against rheumatism collaborative initiative". Annals of the Rheumatic Diseases. 72 (11): 1747–55. doi:10.1136/annrheumdis-2013-204424. hdl:2027.42/100304. PMC 3930146. PMID 24092682. S2CID 44940902.
  26. ^ Johnson, S. R.; Naden, R. P.; Fransen, J.; Van Den Hoogen, F.; Pope, J. E.; Baron, M.; Tyndall, A.; Matucci-Cerinic, M.; Denton, C. P.; Distler, O.; Gabrielli, A.; Van Laar, J. M.; Mayes, M.; Steen, V.; Seibold, J. R.; Clements, P.; Medsger, T. A.; Carreira, P. E.; Riemekasten, G.; Chung, L.; Fessler, B. J.; Merkel, P. A.; Silver, R.; Varga, J.; Allanore, Y.; Mueller-Ladner, U.; Vonk, M. C.; Walker, U. A.; Cappelli, S.; Khanna, D. (2014). "Multicriteria decision analysis methods with 1000Minds for developing systemic sclerosis classification criteria". Journal of Clinical Epidemiology. 67 (6): 706–14. doi:10.1016/j.jclinepi.2013.12.009. PMC 4134523. PMID 24721558.
  27. ^ Pope, Janet E.; Johnson, Sindhu R. (2015). "New Classification Criteria for Systemic Sclerosis (Scleroderma)". Rheumatic Disease Clinics of North America. 41 (3): 383–398. doi:10.1016/j.rdc.2015.04.003. ISSN 0889-857X. PMID 26210125.
  28. ^ Johnson, Sindhu R. (2015). "New ACR EULAR Guidelines for Systemic Sclerosis Classification". Current Rheumatology Reports. 17 (5): 32. doi:10.1007/s11926-015-0506-3. ISSN 1523-3774. PMID 25874345. S2CID 19695361.
  29. ^ Neogi, Tuhina; Jansen, Tim L. Th. A.; Dalbeth, Nicola; Fransen, Jaap; Schumacher, H. Ralph; Berendsen, Dianne; Brown, Melanie; Choi, Hyon; Edwards, N. Lawrence; Janssens, Hein J. E. M.; Lioté, Frédéric; Naden, Raymond P.; Nuki, George; Ogdie, Alexis; Perez-Ruiz, Fernando; Saag, Kenneth; Singh, Jasvinder A.; Sundy, John S.; Tausche, Anne-Kathrin; Vaquez-Mellado, Janitzia; Yarows, Steven A.; Taylor, William J. (2015). "2015 Gout Classification Criteria: An American College of Rheumatology/European League Against Rheumatism Collaborative Initiative". Arthritis & Rheumatology. 67 (10): 2557–2568. doi:10.1002/art.39254. ISSN 2326-5191. PMC 4566153. PMID 26352873.
  30. ^ Vargas-Santos, Ana Beatriz; Taylor, William J.; Neogi, Tuhina (24 June 2016). "Gout Classification Criteria: Update and Implications". Current Rheumatology Reports. 18 (7): 46. doi:10.1007/s11926-016-0594-8. PMC 4981244. PMID 27342957.
  31. ^ Haar, Nienke M. ter; Annink, Kim V.; Al-Mayouf, Sulaiman M.; Amaryan, Gayane; Anton, Jordi; Barron, Karyl S.; Benseler, Susanne M.; Brogan, Paul A.; Cantarini, Luca; Cattalini, Marco; Cochino, Alexis-Virgil; Benedetti, Fabrizio De; Dedeoglu, Fatma; Jesus, Adriana A. De; Alberighi, Ornella Della Casa; Demirkaya, Erkan; Dolezalova, Pavla; Durrant, Karen L.; Fabio, Giovanna; Gallizzi, Romina; Goldbach-Mansky, Raphaela; Hachulla, Eric; Hentgen, Veronique; Herlin, Troels; Hofer, Michaël; Hoffman, Hal M.; Insalaco, Antonella; Jansson, Annette F.; Kallinich, Tilmann; Koné-Paut, Isabelle; Kozlova, Anna; Kuemmerle-Deschner, Jasmin B.; Lachmann, Helen J.; Laxer, Ronald M.; Martini, Alberto; Nielsen, Susan; Nikishina, Irina; Ombrello, Amanda K.; Ozen, Seza; Papadopoulou-Alataki, Efimia; Quartier, Pierre; Rigante, Donato; Russo, Ricardo; Simon, Anna; Trachana, Maria; Uziel, Yosef; Ravelli, Angelo; Gattorno, Marco; Frenkel, Joost (1 May 2017). "Development of the autoinflammatory disease damage index (ADDI)". Annals of the Rheumatic Diseases. 76 (5): 821–830. doi:10.1136/annrheumdis-2016-210092. ISSN 0003-4967. PMC 4597180. PMID 27811147.
  32. ^ Kuemmerle-Deschner, Jasmin B.; Ozen, Seza; Tyrrell, Pascal N.; Kone-Paut, Isabelle; Goldbach-Mansky, Raphaela; Lachmann, Helen; Blank, Norbert; Hoffman, Hal M.; Weissbarth-Riedel, Elisabeth; Hugle, Boris; Kallinich, Tilmann; Gattorno, Marco; Gul, Ahmet; Haar, Nienke Ter; Oswald, Marlen; Dedeoglu, Fatma; Cantarini, Luca; Benseler, Susanne M. (1 June 2017). "Diagnostic criteria for cryopyrin-associated periodic syndrome (CAPS)". Annals of the Rheumatic Diseases. 76 (6): 942–947. doi:10.1136/annrheumdis-2016-209686. ISSN 0003-4967. PMID 27707729. S2CID 23147525.
  33. ^ de Lautour, Hugh; Taylor, William J.; Adebajo, Ade; Alten, Rieke; Burgos-Vargas, Ruben; Chapman, Peter; Cimmino, Marco A.; da Rocha Castelar Pinheiro, Geraldo; Day, Ric; Harrold, Leslie R.; Helliwell, Philip; Janssen, Matthijs; Kerr, Gail; Kavanaugh, Arthur; Khanna, Dinesh; Khanna, Puja P.; Lin, Chingtsai; Louthrenoo, Worawit; McCarthy, Geraldine; Vazquez-Mellado, Janitzia; Mikuls, Ted R.; Neogi, Tuhina; Ogdie, Alexis; Perez-Ruiz, Fernando; Schlesinger, Naomi; Ralph Schumacher, H.; Scirè, Carlo A.; Singh, Jasvinder A.; Sivera, Francisca; Slot, Ole; Stamp, Lisa K.; Tausche, Anne-Kathrin; Terkeltaub, Robert; Uhlig, Till; van de Laar, Mart; White, Douglas; Yamanaka, Hisashi; Zeng, Xuejun; Dalbeth, Nicola (May 2016). "Development of Preliminary Remission Criteria for Gout Using Delphi and 1000Minds Consensus Exercises". Arthritis Care & Research. 68 (5): 667–672. doi:10.1002/acr.22741. PMID 26414176. S2CID 13512657.
  34. ^ Rider, Lisa G.; Aggarwal, Rohit; Pistorio, Angela; Bayat, Nastaran; Erman, Brian; Feldman, Brian M.; Huber, Adam M.; Cimaz, Rolando; Cuttica, Rubén J.; Oliveira, Sheila Knupp de; Lindsley, Carol B.; Pilkington, Clarissa A.; Punaro, Marilynn; Ravelli, Angelo; Reed, Ann M.; Rouster-Stevens, Kelly; Royen-Kerkhof, Annet van; Dressler, Frank; Magalhaes, Claudia Saad; Constantin, Tamás; Davidson, Joyce E.; Magnusson, Bo; Russo, Ricardo; Villa, Luca; Rinaldi, Mariangela; Rockette, Howard; Lachenbruch, Peter A.; Miller, Frederick W.; Vencovsky, Jiri; Ruperto, Nicolino (1 May 2017). "2016 American College of Rheumatology/European League Against Rheumatism Criteria for Minimal, Moderate, and Major Clinical Response in Juvenile Dermatomyositis". Annals of the Rheumatic Diseases. 76 (5): 782–791. doi:10.1136/annrheumdis-2017-211401. ISSN 0003-4967. PMC 5517365. PMID 28385804.
  35. ^ Avila, M. L.; Brandão, L. R.; Williams, S.; Montoya, M. I.; Stinson, J.; Kiss, A.; Feldman, B. M. (December 2016). "Development of CAPTSure - a new index for the assessment of pediatric postthrombotic syndrome". Journal of Thrombosis and Haemostasis. 14 (12): 2376–2385. doi:10.1111/jth.13530. PMID 27709837. S2CID 3451087.
  36. ^ Aringer, M; Dörner, T; Leuchten, N; Johnson, S R (31 May 2016). "Toward new criteria for systemic lupus erythematosus—a standpoint". Lupus. 25 (8): 805–811. doi:10.1177/0961203316644338. PMID 27252256. S2CID 2719174.
  37. ^ Shiboski, Caroline H.; Shiboski, Stephen C.; Seror, Raphaèle; Criswell, Lindsey A.; Labetoulle, Marc; Lietman, Thomas M.; Rasmussen, Astrid; Scofield, Hal; Vitali, Claudio; Bowman, Simon J.; Mariette, Xavier; Group, the International Sjögren's Syndrome Criteria Working (1 January 2017). "2016 American College of Rheumatology/European League Against Rheumatism classification criteria for primary Sjögren9s syndrome". Annals of the Rheumatic Diseases. 76 (1): 9–16. doi:10.1136/annrheumdis-2016-210571. ISSN 0003-4967. PMID 27789466. S2CID 25716098.
  38. ^ Shiboski, Caroline H.; Shiboski, Stephen C.; Seror, Raphaèle; Criswell, Lindsey A.; Labetoulle, Marc; Lietman, Thomas M.; Rasmussen, Astrid; Scofield, Hal; Vitali, Claudio; Bowman, Simon J.; Mariette, Xavier (January 2017). "2016 American College of Rheumatology/European League Against Rheumatism Classification Criteria for Primary Sjögren's Syndrome: A Consensus and Data-Driven Methodology Involving Three International Patient Cohorts". Arthritis & Rheumatology. 69 (1): 35–45. doi:10.1002/art.39859. PMC 5650478. PMID 27785888.
  39. ^ Miloslavsky, Eli M.; Naden, Ray P.; Bijlsma, Johannes W. J.; Brogan, Paul A.; Brown, E. Sherwood; Brunetta, Paul; Buttgereit, Frank; Choi, Hyon K.; DiCaire, Jean-Francois; Gelfand, Jeffrey M.; Heaney, Liam G.; Lightstone, Liz; Lu, Na; Murrell, Dedee F.; Petri, Michelle; Rosenbaum, James T.; Saag, Kenneth S.; Urowitz, Murray B.; Winthrop, Kevin L.; Stone, John H. (1 March 2017). "Development of a Glucocorticoid Toxicity Index (GTI) using multicriteria decision analysis" (PDF). Annals of the Rheumatic Diseases. 76 (3): 543–546. doi:10.1136/annrheumdis-2016-210002. hdl:10044/1/39268. ISSN 0003-4967. PMID 27474764. S2CID 206852414.
  40. ^ Pinto, Daniel; Danilovich, Margaret K.; Hansen, Paul; Finn, Daniel J.; Chang, Rowland W.; Holl, Jane L.; Heinemann, Allen W.; Bockenholt, Ulf (1 June 2017). "Qualitative Development of a Discrete Choice Experiment for Physical Activity Interventions to Improve Knee Osteoarthritis". Archives of Physical Medicine and Rehabilitation. 98 (6): 1210–1216.e1. doi:10.1016/j.apmr.2016.11.024. ISSN 0003-9993. PMID 28034720.
  41. ^ Griffin, D. R.; Dickenson, E. J.; O'Donnell, J.; Agricola, R.; Awan, T.; Beck, M.; Clohisy, J. C.; Dijkstra, H. P.; Falvey, E.; Gimpel, M.; Hinman, R. S.; Hölmich, P.; Kassarjian, A.; Martin, H. D.; Martin, R.; Mather, R. C.; Philippon, M. J.; Reiman, M. P.; Takla, A.; Thorborg, K.; Walker, S.; Weir, A.; Bennell, K. L. (1 October 2016). "The Warwick Agreement on femoroacetabular impingement syndrome (FAI syndrome): an international consensus statement". Br J Sports Med. 50 (19): 1169–1176. doi:10.1136/bjsports-2016-096743. ISSN 0306-3674. PMID 27629403. S2CID 1017216.
  42. ^ Aggarwal, Rohit; Rider, Lisa G.; Ruperto, Nicolino; Bayat, Nastaran; Erman, Brian; Feldman, Brian M.; Oddis, Chester V.; Amato, Anthony A.; Chinoy, Hector; Cooper, Robert G.; Dastmalchi, Maryam; Fiorentino, David; Isenberg, David; Katz, James D.; Mammen, Andrew; Visser, Marianne de; Ytterberg, Steven R.; Lundberg, Ingrid E.; Chung, Lorinda; Danko, Katalin; Torre, Ignacio García-De la; Song, Yeong Wook; Villa, Luca; Rinaldi, Mariangela; Rockette, Howard; Lachenbruch, Peter A.; Miller, Frederick W.; Vencovsky, Jiri (1 May 2017). "2016 American College of Rheumatology/European League Against Rheumatism criteria for minimal, moderate, and major clinical response in adult dermatomyositis and polymyositis". Annals of the Rheumatic Diseases. 76 (5): 792–801. doi:10.1136/annrheumdis-2017-211400. ISSN 0003-4967. PMC 5496443. PMID 28385805.
  43. ^ Rider, Lisa G.; Aggarwal, Rohit; Pistorio, Angela; Bayat, Nastaran; Erman, Brian; Feldman, Brian M.; Huber, Adam M.; Cimaz, Rolando; Cuttica, Rubén J.; de Oliveira, Sheila Knupp; Lindsley, Carol B.; Pilkington, Clarissa A.; Punaro, Marilynn; Ravelli, Angelo; Reed, Ann M.; Rouster-Stevens, Kelly; van Royen-Kerkhof, Annet; Dressler, Frank; Magalhaes, Claudia Saad; Constantin, Tamás; Davidson, Joyce E.; Magnusson, Bo; Russo, Ricardo; Villa, Luca; Rinaldi, Mariangela; Rockette, Howard; Lachenbruch, Peter A.; Miller, Frederick W.; Vencovsky, Jiri; Ruperto, Nicolino (May 2017). "2016 American College of Rheumatology/European League Against Rheumatism Criteria for Minimal, Moderate, and Major Clinical Response in Juvenile Dermatomyositis: An International Myositis Assessment and Clinical Studies Group/Paediatric Rheumatology Inter". Arthritis & Rheumatology. 69 (5): 911–923. doi:10.1002/art.40060. PMC 5577002. PMID 28382778.
  44. ^ Tacconelli, Evelina; Carrara, Elena; Savoldi, Alessia; Harbarth, Stephan; Mendelson, Marc; Monnet, Dominique L; Pulcini, Céline; Kahlmeter, Gunnar; Kluytmans, Jan; Carmeli, Yehuda; Ouellette, Marc; Outterson, Kevin; Patel, Jean; Cavaleri, Marco; Cox, Edward M; Houchens, Chris R; Grayson, M Lindsay; Hansen, Paul; Singh, Nalini; Theuretzbacher, Ursula; Magrini, Nicola; Aboderin, Aaron Oladipo; Al-Abri, Seif Salem; Awang Jalil, Nordiah; Benzonana, Nur; Bhattacharya, Sanjay; Brink, Adrian John; Burkert, Francesco Robert; Cars, Otto; et al. (2017). "Discovery, research, and development of new antibiotics: The WHO priority list of antibiotic-resistant bacteria and tuberculosis". The Lancet Infectious Diseases. 18 (3): 318–327. doi:10.1016/S1473-3099(17)30753-3. PMID 29276051.
  45. ^ Wijland, Roel; Hansen, Paul; Gardezi, Fatima (15 March 2016). "Mobile nudging: Youth engagement with banking apps". Journal of Financial Services Marketing. 21 (1): 51–63. doi:10.1057/fsm.2016.1. S2CID 167856107.
  46. ^ Lee, Pui Yee; Lusk, Karen; Mirosa, Miranda; Oey, Indrawati (2015). "An attribute prioritization-based segmentation of the Chinese consumer market for fruit juice". Food Quality and Preference. 46: 1–8. doi:10.1016/j.foodqual.2015.06.016. hdl:10523/10826. ISSN 0950-3293.
  47. ^ Boyd, Philip; Law, Cliff; Doney, Scott (2011). "A Climate Change Atlas for the Ocean" (PDF). Oceanography. 24 (2): 13–6. doi:10.5670/oceanog.2011.42.
  48. ^ Chhun, Sophal; Thorsnes, Paul; Moller, Henrik (2013). "Preferences for Management of Near-Shore Marine Ecosystems: A Choice Experiment in New Zealand". Resources. 2 (3): 406–438. doi:10.3390/resources2030406.
  49. ^ Chhun, Sophal; Kahui, Viktoria; Moller, Henrik; Thorsnes, Paul (2015). "Advancing Marine Policy Toward Ecosystem-Based Management by Eliciting Public Preferences". Marine Resource Economics. 30 (3): 261–275. doi:10.1086/681052. hdl:10523/7118. ISSN 0738-1360. S2CID 154046715.
  50. ^ Graff, P.; McIntyre, S. (2014). "Using ecological attributes as criteria for the selection of plant species under three restoration scenarios". Austral Ecology. 39 (8): 907–917. doi:10.1111/aec.12156.
  51. ^ Crozier, G. K. D.; Schulte-Hostedde, A. I. (2014). "Towards Improving the Ethics of Ecological Research". Science and Engineering Ethics. 21 (3): 577–94. doi:10.1007/s11948-014-9558-4. PMC 4430594. PMID 24903671.
  52. ^ de Olde, Evelien M.; Moller, Henrik; Marchand, Fleur; McDowell, Richard W.; MacLeod, Catriona J.; Sautier, Marion; Halloy, Stephan; Barber, Andrew; Benge, Jayson; Bockstaller, Christian; Bokkers, Eddie A. M.; de Boer, Imke J. M.; Legun, Katharine A.; Le Quellec, Isabelle; Merfield, Charles; Oudshoorn, Frank W.; Reid, John; Schader, Christian; Szymanski, Erika; Sørensen, Claus A. G.; Whitehead, Jay; Manhire, Jon (11 May 2016). "When experts disagree: the need to rethink indicator selection for assessing sustainability of agriculture". Environment, Development and Sustainability. 19 (4): 1327–1342. doi:10.1007/s10668-016-9803-x. hdl:10523/7113. S2CID 62803197.
  53. ^ Byrne, T. J.; Amer, P. R.; Fennessy, P. F.; Hansen, P.; Wickham, B. W. (2011). "A preference-based approach to deriving breeding objectives: Applied to sheep breeding". Animal. 6 (5): 778–88. doi:10.1017/S1751731111002060. PMID 22558925. S2CID 206336898.
  54. ^ Nielsen, H. M.; Amer, P. R.; Byrne, T. J. (2013). "Approaches to formulating practical breeding objectives for animal production systems". Acta Agriculturae Scandinavica, Section A. 64 (1): 2–12. doi:10.1080/09064702.2013.827237. ISSN 0906-4702. S2CID 84895619.
  55. ^ Martin-Collado, D.; Byrne, T.J.; Amer, P.R.; Santos, B.F.S.; Axford, M.; Pryce, J.E. (2015). "Analyzing the heterogeneity of farmers' preferences for improvements in dairy cow traits using farmer typologies". Journal of Dairy Science. 98 (6): 4148–61. doi:10.3168/jds.2014-9194. ISSN 0022-0302. PMID 25864048.
  56. ^ Slagboom, M.; Kargo, M.; Edwards, D.; Sørensen, A. C.; Thomasen, J. R.; Hjortø, L. (2 July 2016). "Herd characteristics influence farmers' preferences for trait improvements in Danish Red and Danish Jersey cows" (PDF). Acta Agriculturae Scandinavica, Section A. 66 (3): 177–182. doi:10.1080/09064702.2016.1277550. ISSN 0906-4702. S2CID 53575561.
  57. ^ Slagboom, M.; Kargo, M.; Edwards, D.; Sørensen, A.C.; Thomasen, J.R.; Hjortø, L. (1 December 2016). "Organic dairy farmers put more emphasis on production traits than conventional farmers". Journal of Dairy Science. 99 (12): 9845–9856. doi:10.3168/jds.2016-11346. ISSN 0022-0302. PMID 27692711.
  58. ^ Byrne, T.J.; Santos, B.F.S.; Amer, P.R.; Martin-Collado, D.; Pryce, J.E.; Axford, M. (1 October 2016). "New breeding objectives and selection indices for the Australian dairy industry". Journal of Dairy Science. 99 (10): 8146–8167. doi:10.3168/jds.2015-10747. ISSN 0022-0302. PMID 27522425.
  59. ^ Smith, K. F.; Fennessy, P. F. (2014). "Utilizing Conjoint Analysis to Develop Breeding Objectives for the Improvement of Pasture Species for Contrasting Environments when the Relative Values of Individual Traits Are Difficult to Assess". Sustainable Agriculture Research. 3 (2): 44. doi:10.5539/sar.v3n2p44.
  60. ^ Smith, K. F.; Ludemann, C.; Lewis, C. D.; Malcolm, B.; Banks, R. G.; Jacobs, J. L.; Fennessy, P. F.; Spangenberg, G. C. (2014). "Estimating the value of genetic gain in perennial pastures with emphasis on temperate species". Crop and Pasture Science. 65 (11): 1230. doi:10.1071/CP13384. ISSN 1836-0947. S2CID 84123507.
  61. ^ Christofferson, Andrew (2007), "Housing choice in Dunedin" (PDF), City Planning, District Plan Monitoring Series, Research Report, vol. 2007/1
  62. ^ Moura, Filipe; Cambra, Paulo; Gonçalves, Alexandre B. (2016). "Measuring walkability for distinct pedestrian groups with a participatory assessment method: A case study in Lisbon". Landscape and Urban Planning. 157: 282–296. doi:10.1016/j.landurbplan.2016.07.002.
  63. ^ Chang, Shoou-Yuh; Gronwald, Frank (1 May 2016). "A Multi-criteria Evaluation of the Methods for Recycling Scrap Tires". The Journal of Solid Waste Technology and Management. 42 (2): 145–156. doi:10.5276/JSWTM.2016.145.
  64. ^ Mancini, Adriano; Frontoni, Emanuele; Zingaretti, Primo (December 2015). "Embedded Multisensor System for Safe Point-to-Point Navigation of Impaired Users". IEEE Transactions on Intelligent Transportation Systems. 16 (6): 3543–3555. doi:10.1109/TITS.2015.2489261. S2CID 8231525.
  65. ^ Smith, Christie(2009), "통화 정책 선호도 공개" 2014년 5월 8일 뉴질랜드 준비은행 토론서 시리즈, DP2009/01에 보관.
  66. ^ Au, Joey; Coleman, Andrew; Sullivan, Trudy (2015). A Practical Approach to Well-being Based Policy Development: What Do New Zealanders Want from Their Retirement Income Policies?. New Zealand Treasury Working Papers. Vol. 15. ISBN 978-0-478-43678-5.
  67. ^ Hansen, P.; Kergozou, N.; Knowles, S.; Thorsnes, P. (2014). "Developing Countries in Need: Which Characteristics Appeal most to People when Donating Money?" (PDF). The Journal of Development Studies. 50 (11): 1494–1509. doi:10.1080/00220388.2014.925542. hdl:10523/4276. S2CID 154738603.
  68. ^ Cunningham, Harry; Knowles, Stephen; Hansen, Paul (12 March 2017). "Bilateral foreign aid: how important is aid effectiveness to people for choosing countries to support?". Applied Economics Letters. 24 (5): 306–310. doi:10.1080/13504851.2016.1184372. hdl:10523/6393. ISSN 1350-4851. S2CID 29778171.
  69. ^ Belton, V 및 Stewart, TJ, 다중 기준 의사결정 분석: 통합 접근법, Kluwer: 보스턴, 2002, 페이지 166–168.
  70. ^ Johnson, Richard M. (1976). "Beyond conjoint measurement: A method of pairwise trade-off analysis". Advances in Consumer Research. 3: 353–8.
  71. ^ Green, P. E.; Krieger, A. M.; Wind, Y. (2001). "Thirty Years of Conjoint Analysis: Reflections and Prospects". Interfaces. 31 (3_supplement): S56. CiteSeerX 10.1.1.130.2548. doi:10.1287/inte.31.3s.56.9676.
  72. ^ Larichev, O.I.; Moshkovich, H.M. (1995). "ZAPROS-LM – A method and system for ordering multiattribute alternatives". European Journal of Operational Research. 82 (3): 503–521. doi:10.1016/0377-2217(93)E0143-L.
  73. ^ Moshkovich, Helen M; Mechitov, Alexander I; Olson, David L (2002). "Ordinal judgments in multiattribute decision analysis". European Journal of Operational Research. 137 (3): 625–641. doi:10.1016/S0377-2217(01)00106-0.
  74. ^ Krantz, D. H. (1972). "Measurement Structures and Psychological Laws". Science. 175 (4029): 1427–35. Bibcode:1972Sci...175.1427K. doi:10.1126/science.175.4029.1427. PMID 17842276. S2CID 29113793.
  75. ^ Von Winterfelt, D 및 Edwards, W, 의사결정 분석 및 행동 연구, 케임브리지 대학 출판부:뉴욕,[page needed] 1986년
  76. ^ Edwards, Ward (1977). "How to Use Multiattribute Utility Measurement for Social Decisionmaking". IEEE Transactions on Systems, Man, and Cybernetics. 7 (5): 326–340. doi:10.1109/TSMC.1977.4309720. S2CID 24173951.
  77. ^ Edwards, Ward; Barron, F.Hutton (1994). "SMARTS and SMARTER: Improved Simple Methods for Multiattribute Utility Measurement". Organizational Behavior and Human Decision Processes. 60 (3): 306–325. doi:10.1006/obhd.1994.1087.
  78. ^ Saaty, TL, Analytic Hierarchy Process, McGraw-Hill: New York, 1980.[page needed]