최-최악의 스케일링

Best–worst scaling
MaxDiff와 혼동하지 마십시오.

BWS([1]Best-Worst Scaling) 기법은 선택 모델링(또는 이산 선택 실험 - "DCE")을 포함하며, 1987년 조던 루이비에르가 앨버타 대학에서 교수직에 있을 때 발명했다.일반적으로 BWS에서는 설문 응답자에게 마스터 리스트의 항목 중 일부를 보여주고, 가장 중요하고 덜 중요한 항목(또는 가장 매력적이고 덜 매력적인 항목 등)과 가장 나쁜 항목을 표시하도록 요청한다.작업은 여러 번 반복되며, 일반적으로 통계 설계에 따라 체계적인 방식으로 항목의 특정 하위 집합을 변경한다.분석은 일반적으로 DCE와 마찬가지로, 응답자가 무작위 효용 모델(RUM)에 따라 선택한다고 가정한다. RUM은 응답자가 반복적인 선택에서 항목 B보다 항목 A를 선택하는 빈도에 따라 항목 A를 얼마나 선호하는지 추정치를 제공한다고 가정한다.따라서, 선택 빈도는 관련 잠재 규모에서 효용을 추정한다.BWS는 기본적으로 하위 항목에 특정한 추가 질문을 하지 않고도 이 척도의 하위 항목에서 더 많은 선택 정보를 제공하는 것을 목표로 한다.

역사

루이비에르는 이 아이디어를 1960년대에 던컨 루스와 함께 수리심리학 및 정신물리학 분야의 획기적인 연구의 대부분을 공리 효용 이론으로 만든 앤서니 A. J. 말리의 박사 논문의 초기 연구 덕분이라고 보고 있다.말리는 특정 유형의 순위 데이터를 공리화하는 데 어려움을 겪었고 논문 토론에서 목록에서 "우위"와 "우위" 항목에 대한 조사가 향후 연구에 유익한 주제가 될 수 있다고 추측했다.그 후 이 생각은 1990년대 초 최초의 실무 논문과 출판물이 등장할 때까지 30년 동안 지속되었다.이론, 방법 및 응용을 설명하는 최종 교과서는 2015년 9월(Cambridge University Press) Jordan Louviere(University of South Australia), Terry N Flynn(TF Choices Ltd) 및 Anthony A. J. Marley(University of South Australia)[1]에 의해 출판되었습니다.이 책은 여러 학문과 실무 분야의 이질적인 연구들을 한데 모아 반복과 시행 착오를 피하고자 한다.3명의 저자는 이미 BWS 이론,[2][3][4] 실천 [5][6]및 건강,[5][7] 사회보장,[6] 마케팅, 교통,[8] 투표 및 환경경제학의 [9]많은 응용 분야를 설명하는 주요 학술 동료 리뷰 기사를 (개인적으로 그리고 함께) 다수 게재했다.그러나 메서드는 이제 더 넓은 연구 그리고 개업의 사회에서, 다른 연구원들 환경 sustainability,[13]의 중요성 medication,[12]과 gen.에 priority-setting 지역에서는 ADHD에 대한 우려의 wine,[11]수량화 teaching,[10]마케팅의 학생은 평가 등의 다양한 그것의 사용을에게 인기를 얻고 있는데etic 시험.[14]

목적들

BWS에는 데이터 수집 방법 및/또는 3개 이상의 항목에 직면했을 때 사람들이 어떻게 선택을 하는지에 대한 이론으로 두 가지 다른 목적이 있다.이 구별은 maxdiff라는 용어가 계속 사용되기 때문에 매우 중요합니다.Marley와 Louviere가 지적했듯이, maxdiff는 사람들이 어떻게 선택을 하는지에 [2]대한 매우 구체적인 가정을 가진 오랫동안 확립된 학문적 수학 이론이다. 즉, 응답자들은 표시된 집합 내에서 가능한 모든 항목의 쌍을 평가하고 선호도 또는 중요도의 최대 차이를 반영하는 쌍을 선택한다고 가정한다.

프로세스 이론으로서(의사결정 이론)

응답자가 A, B, C, D의 4개 항목을 평가하는 세트를 생각해 보자.응답자가 A가 가장 좋고 D가 가장 나쁘다고 답한 경우, 이 두 응답은 가능한 6가지 암시 쌍체 비교 중 5가지를 나타냅니다.

A > B 、 A > C 、 A > D 、 B > D 、 C > D

유추할 수 없는 유일한 쌍체 비교는 B 대 C입니다.MaxDiff 질문에서는 5가지 항목 중 하나를 선택하여 10가지 항목 중 7가지를 암시적으로 쌍으로 비교합니다.따라서 BWS는 쌍체 비교 방법의 변형으로 간주될 수 있습니다.

그러나 응답자들은 다양한 방법으로 최악의 데이터를 생성할 수 있습니다.가능한 모든 쌍(maxdiff 모델)을 평가하는 대신 n개의 항목에서 가장 좋은 쌍을 선택하거나 나머지 n-1에서 가장 나쁜 쌍을 선택하거나 그 반대일 수 있습니다.아니면 완전히 다른 방법을 사용할 수도 있습니다.따라서 maxdiff가 BWS의 서브셋임을 명확히 해야 합니다.maxdiff 모델은 [2][3][4]BWS에서 다수의 추정기의 특성을 입증하는 데 유용한 것으로 입증되었다.그러나 인간이 실제로 어떻게 최선의 데이터와 최악의 데이터를 제공할 수 있는지에 대한 설명으로서의 그것의 사실성은 다음과 같은 이유로 의문을 제기할 수 있다.항목의 수가 증가함에 따라 가능한 쌍의 수는 곱셈 방식으로 증가합니다. n개의 항목은 n개의 쌍(최고-최악의 순서가 중요한 경우)을 생성합니다.응답자가 가능한 모든 쌍을 평가한다고 가정하면, 14년의 프레젠테이션 기간 동안 3명의 공동 저자는 이 방법을 사용하여 최선의 선택과 [1]최악의 선택을 결정한 코스 또는 회의 참가자를 거의 찾지 못했습니다.거의 모든 사람이 순차적 모델 사용(최고에서 최악 또는 최악)[15]을 인정했습니다.

초기 작업(루비에르 본인의 작업 포함)에서는 BWS를 지칭하기 위해 maxdiff라는 용어를 사용했지만, Marley가 이 방법을 개발한 팀에 영입됨에 따라 올바른 학술 용어가 유럽과 아시아 태평양 전역에 보급되어 있으며, 이 용어는 계속 maxdiff라는 용어를 사용하고 있습니다.실제로 maxdiff 기능에 대한 이러한 지속적인 광고에도 불구하고 이산 선택 maxdiff 루틴의 주요 소프트웨어 제조업체들이 실제로 maxdiff 모델을 파라미터 추정에서 구현하는지 여부는 미해결이다.

데이터 수집 방법으로서

BWS의 두 번째 사용은 데이터 수집 방법으로서(인간이 어떻게 최고와 최악의 아이템을 생산하는지에 대한 이론으로서가 아니라) 사용된다.BWS는 특히 웹 기반 조사의 시대에 모든 응답자가 동일한 방식으로 최선의 데이터와 최악의 데이터를 제공하도록 강제하는 체계적인 방법으로 데이터를 수집하기 위해 사용될 수 있다. (예를 들어, 먼저 최선의 데이터를 묻고, 선택한 옵션을 회색으로 표시한 다음 최악의 데이터를 묻는 방법), (2) 반복적인 BWS 질문이 구현되는 경우 전체 순위를 수집할 수 있도록 한다.ed는 "최고 순위"를 수집합니다.많은 맥락에서 데이터 수집을 위한 BWS는 단순히 데이터 확장을 용이하게 하기 위해 또는 (더 많은 선택 세트를 가진 조건부 로짓 모델을 [16]추정하기 위해) 그러한 데이터를 얻는 방법으로 간주되어 왔다.

유형('케이스')

maxdiff scaling은 BWS이지만 BWS가 maxdiff일 필요는 없다는 것을 명확히 하기 위해 이 방법의 이름은 Louviere가 책을 준비하기 위해 그의 두 주요 기여자(Flyn과 Marley)와 협의하여 결정했으며 [17]Flynn의 기사에 제시되었다.또, BWS에는, 케이스 1( 「객체 케이스」), 케이스 2( 「프로파일 케이스」), 케이스 3(「멀티 프로파일 케이스」)의 3종류가 실제로 존재하고 있는 것을 분명히 했다.이 세 가지 사례는 제공되는 선택 품목의 복잡성에서 크게 다릅니다.

케이스 1 ('객체 케이스')

사례 1은 태도의 진술, 정책 목표, 마케팅 슬로건 또는 속성 및 수준 구조가 없는 모든 유형의 항목을 제시한다.주로 등급([18][19]라이커트) 척도 데이터에 영향을 미치는 것으로 알려진 척도 편향을 방지하는 데 사용됩니다.이는 응답자가 일련의 진술에서 말하는 중요성 또는 합의의 정도를 도출하고, 연구자가 항목이 서로 경쟁하기를 원할 때(응답자가 여러 항목을 같은 중요도로 쉽게 평가할 수 없도록 하기 위해) 특히 유용하다.

케이스 2 ('프로파일 케이스')

케이스 2는 상태가 우세하며 항목은 선택 모델러에게 익숙한 유형의 단일 프로파일을 설명하는 속성 수준입니다.응답자는 프로파일 사이에서 선택하는 것이 아니라 프로파일 내에서 최선의 선택과 최악의 선택(대부분 및 최소)을 해야 합니다.따라서, 모바일(휴대전화)의 예에서는, 선택지가, 특정의 전화기로서 가장 받아들여지는 기능과 가장 받아들여지지 않는 기능이 됩니다.사례 2는 기존의 다중 프로파일 이산 선택 실험이 어렵다고 생각하는 노인,[20][21] 노인 [22]보호자 및 [23]어린이와 같은 취약 그룹 간의 선호도를 도출하는 데 강력한 것으로 입증되었다.실제로, 단일 모델에서 DCE와 사례 2를 처음 비교한 결과, 대다수의 (연령) 응답자가 BWS 과제에서 사용 가능한 데이터를 제공했지만, [20]DCE에 대해서는 절반 정도만 제공하였다.

케이스 3 ('멀티 프로파일 케이스')

사례 3은 아마도 선택 모델러에게 가장 친숙한 것으로, 단지 개별 선택 모델의 확장일 뿐이다. 즉, 프로필의 수는 3개 이상이어야 하며, 응답자가 단순히 구매할 프로필을 선택하는 대신, 최상의 프로필과 최악의 프로필을 선택한다.

스터디를 위한 디자인

사례 1 BWS 연구는 일반적으로 균형 불완전 블럭 설계(BIBD)를 사용합니다.이로 인해 모든 항목이 동일한 횟수로 나타나며 모든 항목이 서로 동일한 횟수로 경쟁하게 됩니다.이러한 특징은 응답자가 항목(디자이너가 "진짜"[1] 관심 있는 항목)에 대한 잘못된 정보를 추론하지 못하도록 하기 때문에 매력적이다.또한 스케일 맨 위 또는 맨 아래 부분에 중요도/경도에 "타이를" 둘 수 없도록 합니다.

사례 2 BWS 연구는 현재까지 직교 주효과 계획(OMEPS) 또는 효율적인 설계를 사용할 수 있다.

사례 3 BWS 연구는 선택 세트의 프로파일(대안) 수가 BWS 태스크가 타당하기 위해서는 3개 이상이어야 한다는 전제 하에 DCE에 일반적으로 사용되는 설계 유형을 사용할 수 있다.

최근 이력

Steve Cohen은 2002년 바르셀로나에서 열린 ESOMAR Conference에서 다음과 같은 제목의 논문을 통해 BWS를 마케팅 리서치 업계에 소개했습니다.오래된 문제를 수정하기 위한 새로운 도구입니다."이 논문은 그 회의에서 최우수 논문 후보에 올랐다.2003년 우루과이 푼타델에스테에서 열린 ESOMAR 중남미 회의에서 스티브와 공동 저자인 레오플도 네이라 박사는 BWS 결과를 평가 척도법으로 얻은 결과와 비교했다.이 논문은 그 회의에서 최우수 방법론 논문을 수상했다.같은 해, 2003년의 모든 ESOMAR 컨퍼런스에서 「John and Mary Goodyear Award for Best Paper」의 수상자로 선정되어 ESOMAR가 발행한 「Excellence in International Research 2004」의 톱니 소프트웨어 컨퍼런스에서, Steve Cohen의 논문 「Excellence in International Research 2004」의 톱니로 발표되었습니다.「중요도 및 세그먼트화의 선호도 향상」이 최우수 프레젠테이션으로 선정되었습니다.Cohen과 Sawtooth Software의 사장 Bryan Orme는 MaxDiff가 Sawtooth 패키지의 일부가 되어야 한다는 데 동의했고, 그 해 말에 MaxDiff가 도입되었습니다.2004년 후반, Cohen과 Orme는 David K를 수상했습니다.AMA의 Hardin Award는 Marketing Research Magazine에 게재된 논문으로 다음과 같은 제목으로 선정되었습니다.설문 조사 응답자에게 선호도에 대해 질문하면 새로운 확장 결정이 내려집니다."

이와 동시에 Emma McIntosh와 Jordan Louviere는 2002년 Health Economists' Study Group 회의에서 BWS(사례 2)를 보건계에 소개했습니다.이를 통해 Flynn과의 협업을 촉진하고 궁극적으로 Louviere와 독립적으로 협력하여 BWS 추정치의 특성을 증명하기 시작한 Marley와의 제휴를 촉진했습니다.세 사례의 인기는 학문 분야에 따라 크게 달라졌는데, 사례 1은 마케팅 및 식품 연구에서 인기를 얻고, 사례 2는 주로 건강에서 채택되고, 사례 3은 이미 DCE를 사용하고 있는 다양한 분야에서 사용되고 있다.BWS가 실제로 3개의 주요 개발자가 이 교과서를 쓰게 만든 것은 많은 분야에서 이러한 이해 부족이었다.

이 책에는 BWS의 역사와 세 가지 사례를 요약한 서론이 수록되어 있으며, 응답자가 의사결정 이론(과정)을 이해하거나 단순히 체계적인 방법으로 데이터를 수집하기 위해 BWS를 사용하기를 원하는지 여부를 생각해야 하는 이유도 포함되어 있다.각 사례별로 하나씩, 3개의 장으로 나누어 각각의 직관과 적용에 대해 자세히 설명합니다.주요 평가자의 특성을 증명하고 몇 가지 미해결 이슈를 제시하는 말리의 작업을 정리한 장이 그 뒤를 잇는다.상세한 분석을 위해 미해결 문제를 정리한 후,[citation needed] 9개의 장(케이스당 3개 - 다양한 분야의 응용 프로그램에 대해 설명)이 이어집니다.

스터디의 실시

모든 유형의 BWS 연구를 수행하는 기본 단계는 다음과 같습니다.

  • 모든 [24]관심 항목을 적절하게 식별하고 설명하기 위해 적절한 질적 또는 기타 연구를 수행합니다.
  • 각 항목 집합("선택 세트")에서 어떤 항목이 제시될 것인지를 나타내는 통계 설계를 구축한다. 설계는 공개 카탈로그에서 나오거나 수작업으로 제작되거나 상업적으로 이용 가능한 소프트웨어에서 제작될 수 있다.
  • 디자인을 사용하여 실제 관련 항목을 포함하는 선택 세트를 구성합니다(텍스트 또는 시각).
  • 응답자가 각 과제에서 최고와 최악을 선택하는 경우 반응 데이터를 얻습니다. 분석가가 더 많은 데이터를 원할 경우 최고와 최악을 반복할 수 있습니다.
  • 통계 소프트웨어 프로그램에 데이터를 입력하고 분석한다.소프트웨어는 각 기능에 대한 유틸리티 기능을 생성합니다.효용 점수 외에도 제품이 최량 및 최악으로 선택된 총 횟수를 합한 원시 카운트를 요청할 수도 있습니다.이러한 유틸리티 기능은 개별 수준에서 제품의 인식된 가치와 제품 특징의 [citation needed]변화에 대한 소비자의 인식과 선호도가 얼마나 민감한지를 나타냅니다.

분석.

효용 함수의 추정은 다양한 방법 중 하나를 사용하여 수행됩니다.

  1. 다항 이산 선택 분석, 특히 다항 로짓(현재 두 용어가 서로 교환할 수 있게 사용되지만 조건부 로짓으로 말하는 것이 일반적입니다.MNL(다항 로짓) 모델은 대부분의 경우 분석의 첫 번째 단계이며 (대/[citation needed]소문자에 따라) 속성 수준 또는 객체에 대한 평균 효용 척도를 제공합니다.
  2. 많은 경우, 특히 사례 1과 2에서 선택 빈도의 단순한 관찰과 그래프는 선호 이질성을 식별하고 단일 속성에 기초한 의사결정 규칙을 사용하는 데 매우 유용하기 때문에 실제로 첫 번째 단계가 되어야 한다.
  3. 이 추정 프로세스에는 최대우도, 신경망, 계층형 베이즈 모델을 포함한 여러 알고리즘이 사용될 수 있습니다.BWS는 종종 개별 수준 모델의 추정을 허용하지만, 계층적 베이즈 모델은 데이터 전체에 걸쳐 차입을 허용하기 때문에 유익하다.응답 시간 모델은 최근 BWS의 효용 추정치, 특히 [25][26]BWS 선호도를 복제하는 것으로 나타났다.

이점

BWS 설문지는 대부분의 응답자가 비교적 쉽게 이해할 수 있습니다.게다가, 인간은 중간 정도의 중요성이나[citation needed] 선호도를 구별하는 것보다 극단적으로 판단하는 것을 훨씬 더 잘합니다.그리고 응답은 선호도의 강도를 나타내기보다는 항목의 선택을 수반하기 때문에 척도 사용 편향이 발생할 가능성은 없다.

응답자들은 이러한 평가 척도가 매우 쉽다고 생각하지만, 모든 것이 "매우 중요"하다는 것을 나타내는 결과를 제공하는 경향이 있기 때문에, 데이터가 특별히 [citation needed]실용적이지 않습니다.반면, BWS는 응답자들에게 옵션 중 하나를 선택하도록 강요하고, 등급 매겨진 항목의 상대적 중요성을 보여주는 순위를 제공한다.또, 다음과 같은 것도 실현됩니다.

  • 연구자가 추정 효용에 대한 경험적 분포를 관찰할 수 있는 모든 항목에 대한 "점수"(최고의 빈도에서 최악의 빈도를 뺀 값으로 계산됨)의 분포.이는 표준 연속 분포를 가정한 기존 분석 방법의 결과가 얼마나 현실적인지에 대한 정보를 생성합니다.소비자들은 종종 매우 다른 선호도를 가진 별개의 그룹을 형성하는 경향이 있으며, 이로 인해 다중 모달 분포가 발생한다.
  • 다양한 순위 깊이에서 의사결정 규칙(유틸리티 기능의 기능적 형태)을 조사할 수 있는 데이터(가장 단순하게 "최고의 의사결정 규칙 대 최악의 의사결정 규칙").새로운 연구에 따르면 일부 상황에서는 응답자가 동일한 규칙을 사용하지 않는 것으로 나타나며, 이는 서열 로짓 모델과 같은 추정 방법의 사용에 의문을 제기한다.
  • 속성 영향의 추정, 기존 이산 선택 모델에서는 이용할 수 없었던 선택에 대한 속성의 전체적인 영향의 척도입니다.
  • 주어진 수의 선택 세트에 대해 선택에 대한 더 많은 통찰력을 제공하는 더 많은 데이터.단순히 더 많은 선택 세트를 제시함으로써 동일한 정보를 얻을 수 있지만, 이는 응답자들이 지루해하고 과제를 소홀히 할 위험을 수반한다.
  • 불량한 건강 [20]상태에 대한 대응 변화 및 적응 현상을 정량화한다.

단점들

베스트 – 워스트 스케일링에는 최소, 퍼스트 베스트 및 퍼스트 워스트, 경우에 따라서는 추가 순위(두 번째, 두 번째 워스트 등)의 두 가지 이상의 데이터 세트가 수집됩니다.이 자료들을 어떻게 결합할 것인가에 대한 이슈는 관련이 있다.초기에 가장 잘 가정한 연구는 단순히 최악의 역순이었다. 즉, 응답자는 모든 항목의 내부 순위를 가지고 있었고 주어진 질문에서 가장 높은/낮은 순위를 선택했을 뿐이다.보다 최근의 연구는 어떤 상황에서는 그렇지 않다는 것을 시사했다. 예를 들어, 사람은 전통적인 경제이론에 따라 최선의 선택(속성 간 거래)을 할 수 있지만, 속성 전략에 의한 제거(속성 하나에 단순히 받아들여질 수 없는 항목을 최악의 것으로 선택)를 사용하여 최악의 선택을 할 수 있다.이처럼 다른 의사결정 규칙이 존재한다면 데이터를 어떻게 결합해야 하는지 알 수 없게 된다. 즉, 순위를 내려갈 때 어느 시점에서 그 사람은 "경제 거래"에서 [citation needed]"양상에 의한 배제"로 옮겨갈 것인가?

이것은 BWS에 대한 데이터 증가 동기에 분명한 문제를 제기하지만 프로세스(의사결정)를 이해하는 방법으로 사용될 경우 반드시 BWS에 대한 것은 아니다.특히 심리학자들은 다양한 유형의 의사결정에 특히 관심이 있을 것이다.또한 마케팅 담당자는 특정 제품에 허용할 수 없는 기능이 있는지 알고 싶어할 수 있습니다.서로 다른 의사결정 규칙이 언제 발생하는지, 그리고 그러한 서로 다른 출처의 데이터가 어떻게 [citation needed]결합될 수 있는지 여부를 조사하기 위한 작업이 진행 중이다.

BWS는 또한 명시된 모든 선호 기법의 동일한 단점을 겪는다.선호도가 실제 선택과 일치하는지 여부는 알 수 없습니다(공개된 선호도).밝혀진 선호도(일반적으로 실제 시장 결정)를 이용할 수 있어 BWS 선택의 테스트를 제공할 수 있습니다.그 밖의 건강상태에서는 공개된 선호도 데이터가 없고 검증이 불가능한 경우가 많습니다.최근에는 시선 추적 및 응답 [25]시간과 같은 생리학적 데이터를 사용하여 SP 데이터를 검증하려는 시도가 이루어지고 있다.초기 연구는 응답 시간 모델이 의료에서 BWS 모델의 결과와 일치하지만 다른 맥락에서 더 많은 연구가 필요하다는 것을 시사한다.

레퍼런스

  1. ^ a b c d "Best-Worst Scaling". Cambridge University Press. Retrieved 2015-10-01.
  2. ^ a b c Marley, A. A. J.; Louviere, J. J. (2005-12-01). "Some probabilistic models of best, worst, and best–worst choices". Journal of Mathematical Psychology. Special Issue Honoring Jean-Claude Falmagne: Part 1Special Issue Honoring Jean-Claude Falmagne: Part 1. 49 (6): 464–480. doi:10.1016/j.jmp.2005.05.003.
  3. ^ a b Marley, A. A. J.; Flynn, Terry N.; Louviere, J. J. (2008-10-01). "Probabilistic models of set-dependent and attribute-level best–worst choice". Journal of Mathematical Psychology. 52 (5): 281–296. doi:10.1016/j.jmp.2008.02.002. hdl:10453/8292.
  4. ^ a b Marley, A. A. J.; Pihlens, D. (2012-02-01). "Models of best–worst choice and ranking among multiattribute options (profiles)". Journal of Mathematical Psychology. 56 (1): 24–34. doi:10.1016/j.jmp.2011.09.001.
  5. ^ a b Flynn, Terry N.; Louviere, Jordan J.; Peters, Tim J.; Coast, Joanna (2007-01-01). "Best–worst scaling: What it can do for health care research and how to do it". Journal of Health Economics. 26 (1): 171–189. doi:10.1016/j.jhealeco.2006.04.002. PMID 16707175.
  6. ^ a b Louviere, Jordan; Lings, Ian; Islam, Towhidul; Gudergan, Siegfried; Flynn, Terry (2013-09-01). "An introduction to the application of (case 1) best–worst scaling in marketing research" (PDF). International Journal of Research in Marketing. 30 (3): 292–303. doi:10.1016/j.ijresmar.2012.10.002.
  7. ^ Potoglou, Dimitris; Burge, Peter; Flynn, Terry; Netten, Ann; Malley, Juliette; Forder, Julien; Brazier, John E. (2011-05-01). "Best–worst scaling vs. discrete choice experiments: An empirical comparison using social care data" (PDF). Social Science & Medicine. 72 (10): 1717–1727. doi:10.1016/j.socscimed.2011.03.027. PMID 21530040.
  8. ^ García-Lapresta, José Luis; Marley, A. a. J.; Martínez-Panero, Miguel (2009-09-12). "Characterizing best–worst voting systems in the scoring context". Social Choice and Welfare. 34 (3): 487–496. doi:10.1007/s00355-009-0417-1. ISSN 0176-1714.
  9. ^ Scarpa, Riccardo; Notaro, Sandra; Louviere, Jordan; Raffaelli, Roberta (2011-06-19). "Exploring Scale Effects of Best/Worst Rank Ordered Choice Data to Estimate Benefits of Tourism in Alpine Grazing Commons". American Journal of Agricultural Economics. 93 (3): 813–828. doi:10.1093/ajae/aaq174. ISSN 0002-9092.
  10. ^ Huybers, Twan (2014-05-19). "Student evaluation of teaching: the use of best–worst scaling". Assessment & Evaluation in Higher Education. 39 (4): 496–513. doi:10.1080/02602938.2013.851782. ISSN 0260-2938.
  11. ^ Cohen, Eli (2009-03-20). "Applying best‐worst scaling to wine marketingnull". International Journal of Wine Business Research. 21 (1): 8–23. doi:10.1108/17511060910948008. ISSN 1751-1062.
  12. ^ Ross, Melissa; Bridges, John F. P.; Ng, Xinyi; Wagner, Lauren D.; Frosch, Emily; Reeves, Gloria; dosReis, Susan (2014-11-17). "A Best-Worst Scaling Experiment to Prioritize Caregiver Concerns About ADHD Medication for Children". Psychiatric Services. 66 (2): 208–211. doi:10.1176/appi.ps.201300525. ISSN 1075-2730. PMC 5294953. PMID 25642618.
  13. ^ Mueller Loose, Simone; Lockshin, Larry (2013-03-01). "Testing the robustness of best worst scaling for cross-national segmentation with different numbers of choice sets". Food Quality and Preference. Ninth Pangborn Sensory Science Symposium. 27 (2): 230–242. doi:10.1016/j.foodqual.2012.02.002.
  14. ^ Severin, Franziska; Schmidtke, Jörg; Mühlbacher, Axel; Rogowski, Wolf H. (2013-11-01). "Eliciting preferences for priority setting in genetic testing: a pilot study comparing best-worst scaling and discrete-choice experiments". European Journal of Human Genetics. 21 (11): 1202–1208. doi:10.1038/ejhg.2013.36. ISSN 1018-4813. PMC 3798841. PMID 23486538.
  15. ^ Flynn, Terry N.; Louviere, Jordan J.; Peters, Tim J.; Coast, Joanna (2008-11-18). "Estimating preferences for a dermatology consultation using Best-Worst Scaling: Comparison of various methods of analysis". BMC Medical Research Methodology. 8 (1): 76. doi:10.1186/1471-2288-8-76. ISSN 1471-2288. PMC 2600822. PMID 19017376. open access
  16. ^ Louviere, Jordan J.; Street, Deborah; Burgess, Leonie; Wasi, Nada; Islam, Towhidul; Marley, Anthony A. J. (2008-01-01). "Modeling the choices of individual decision-makers by combining efficient choice experiment designs with extra preference information". Journal of Choice Modelling. 1 (1): 128–164. doi:10.1016/S1755-5345(13)70025-3.
  17. ^ Flynn, Terry N. (2010-06-01). "Valuing citizen and patient preferences in health: recent developments in three types of best–worst scaling". Expert Review of Pharmacoeconomics & Outcomes Research. 10 (3): 259–267. doi:10.1586/erp.10.29. ISSN 1473-7167. PMID 20545591.
  18. ^ Baumgartner, Hans; Steenkamp, Jan-Benedict E.M. (2001-05-01). "Response Styles in Marketing Research: A Cross-National Investigation". Journal of Marketing Research. 38 (2): 143–156. doi:10.1509/jmkr.38.2.143.18840. ISSN 0022-2437. S2CID 11304067.
  19. ^ Steenkamp, Jan‐Benedict E. M.; Baumgartner, Hans (1998-06-01). "Assessing Measurement Invariance in Cross‐National Consumer Research". Journal of Consumer Research. 25 (1): 78–107. doi:10.1086/209528. JSTOR 10.1086/209528.
  20. ^ a b c N. Flynn, Terry; J. Peters, Tim; Coast, Joanna (2013-03-01). "Quantifying response shift or adaptation effects in quality of life by synthesising best-worst scaling and discrete choice data". Journal of Choice Modelling. 6: 34–43. doi:10.1016/j.jocm.2013.04.004.
  21. ^ Coast, Joanna; Flynn, Terry N.; Natarajan, Lucy; Sproston, Kerry; Lewis, Jane; Louviere, Jordan J.; Peters, Tim J. (2008-09-01). "Valuing the ICECAP capability index for older people". Social Science & Medicine. Part Special Issue: Ethics and the ethnography of medical research in Africa. 67 (5): 874–882. doi:10.1016/j.socscimed.2008.05.015. hdl:10453/9747. PMID 18572295.
  22. ^ Al-Janabi, Hareth; Flynn, Terry N.; Coast, Joanna (2011-05-01). "Estimation of a Preference-Based Carer Experience Scale". Medical Decision Making. 31 (3): 458–468. doi:10.1177/0272989X10381280. ISSN 0272-989X. PMID 20924044.
  23. ^ Ratcliffe, Professor Julie; Flynn, Terry; Terlich, Frances; Stevens, Katherine; Brazier, John; Sawyer, Michael (2012-12-23). "Developing Adolescent-Specific Health State Values for Economic Evaluation". PharmacoEconomics. 30 (8): 713–727. doi:10.2165/11597900-000000000-00000. ISSN 1170-7690. PMID 22788261.
  24. ^ Coast, Joanna; Al-Janabi, Hareth; Sutton, Eileen J.; Horrocks, Susan A.; Vosper, A. Jane; Swancutt, Dawn R.; Flynn, Terry N. (2012-06-01). "Using qualitative methods for attribute development for discrete choice experiments: issues and recommendations". Health Economics. 21 (6): 730–741. doi:10.1002/hec.1739. ISSN 1099-1050. PMID 21557381.
  25. ^ a b Hawkins, Guy E.; Marley, A.a.j.; Heathcote, Andrew; Flynn, Terry N.; Louviere, Jordan J.; Brown, Scott D. (2014-05-01). "Integrating Cognitive Process and Descriptive Models of Attitudes and Preferences". Cognitive Science. 38 (4): 701–735. doi:10.1111/cogs.12094. ISSN 1551-6709. PMID 24124986. S2CID 15328149.
  26. ^ "The best of times and the worst of times are interchangeable". APA PsycNET. Retrieved 2015-10-01.