웹 기반 실험

Web-based experiments

웹 기반 실험이나 인터넷 기반 실험은 인터넷을 통해 행해지는 실험이다. 이런 실험에서 인터넷은 '행정적·재정적 비용 절감으로 더 크고 다양한 표본을 대상으로 하는 매개체'나 '그 자체로 사회과학 연구 분야'[1]가 된다. 심리학과 인터넷 연구는 정치학, 경제학을 포함한 다양한 다른 학문들도 웹 기반 실험을 사용하지만, 아마도 이러한 실험을 가장 광범위하게 사용한 학문일 것이다. 심리학 내에서 대부분의 웹기반 실험은 인지심리학과 사회심리학 분야에서 이루어진다.[2][3] 이런 형태의 실험 설정은 연구자들이 더 넓은 범위의 장소와 사람들로부터 대량의 데이터를 저렴하게 수집할 수 있기 때문에 점점 인기를 끌고 있다. 웹 기반 실험은 온라인 연구 방법의 일종이다. 웹 기반 실험은 COVID-19 대유행 이후 연구원들이 실험실을 기반으로 한 실험을 수행할 수 없게 되면서 훨씬 더 널리 퍼졌다.[4]

소개

실험은 연구의 필수적인 부분이지만, 인터넷과의 통합은 점진적으로 이루어져 왔다. 실험에는 크게 세 가지 범주가 있다.

  • 실험실 환경에서 수행되는 통제 실험은 모든 변수를 제어하려고 시도한 후 단일 효과를 시험한다.
  • 통제하기 어렵거나 불가능했던 대규모 사건 이후 행해진 자연 실험은 가능한 한 많은 변수를 수집하고 상관관계를 끌어낸다.
  • 더 적은 제어장치를 적용할 수 있는 자연 환경에서 관찰되는 현장 실험은 더 나은 외부 유효성의 이점을 갖는다.

각 유형의 실험이 온라인으로 채택되는 것은 몇 가지 장애물에 직면해 있다.

혜택들

웹 기반 실험은 비용이 현저히 저렴하여 잠재적으로 연구자가 다음을 수행할 수 있다.

  • 희귀하거나 특정한 하위[5] 집단뿐만 아니라 더 다양한 샘플에 도달
  • 실험을 더 빨리[5] 실행
  • 더 높은 통계 능력을[6][7] 제공하는 더 큰 환자 풀 모집
  • 문화간 사회실험을 실시간으로[8] 실시

이러한 편익은 연구를 위한 더 큰 외부적 타당성과 일반화 가능성으로 해석될 수 있는 잠재력을 가지고 있다. 예를 들어, 웹 기반 실험에서는 사회과학 분야의 기본 연구 과목으로 자주 사용되는 서구 대학생들의 모집단에서 수집된 데이터에 대한 의존도가 적다.[9] 참여자들이 실험에 참여하면서 집이나 사무실에 남아 있기 때문에 학자들은 이런 실험이 생태학적 타당성이 더 크다고 주장하기도 했다.[5]

비판과 한계

웹 기반 실험은 실험실 기반 실험에 비해 실험 통제가 약할 수 있으며 신뢰성과 내부 타당성을 보장하는 절차를 마련하는 데 더 큰 어려움에 직면할 수 있다.[10] 또한 온라인 자연 및 현장 실험은 조사 결과가 수행된 온라인 상황을 넘어 조사 결과를 일반화하는 도전에 직면할 수 있다. 웹 기반 실험에 의해 직면하는 잠재적 어려움은 다음과 같다.

  • 실험 참여 대상자의 신원 확인 어려움
  • 실험 지침이 무시되거나 너무 부주의하게 읽혀져 품질 데이터가[11] 저하됨
  • 인지적이고 이성적인 것보다 본능적이고 감정적인 추론 과정을 유발하는 온라인 참가자의 의사결정 시간이 단축되어 피실험자가 평균적으로[1][12] 친사회적 결정을 더 많이 내릴 수 있음
  • 실험 과정 중에 발생하는 상당한 산만함은 연구자들에게 알려지지 않았다.
  • 실험에서 선택적으로 중퇴하는 환자, 특히 중퇴가 독립 변수와 상관되는 경우
  • 네트워크 연결 속도 및 신뢰성, 브라우저 및 컴퓨터 유형,[5] 화면 크기 및 해상도 등으로 인한 데이터 변동
  • 실험을 덜 진지하게 받아들이고 덜 위험[13] 회피적으로 행동하는 대상
  • 실제 인간 파트너와 상호 작용하고 있다고 믿지 않는 대상
  • 실험 종료 시 보상에 대한 우려사항 또는 지급 처리[14] 익명성
  • 주로[5] 영어를 사용하는 컴퓨터 사용자들이 참여하는 비대표적인 성격

이러한 비판에 직면하여, 일부 연구자들은 더 이상 그렇지 않더라도, 벽돌과 사물의 실험은 이러한 문제들에 의해 영향을 받는 것과 마찬가지라고 주장해왔다.[15][16][17]

웹 기반 실험의 내부 타당성을 시험해, 실험 조건(온라인과 오프라인)에 걸쳐 비교하고, 소견을 성공적으로 복제하기 위한 연구가 실시되었다. 예를 들어, Schoeffler 외 연구진(2013)은 청각 실험의 실험실 및 웹 기반 결과(62과 1,168과 1,168 과목)를 비교했지만, 유의미한 차이는 발견되지 않았다.[18] 행동경제학의 쌍방향 실험은 온라인과 전통적인 실험실 환경으로 나뉘어져 실질적으로 유사한 결과를 낳았다.[1] LabintheWild에 대한 불만족스럽고 감독되지 않은 주제들은 유사한 데이터 품질을 가지고 이전의 연구소 내 연구 결과를 복제하는 것으로 나타났다.[19]

방법론

웹 기반 실험과 관련된 어려움을 예방하거나 통제하기 위한 실험 프로토콜이 제안되었다. 순차적 주제 일치, 배경 타이밍과 마우스 사용 추적, 페이팔을 통한 즉각적인 보상과 같은 방법들은 웹 기반 실험의 내부 타당성에 대한 많은 우려를 해결할 수 있는 잠재력을 가지고 있다.[1] 이러한 방법은 응답 시간 차이를 제어하고, 선택적 소모, 집중 및 주의 산만 문제를 해결하며, 보상에 대한 주체의 우려를 최소화하고, 실험에 실제 인간 파트너가 있다는 주체의 신뢰도를 개선하고, 실험 대상자가 지시사항과 데시시오에 대한 적절한 이해를 갖도록 보장한다.실험의 문제 n개.[1]

학자들은 또한 하이허들 기법(동시적으로 불리한 정보가 연구 초기에 군집화됨), 심각성 점검(연구 완료를 위한 참가자의 확률 추정 요구), 준비 단계(확률 동의서 양식 또는 oth) 등 중퇴자를 감소시키거나 설명하기 위한 기법을 공식화했다.사전 스터디 자료를 먼저 가져와 스터디가 시작되기 전에 샘플을 채취하십시오.)[5]

예

심리학에서 사용하다.

광범위한 심리 실험이 웹에서 행해진다. 웹 실험 목록은 참가자를 모집하고 과거의 실험(700여 개, 성장)을 기록하기 위한 방법을 제공한다.[20] 웹 실험을 설계하기 위한 좋은 자원은 무료 벡터 도구인데, 이 도구는 "실험 절차에 필요한 맞춤형 웹 페이지를 동적으로 생성"하며, 사용이 현저히 용이하다.[21] 웹 실험은 실험실 연구와 현장 연구의 결과를 검증하고 온라인에서 실행해야만 가능한 새로운 실험을 수행하는 데 이용되었다.[5] 또한 웹 실험을 위해 만들어진 재료는 나중에 원할 경우 전통적인 실험실 환경에서 사용될 수 있다.

웹 실험을 이용한 학제간 연구가 증가하고 있다. 예를 들어, 많은 심리학자와 법률 연구자들이 데이터를 수집하기 위해 웹을 이용했다. 로라 레베트와 마가렛 불 코바라는 반대되는 전문가 증인들이 신뢰할 수 없는 전문가 증거에 대해 배심원들을 교육시키는데 효과적인지 여부를 조사했다.[22] 연구자들은 배심원들이 다른 전문가의 증언의 결함에 대해 민감하게 반응하기 보다는, 모든 전문가 증언에 대해 더 회의적이라는 것을 발견했다. 그녀의 실험에서, 이것은 더 많은 유죄 평결을 이끌어냈다. 레베트와 코바의 연구는 실험의 서면 기록을 사용했는데, 참가자들은 결정을 내리기 전에 이 내용을 읽었다. 이러한 유형의 자극은 생태학적 타당성이 결여되어 있다는 일부 연구자들로부터 비판을 받아왔다. 즉, 실제 실험에 가까운 것은 아니다. 많은 이들은 가능한 경우 비디오 사용을 권장한다. 뉴욕대 연구진은 현재 형사재판 영상을 활용한 심리·법률 연구를 진행하고 있다.[23]

살포드 대학의 연구원들은 현재 온라인에서 건전한 인식을 탐구하기 위해 많은 연구를 수행하고 있다.[24] 웹을 통한 음향 실험은 특히 음향 재생 장비에 대한 통제력이 부족하기 때문에 어렵다.

살가닉, 도드즈, 와츠 등은 특히 노래의 인기도에서 사회적 영향력을 측정하는 실험을 했다. 그들의 인터넷 사용은 14,000명 이상의 참가자들을 모으고 개인과 집단 행동 사이의 관계를 조사할 수 있게 했다.[7]

경제학에서 사용

경제학에서 실험이 많아지면서 적절한 방법론과 연구조직에 대한 의문이 제기되고 있다. 제롬 헤르게눅스와 니콜라스 재케멧은 온라인과 직접 사회적 선호도와 위험 혐오도를 비교하기 위해 '온라인 실험실'을 개발했다. 그들은 경제학에서 웹 기반 실험의 내부적 타당성을 평가하기 위한 방법으로 온라인과 실험실에서 모두 그룹에게 위험 회피 평가, 퍼블릭 굿 게임, 트러스트 게임, 독재자 게임, 얼티메이텀 게임을 시행했다.[1]

정치학에서 사용하다.

6100만 페이스북 사용자를 대상으로 실시한 온라인 현장 실험은 투표, 투표소, 친구의 투표 행동에 대한 정보를 받는 것이 개인들로 하여금 정치적 정보를 찾도록 유도했는지, 정치적 자기표현에 영향을 미쳤는지, 실제 투표 행동을 변화시켰는지를 실험했다.[8]

인터넷 연구에 사용

웹 기반 실험은 온라인 커뮤니티가 어떻게 운영되는지에 대한 연구에 특별한 만족감을 가지고 있다. 온라인 커뮤니티와 소셜 네트워크에 대한 연구를 포함한 인터넷 연구는 자연 및 현장 실험을 사용하여 동료 생산에서 비공식 보상이 위키피디아에 미치는 [25][26]영향뿐만 아니라 킥스타터, Change.org, 에피니언스, 위키피디아에 대한 초기 인식과 지원이 향후 성공에 미치는 영향을 파악했다.[27] 또 다른 실험에서는 위키피디아에 지능적인 과제 할당 프로그램을 도입하는 편집 비율에 미치는 영향을 살펴보았다.[28]

참조

  1. ^ a b c d e f Hergueux, J.; Jacquemet, N. (2014). "Social preferences in the online laboratory: a randomized experiment" (PDF). Experimental Economics. 18 (2): 251–283. doi:10.1007/s10683-014-9400-5. S2CID 14347177.
  2. ^ 립스, U.D. (2007) 인터넷 기반 실험의 방법론. A. Junson에서 K. 맥케나, T. 포스트메스 & U.D. 립스 (Eds.) 옥스퍼드 인터넷 심리학 핸드북 (pp. 373-390) 옥스퍼드: 옥스퍼드 대학 출판부
  3. ^ 립스, U.D. & 크랜츠, J. H. (2010) 웹에서 실제 실험을 하는 중. S. Gosling & J. Johnson에서, 행동 과학에서의 고급 인터넷 방법들 (pp. 193-216). 워싱턴 DC: 미국 심리학 협회
  4. ^ Lourenco, Stella F.; Tasimi, Arber (2020-08-01). "No Participant Left Behind: Conducting Science During COVID-19". Trends in Cognitive Sciences. 24 (8): 583–584. doi:10.1016/j.tics.2020.05.003. ISSN 1364-6613. PMC 7211671. PMID 32451239.
  5. ^ a b c d e f g Reips, Ulf-Dietrich (2002). "Standards for Internet-Based Experimenting" (PDF). Experimental Psychology. 49 (4): 243–56. doi:10.1026/1618-3169.49.4.243. PMID 12455331.
  6. ^ Kramer, A. D. I.; Guillory, J. E.; Hancock, J. T. (2014). "Experimental evidence of massive-scale emotional contagion through social networks". Proceedings of the National Academy of Sciences. 111 (24): 8788–8790. Bibcode:2014PNAS..111.8788K. doi:10.1073/pnas.1320040111. PMC 4066473. PMID 24889601.
  7. ^ a b Salganik, M. J.; Dodds, P. S.; Watts, D. J. (2006). "Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market". Science. 311 (5762): 854–856. Bibcode:2006Sci...311..854S. doi:10.1126/science.1121066. PMID 16469928. S2CID 7310490.
  8. ^ a b Bond, R. M.; Fariss, C. J.; Jones, J. J.; Kramer, A. D. I.; Marlow, C.; Settle, J. E.; Fowler, J. H. (2012). "A 61-million-person experiment in social influence and political mobilization". Nature. 489 (7415): 295–298. Bibcode:2012Natur.489..295B. doi:10.1038/nature11421. PMC 3834737. PMID 22972300.
  9. ^ Henrich, J.; Heine, S. J.; Norenzayan, A. (2010). "The weirdest people in the world?" (PDF). Behavioral and Brain Sciences. 33 (2–3): 61–83. doi:10.1017/s0140525x0999152x. hdl:11858/00-001M-0000-0013-26A1-6. PMID 20550733. S2CID 220918842.
  10. ^ 호프만, 엠앤모건, J(2011년). 누가 개구쟁이야? 누가 나이스야? 온라인 산업의 사회적 선호도. UC 버클리 워킹 페이퍼.
  11. ^ Anderhub, V.; Müller, R.; Schmidt, C. (2001). "Design and evaluation of an economic experiment via the Internet". Journal of Economic Behavior & Organization. 46 (2): 227–247. doi:10.1016/s0167-2681(01)00195-0.
  12. ^ Kahneman, D. (2003). "Maps of bounded rationality: Psychology for behavioral economics". The American Economic Review. 93 (5): 1449–1475. doi:10.1257/000282803322655392.
  13. ^ Shavit, T.; Sonsino, D.; Benzion, U. (2001). "A comparative study of lotteries-evaluation in class and on the Web". Journal of Economic Psychology. 22 (4): 483–491. doi:10.1016/S0167-4870(01)00048-4.
  14. ^ Eckel, C. C.; Wilson, R. K. (2006). "Internet cautions: Experimental games with Internet partners". Experimental Economics. 9: 53–66. doi:10.1007/s10683-006-4307-4. S2CID 30675518.
  15. ^ 립스, U.D. (1996년 10월) 월드 와이드웹에 대한 실험. 1996년 시카고 심리학회에서 발표한 논문.
  16. ^ "Virtual labs: Is there wisdom in the crowd?". New Scientist. 16 March 2007.
  17. ^ http://www.apa.org/monitor/apr00/research.html
  18. ^ Schoeffler 외 연구진(2013). Polyphonic Music의 악기수 추정에 관한 실험 : 인터넷과 실험실 결과의 비교
  19. ^ Reinecke, Katharina; Gajos, Krzysztof Z. (2015-01-01). LabintheWild: Conducting Large-Scale Online Experiments With Uncompensated Samples. Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing. CSCW '15. New York, NY, USA: ACM. pp. 1364–1378. doi:10.1145/2675133.2675246. ISBN 9781450329224. S2CID 2739130.
  20. ^ http://wexlist.net
  21. ^ "WEXTOR Webserver".
  22. ^ Levett; Kovera (2008). "The Effectiveness of Opposing Expert Witnesses for Educating Jurors about Unreliable Expert Evidence". Law and Human Behavior. 32 (4): 363–74. doi:10.1007/s10979-007-9113-9. PMID 17940854. S2CID 809273.
  23. ^ 버지니아 vs. 맥나마라
  24. ^ "Internet sound experiments psychoacoustic tests University of Salford".
  25. ^ Restivo, Michael; Rijt, Arnout van de (2012-03-29). "Experimental Study of Informal Rewards in Peer Production". PLOS ONE. 7 (3): e34358. Bibcode:2012PLoSO...734358R. doi:10.1371/journal.pone.0034358. ISSN 1932-6203. PMC 3315525. PMID 22479610.
  26. ^ Zhu, Haiyi; Zhang, Amy; He, Jiping; Kraut, Robert E.; Kittur, Aniket (2013-01-01). Effects of Peer Feedback on Contribution: A Field Experiment in Wikipedia. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. CHI '13. New York, NY, USA: ACM. pp. 2253–2262. doi:10.1145/2470654.2481311. ISBN 9781450318990. S2CID 17167144.
  27. ^ Rijt, Arnout van de; Kang, Soong Moon; Restivo, Michael; Patil, Akshay (2014-05-13). "Field experiments of success-breeds-success dynamics". Proceedings of the National Academy of Sciences. 111 (19): 6934–6939. Bibcode:2014PNAS..111.6934V. doi:10.1073/pnas.1316836111. ISSN 0027-8424. PMC 4024896. PMID 24778230.
  28. ^ Cosley, Dan; Frankowski, Dan; Terveen, Loren; Riedl, John (2007-01-01). SuggestBot: Using Intelligent Task Routing to Help People Find Work in Wikipedia. Proceedings of the 12th International Conference on Intelligent User Interfaces. IUI '07. New York, NY, USA: ACM. pp. 32–41. doi:10.1145/1216295.1216309. ISBN 978-1595934819. S2CID 906034.

외부 링크