출판 편향

Publication bias
보도편향이나 미디어편향과 혼동하지 말 것.

출판된 학술 연구에서 출판 편향은 실험이나 연구 연구 결과가 출판 또는 배포 결정을 편향시킬 때 발생한다.유의한 결과를 나타내는 결과만 발표하면 긍정적인 [1]결과를 위해 결과의 균형이 깨집니다.출판편향에 대한 연구는 메타과학에서 중요한 주제이다.

실행 및 [2]설계의 질은 비슷하지만 통계적으로 유의한 결과를 가진 논문은 null [3]결과를 가진 논문보다 발행될 가능성이 3배 높다.이는 연구자들이 데이터 [4]준설과 같은 통계적으로 유의한 결과를 보장하기 위해 자신들의 관행을 조작하도록 과도하게 동기를 부여한다.

많은 요소들이 출판 [5]편향에 기여한다.예를 들어, 과학적 발견이 잘 확립되면, 귀무 [6]가설을 부인하지 못하는 신뢰할 수 있는 논문을 발표하는 것이 뉴스거리가 될 수 있다.대부분의 경우 조사관들은 단순히 결과 제출을 거부하여 무응답 편향을 초래합니다.조사자들은 또한 그들이 실수를 했다고 가정하거나, null 결과가 알려진 결과를 뒷받침하지 못하거나, 주제에 대한 흥미를 잃거나, 다른 사람들이 null [2]결과에 관심이 없을 것이라고 예상할 수 있다.이러한 문제들의 본질과 결과적인 문제들은 과학을 위협하는 다섯 가지 질병들을 형성합니다: "중대증, 통계적으로 유의한 결과에 대한 과도한 집중; 신우병, 새로움에 대한 과도한 인식; 이론, 새로운 이론에 대한 마니아; 이론적이고 경험적인 작업의 엄격함의 결핍; 그리고 마지막으로, 분리.이는 중복되고, 사소하며, 일관성이 없는 [7]많은 작업을 생성하는 경향입니다."

발표되지 않은 연구를 찾으려는 시도는 종종 어렵거나 [5]만족스럽지 못하다.이 문제에 대처하기 위해 일부 저널은 공개과학센터 등의 기관에 사전 등록(데이터 수집 및 분석 전)을 위해 연구를 제출하도록 요구하고 있습니다.

출판[5] 편향을 감지하고 통제하기 위해 제안된 다른 전략에는 p-곡선[8] 분석과 오류 및 [2]편향에 대한 높은 민감성으로 인해 소규모 및 비임의 연구를 선호하지 않는 것이 포함된다.

정의.

출판 편향은 연구 결과의 출판이 연구의 질뿐만 아니라 테스트된 가설, 그리고 [9]검출된 효과의 유의성과 방향에 따라 결정될 때 발생한다.이 주제는 1959년 통계학자 테오도르 스털링이 "성공적인" 연구가 출판될 가능성이 높은 분야를 언급하기 위해 처음 논의했다.그 결과, "이러한 분야의 문헌은 유의미한 통계적 테스트의 제1종 오류에서 비롯된 잘못된 결론의 상당 부분을 구성한다."[10]최악의 경우, 부정적인 결과의 공표율이 너무 [11]낮으면 잘못된 결론이 사실로 입증될 수 있다.

게시 편향은 파일 드로어 효과 또는 파일 드로어 문제로 불리기도 합니다.이 용어는 연구자의 가설을 뒷받침하지 않는 결과가 연구자의 파일 드로어보다 더 멀리 가지 않는 경우가 많아 출판된 [12]연구에 편견이 있음을 시사한다."파일 드로어 문제"라는 용어는 심리학자인 로버트 로젠탈에 [13]의해 1979년에 만들어졌다.

출판 편향의 일종인 긍정적인 결과 편향은 저자가 부정적인 결과나 결론적이지 [14]않은 결과보다 긍정적인 결과를 제출할 가능성이 높거나 편집자가 받아들일 가능성이 높을 때 발생합니다.결과 보고 편향은 여러 결과를 측정하고 분석할 때 발생하지만, 이러한 결과의 보고는 결과의 강도와 방향에 따라 달라진다.이러한 사후 선택을 설명하기 위해 만들어진 총칭은 HARKing('결과가 알려진 후 최대화')[15]입니다.

증거

여학생들의 수학점수에 대한 고정관념 위협의 메타분석. 출판편향의 전형적인 비대칭성을 보여준다.Flore, P. C., & Wicherts, J. M. (2015년)[16]부터

생물의학 분야의 출판 편향에 대한 광범위한 메타 연구가 있다.윤리 위원회(또는 규제 당국)에 프로토콜 제출부터 결과 발표까지 임상시험을 수행한 조사자들은 양성 결과가 나온 조사자들이 [17][18][19]발표될 가능성이 더 높다는 것을 관찰했다.또한, 연구 프로토콜과 발표된 [20][21]논문을 비교하는 연구에서 입증되었듯이, 연구는 종종 발표될 때 부정적인 결과를 보고하지 못한다.

메타 분석에서 출판 편향의 존재가 조사되었다.그러한 가장 큰 분석은 코크레인 라이브러리의 [22]치료법에 대한 체계적인 검토에서 출판 편향의 존재를 조사했다.연구는 통계적으로 유의한 발견이 다른 발견보다 효과의 메타 분석에 포함될 가능성이 27% 더 높다는 것을 보여주었다.부작용의 증거가 없는 결과는 부작용을 나타내는 통계적으로 유의한 결과보다 안전성 연구에 포함될 확률이 78% 더 높다.저명한 의학 [23]저널에 발표된 메타 분석에서 출판 편향의 증거가 발견되었다.

메타 분석에 미치는 영향

출판 편견이 존재하는 경우, 발표된 연구는 더 이상 이용 가능한 증거의 대표 표본이 아니다.이러한 편견은 메타 분석과 체계적인 검토의 결과를 왜곡한다.예를 들어, 증거 기반 의학은 증거를 평가하기 위해 메타 분석에 점점 더 의존하고 있다.

메타 분석과 체계적 검토는 미발표 연구와 회색 문헌의 증거를 포함함으로써 출판 편향을 설명할 수 있다.출판 편향의 존재는 보고된 효과 크기의 추정치가 정밀도 또는 표본 크기의 측정에 대해 플롯되는 깔때기 그림을 구성함으로써 탐색할 수 있다.전제는 점의 산란에는 깔때기 모양이 반영되어야 하며, 효과 크기의 보고가 통계적 [24]유의성과 관련이 없음을 나타낸다.그러나 소규모 연구가 주로 한 방향으로 진행되면(일반적으로 더 큰 효과 크기의 방향), 비대칭이 따르며 이는 출판 [25]편향을 나타낼 수 있다.

깔때기 플롯의 해석에는 불가피한 주관성이 존재하기 때문에 깔때기 플롯의 [24][26][27]비대칭성을 검출하기 위한 몇 가지 테스트가 제안되었다.이는 흔히 일반적인 에거 회귀 검정을 [28]포함한 선형 회귀 분석을 기반으로 하며, 연구 간 이질성의 존재에 따라 조정하기 위해 승법 또는 가법 분산 매개변수를 채택할 수 있다.일부 접근법은 출판 편향의 (잠재적)[22][29][30] 존재에 대한 보상을 시도할 수도 있으며, 이는 메타 분석 [31][32][33]결과에 대한 잠재적 영향을 탐색하는 데 특히 유용하다.

보상 사례

항우울제로서의 레복세틴의 효과에 대한 두 가지 메타 분석은 임상 시험에서 출판 편견을 감지하려는 시도를 보여주었다.긍정적인 시험 데이터를 바탕으로 2001년 유럽과 영국의 많은 국가에서 우울증에 대한 치료제로 처음 통과되었다(실제로는 거의 사용되지 않지만).2010년 메타분석 결과, 리복세틴은 효과가 없었고 양성 결과 시험의 우세는 주로 의약품 제조업체인 화이자(Phizer)가 발표한 시험 때문에 출판 편향을 반영했다고 결론지었다.2011년에 발표된 후속 메타 분석에서는 원본 데이터를 기반으로 2010년 분석에서 결함을 발견했으며, 표시된 데이터가 심각한 우울증에 효과적이었다(Reboxetine efficacy Effectival 참조).출판 편향의 예는 Ben Goldacre와[34] Peter Wilmshurst에 [35]의해 제시되었다.

사회과학에서는 기업의 사회성과와 재무성과 간의 관계를 탐구하는 출판된 논문의 연구에 따르면 "경제학, 재무학 및 회계학 저널에서 평균 상관관계가 사회문제 관리, 비즈니스 윤리학 또는 비즈니스 및 사회 연구소에서 발표된 결과의 절반 정도에 불과했습니다.[[36]nals] 를 클릭합니다.

출판편향의 한 예로, 성격과 사회심리학 저널(Bem의 [37]기사의 원래 발행자)이 사전 인지 증거를 주장한 펨의 작품을 복제하려는 시도를 출판하는 것을 거절하는 것을 들 수 있다.

중국에서 유래한 유전자-질병 관련 연구와 중국 밖에서 유래한 유전자-질병 관련 연구를 비교한 결과, 중국에서[38] 수행된 유전자-질병 관련 연구는 더 강한 연관성과 통계적으로 더 유의한 [39]결과를 보고했다.

리스크

John Ioannidis는 "주장된 연구 결과는 흔히 널리 퍼져 있는 [40]편견의 정확한 척도가 될 수 있다"고 주장한다.그는 다음과 같은 요인들을 긍정적인 결과를 가진 논문을 만드는 요인들로 열거한다.

  • 현장에서 수행된 연구는 표본 크기가 작습니다.
  • 필드의 효과 크기는 더 작은 경향이 있습니다.
  • 테스트된 관계에는 더 많은 수의 사전 선택과 더 적은 수의 사전 선택 모두 있습니다.
  • 설계, 정의, 결과 및 분석 모드에서 유연성이 향상되었습니다.
  • 편견이 있다(재정적 이익, 정치적 이익 등)이 있다.
  • 과학 분야가 뜨겁고 출판을 추구하는 과학팀도 많아졌다.

다른 요인으로는 실험자 편중과 화이트 햇 편중이 있습니다.

구제책

출판 편향은 보다 강력한 연구, 강화된 연구 기준, 진실된 [40]관계와 사실이 아닌 관계에 대한 신중한 검토를 통해 억제될 수 있다.더 나은 연구란 최종 결과를 제공하거나 주요 개념을 테스트하여 저바이어스 메타 분석으로 이어지는 대규모 연구를 말합니다.프로토콜 사전 등록, 데이터 수집 등록 및 확립된 프로토콜 준수와 같은 향상된 연구 표준도 다른 기법입니다.거짓-양성 결과를 피하기 위해 실험자는 두 결과가 참 또는 비참 관계를 검정할 가능성을 고려해야 합니다.이는 테스트의[41] 통계적 힘에 기초한 거짓 양성 보고 확률을 적절히 평가하고 최소한의 편견이 있는 것으로 알려진 선행 연구의 확립된 발견을 (윤리적으로 허용될 때마다) 재확인함으로써 수행될 수 있다.

스터디 등록

상세 정보:등록된 보고서 및 임상시험 등록

2004년 9월, 저명한 의학 저널(뉴잉글랜드 의학 저널, 랜싯, 내과 연보 및 JAMA 포함)의 편집자들은 그 연구가 다음 임상 시험 등록 데이터베이스에 등록되지 않는 한, 제약 회사들에 의해 후원된 약물 연구 결과를 더 이상 발표하지 않을 것이라고 발표했다.시작.[42]또한 일부 저널(예: 시험)은 저널에 [43]연구 프로토콜을 게시하도록 권장한다.

세계보건기구(WHO)는 모든 임상시험에 대한 기본 정보를 연구 시작 시점에 등록해야 하며, 이 정보는 WHO 국제임상시험 등록 플랫폼을 통해 공개적으로 접근할 수 있어야 한다는 데 동의했다.또한,[44] 시험 보고서와 함께 완전한 연구 프로토콜의 공개 가용성은 연구에 있어 더욱 보편화되고 있다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Song, F.; Parekh, S.; Hooper, L.; Loke, Y. K.; Ryder, J.; Sutton, A. J.; Hing, C.; Kwok, C. S.; Pang, C.; Harvey, I. (2010). "Dissemination and publication of research findings: An updated review of related biases". Health Technology Assessment. 14 (8): iii, iix–xi, iix–193. doi:10.3310/hta14080. PMID 20181324.
  2. ^ a b c Easterbrook, P. J.; Berlin, J. A.; Gopalan, R.; Matthews, D. R. (1991). "Publication bias in clinical research". Lancet. 337 (8746): 867–872. doi:10.1016/0140-6736(91)90201-Y. PMID 1672966. S2CID 36570135.
  3. ^ Dickersin, K.; Chan, S.; Chalmers, T. C.; et al. (1987). "Publication bias and clinical trials". Controlled Clinical Trials. 8 (4): 343–353. doi:10.1016/0197-2456(87)90155-3. PMID 3442991.
  4. ^ Pearce, J; Derrick, B (2019). "Preliminary testing: The devil of statistics?". Reinvention: An International Journal of Undergraduate Research. 12 (2). doi:10.31273/reinvention.v12i2.339.
  5. ^ a b c H. 로스틴, A. J. 서튼, M.보렌스타인(2005).메타 분석의 출판 편향: 예방, 평가 및 조정.Wiley, Chichester, England, Hoboken, NJ.
  6. ^ Luijendijk, HJ; Koolman, X (May 2012). "The incentive to publish negative studies: how beta-blockers and depression got stuck in the publication cycle". J Clin Epidemiol. 65 (5): 488–92. doi:10.1016/j.jclinepi.2011.06.022. PMID 22342262.
  7. ^ Antonakis, John (February 2017). "On doing better science: From thrill of discovery to policy implications" (PDF). The Leadership Quarterly. 28 (1): 5–21. doi:10.1016/j.leaqua.2017.01.006.
  8. ^ Simonsohn, Uri; Nelson, Leif D.; Simmons, Joseph P. (2014). "P-curve: A key to the file-drawer". Journal of Experimental Psychology: General. 143 (2): 534–547. doi:10.1037/a0033242. PMID 23855496. S2CID 8505270.
  9. ^ K. Dickersin (March 1990). "The existence of publication bias and risk factors for its occurrence". JAMA. 263 (10): 1385–9. doi:10.1001/jama.263.10.1385. PMID 2406472.
  10. ^ Sterling, Theodore D. (March 1959). "Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa". Journal of the American Statistical Association. 54 (285): 30–34. doi:10.2307/2282137. JSTOR 2282137.
  11. ^ Nissen, Silas Boye; Magidson, Tali; Gross, Kevin; Bergstrom, Carl (20 December 2016). "Research: Publication bias and the canonization of false facts". eLife. 5: e21451. arXiv:1609.00494. doi:10.7554/eLife.21451. PMC 5173326. PMID 27995896.
  12. ^ Jeffrey D. Scargle (2000). "Publication bias: the "file-drawer problem" in scientific inference" (PDF). Journal of Scientific Exploration. 14 (1): 91–106. arXiv:physics/9909033. Bibcode:1999physics...9033S.
  13. ^ Rosenthal R (1979). "File drawer problem and tolerance for null results". Psychol Bull. 86 (3): 638–41. doi:10.1037/0033-2909.86.3.638.
  14. ^ D.L. Sackett (1979). "Bias in analytic research". J Chronic Dis. 32 (1–2): 51–63. doi:10.1016/0021-9681(79)90012-2. PMID 447779.
  15. ^ N.L. Kerr (1998). "HARKing: Hypothesizing After the Results are Known" (PDF). Personality and Social Psychology Review. 2 (3): 196–217. doi:10.1207/s15327957pspr0203_4. PMID 15647155.
  16. ^ Flore P. C.; Wicherts J. M. (2015). "Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis". J Sch Psychol. 53 (1): 25–44. doi:10.1016/j.jsp.2014.10.002. PMID 25636259.
  17. ^ Dickersin, K.; Min, Y.I. (1993). "NIH clinical trials and publication bias". Online J Curr Clin Trials. Doc No 50: [4967 words, 53 paragraphs]. ISSN 1059-2725. PMID 8306005.
  18. ^ Decullier E, Lheritier V, Chapuis F (2005). "Fate of biomedical research protocols and publication bias in France: retrospective cohort study". BMJ. 331 (7507): 19–22. doi:10.1136/bmj.38488.385995.8f. PMC 558532. PMID 15967761.
  19. ^ Song F, Parekh-Bhurke S, Hooper L, Loke Y, Ryder J, Sutton A, et al. (2009). "Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies". BMC Med Res Methodol. 9: 79. doi:10.1186/1471-2288-9-79. PMC 2789098. PMID 19941636.
  20. ^ Chan AW, Altman DG (2005). "Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors". BMJ. 330 (7494): 753. doi:10.1136/bmj.38356.424606.8f. PMC 555875. PMID 15681569.
  21. ^ Riveros C, Dechartres A, Perrodeau E, Haneef R, Boutron I, Ravaud P (2013). "Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals". PLOS Med. 10 (12): e1001566. doi:10.1371/journal.pmed.1001566. PMC 3849189. PMID 24311990.
  22. ^ a b Kicinski, M; Springate, D. A.; Kontopantelis, E (2015). "Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews". Statistics in Medicine. 34 (20): 2781–93. doi:10.1002/sim.6525. PMID 25988604. S2CID 25560005.
  23. ^ Kicinski M (2013). "Publication bias in recent meta-analyses". PLOS ONE. 8 (11): e81823. Bibcode:2013PLoSO...881823K. doi:10.1371/journal.pone.0081823. PMC 3868709. PMID 24363797.
  24. ^ a b Debray, Thomas P.A.; Moons, Karel G.M.; Riley, Richard D. (2018). "Detecting small-study effects and funnel plot asymmetry in meta-analysis of survival data: a comparison of new and existing tests". Research Synthesis Methods. 9 (1): 41–50. doi:10.1002/jrsm.1266. ISSN 1759-2887. PMC 5873397. PMID 28975717.
  25. ^ Light, Richard J.; Pillemer, David B. (1984). Summing Up: The Science of Reviewing Research. Cambridge, Mass.: Harvard University Press. pp. 65ff. doi:10.2307/j.ctvk12px9. ISBN 9780674854307. OCLC 1036880624.
  26. ^ Jin, Zhi-Chao; Zhou, Xiao-Hua; He, Jia (30 January 2015). "Statistical methods for dealing with publication bias in meta-analysis". Statistics in Medicine. 34 (2): 343–360. doi:10.1002/sim.6342. ISSN 1097-0258. PMID 25363575. S2CID 12341436.
  27. ^ Rücker, Gerta; Carpenter, James R.; Schwarzer, Guido (1 March 2011). "Detecting and adjusting for small-study effects in meta-analysis". Biometrical Journal. 53 (2): 351–368. doi:10.1002/bimj.201000151. ISSN 1521-4036. PMID 21374698. S2CID 24560718.
  28. ^ Egger, M.; Smith, G. D.; Schneider, M.; Minder, C. (13 September 1997). "Bias in meta-analysis detected by a simple, graphical test". BMJ. 315 (7109): 629–634. doi:10.1136/bmj.315.7109.629. ISSN 0959-8138. PMC 2127453. PMID 9310563.
  29. ^ Silliman N (1997). "Hierarchical selection models with applications in meta-analysis". Journal of the American Statistical Association. 92 (439): 926–936. doi:10.1080/01621459.1997.10474047.
  30. ^ Hedges L, Vevea J (1996). "Estimating effect size under publication bias: small sample properties and robustness of a random effects selection model". Journal of Educational and Behavioral Statistics. 21 (4): 299–332. doi:10.3102/10769986021004299. S2CID 123680599.
  31. ^ McShane, Blakeley B.; Böckenholt, Ulf; Hansen, Karsten T. (29 September 2016). "Adjusting for Publication Bias in Meta-Analysis". Perspectives on Psychological Science. 11 (5): 730–749. doi:10.1177/1745691616662243. PMID 27694467.
  32. ^ Sutton AJ, Song F, Gilbody SM, Abrams KR (2000). "Modelling publication bias in meta-analysis: a review". Stat Methods Med Res. 9 (5): 421–445. doi:10.1191/096228000701555244.
  33. ^ Kicinski, M (2014). "How does under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study". BMJ Open. 4 (8): e004831. doi:10.1136/bmjopen-2014-004831. PMC 4156818. PMID 25168036.
  34. ^ Goldacre, Ben (June 2012). What doctors don't know about the drugs they prescribe (Speech). TEDMED 2012. Retrieved 3 February 2020.
  35. ^ Wilmshurst, Peter (2007). "Dishonesty in Medical Research" (PDF). Medico-Legal Journal. 75 (1): 3–12. doi:10.1258/rsmmlj.75.1.3. PMID 17506338. S2CID 26915448. Archived from the original on 21 May 2013.
  36. ^ Orlitzky, Marc (2011). "Institutional Logics in the Study of Organizations: The Social Construction of the Relationship between Corporate Social and Financial Performance" (PDF). Business Ethics Quarterly. 21 (3): 409–444. doi:10.5840/beq201121325. S2CID 147466849. Archived from the original (PDF) on 25 January 2018.
  37. ^ Goldacre, Ben (23 April 2011). "Backwards step on looking into the future". The Guardian. Retrieved 11 April 2017.
  38. ^ Zhenglun Pan, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, John P.A. Ioannidis (2005). "Local literature bias in genetic epidemiology: An empirical evaluation of the Chinese literature". PLOS Medicine. 2 (12): e334. doi:10.1371/journal.pmed.0020334. PMC 1285066. PMID 16285839.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  39. ^ Ling Tang Jin (2005). "Selection Bias in Meta-Analyses of Gene-Disease Associations". PLOS Medicine. 2 (12): e409. doi:10.1371/journal.pmed.0020409. PMC 1285067. PMID 16363911.
  40. ^ a b Ioannidis J (2005). "Why most published research findings are false". PLOS Med. 2 (8): e124. doi:10.1371/journal.pmed.0020124. PMC 1182327. PMID 16060722.
  41. ^ Wacholder, S.; Chanock, S; Garcia-Closas, M; El Ghormli, L; Rothman, N (March 2004). "Assessing the Probability That a Positive Report is False: An Approach for Molecular Epidemiology Studies". JNCI. 96 (6): 434–42. doi:10.1093/jnci/djh075. PMC 7713993. PMID 15026468.
  42. ^ Vedantam, Shankar (9 September 2004). "Journals Insist Drug Manufacturers Register All Trials". Washington Post. Retrieved 3 February 2020.
  43. ^ "Instructions for Trials authors — Study protocol". 15 February 2009. Archived from the original on 2 August 2007.
  44. ^ Dickersin, K.; Chalmers, I. (2011). "Recognizing, investigating and dealing with incomplete and biased reporting of clinical research: from Francis Bacon to the WHO". J R Soc Med. 104 (12): 532–538. doi:10.1258/jrsm.2011.11k042. PMC 3241511. PMID 22179297.

외부 링크