※ 본 콘텐츠는 '과학중심의학연구원(http://www.i-sbm.org)'이 제공하는 공익콘텐츠입니다. 이번 글은 미국의 사이언스베이스드메디슨 블로그의 편집인이자 예일대 의대 신경의학과 교수인 스티븐 노벨라(Steven Novella)의 글 'Are Most Medical Studies Wrong?'를 번역한 것입니다. 과학중심의학연구원 서범석 특보가 번역했으며, 과학중심의학연구원 황의원 원장이 편집했습니다.

(Are Most Medical Studies Wrong?)

저명한 의사인 존 이오아니디스(John Ioannidis)는 기존에 출판된 의학 연구 논문들의 결론이 상당수 잘못된 것으로 판명되었으며(Why Most Published Research Findings Are False), 대체로 올바른 결론이었다고 해도 치료법 등의 경우 그 ‘효과 크기(effect size)’가 애초에 과장된 경향을 보인다는 일련의 연구 결과들을 발표한 바 있다.(Contradicted and Initially Stronger Effects in Highly Cited Clinical Research)

아이러니한 점은, 존 이오아니디스는 애초 우리 과학적 의학(scientific medicine)의 전반적 질을 향상시키기 위한 목적으로 저와 같은 연구를 수행했음에도 불구하고, 몇몇 사이비들(cranks)이 의학의 과학적 기반을 공격하기 위해 저 연구 결과를 악용하고 있다는 사실이다.

이제는 고전이 된 이오아니디스의 저 연구 논문은, 저명 학술지에 출판되어 세간에 자주 인용되는 의학 연구들에 관한 ‘체계적 문헌고찰(systematic review)’ 연구를 수행한 결과를 담고 있다. 이오아니디스는 출판 후 20년이 지났을 때 해당 연구들의 초기 결과가 맞는 것으로 판명되었는지 혹은 틀렸던 것으로 판명되는지를 살펴보았다. 그가 발견했던 것은, 그 중 대다수가 틀렸던 것으로 후일 판명됐다는 것이다.
 

악용되고 있는 존 이오아니디스의 연구

학문을 하는 의사로서, 또 과학적 회의주의자로서, 내게 이오아니디스의 분석은 그렇게 놀랄 일만도 아니었다. 어이없는 것은, 어떤 이들이 저 연구의 진정한 함의를 엉뚱하게 왜곡하여 퍼뜨리고 있다는 것이다. 로버트 리 호츠(Robert Lee Hotz)는 '월 스트리트 저널'에 기고한 글을 통해 과학자들이 활용하고 있는 엉성한 방법론들이 그 핵심 문제라고 결론 지었다. 더 심각한 것은, ‘에이즈 바이러스(HIV)’의 존재를 부정하는 커뮤니티에서도 이 연구를 과학적 발견의 가치를 폄하하는 데 악용하고 있다는 점이다.

이오아니디스가 지적한 문제들이 일어나는 원인은, 부분적으로 생명과학 연구가 가진 시스템상의 이유 때문이다. 많은 연구들이 실상 조악하게 설계되고 있을 뿐만 아니라, 신뢰하기에는 지나치게 적은 수의 피험자들을 대상으로 하고 있는 것도 사실이다.

연구자와 학술지 출판인 모두 긍정적인 결과의 연구들은 애써 출판하려는 편향성을 띠지만, 부정적인 결과의 연구들은 스리슬쩍 간과하려는 경향성 - 소위 말하는 '서랍문 닫기 효과 (file-drawer effect, 번역자주 : 긍정적(positive) 결과들만이 주로 출판되어 나타나는 '출판 편향(publication bias)'을 가리키는 용어로 애초 예상한 결과가 나타나지 않은 결과물은 학술지 논문으로 출판되지 못하므로 그냥 묻어버리는 것을 가리킴)'가 있다는 것이다.

데이터를 적당히 만져서라도, 자신들의 연구 결과 - 그것이 예비적인 결과에 불과할지라도 - 를 반드시 출판하고자 하는 엄청난 유혹을 느끼는 연구자들이 있다. 때때로 노골적으로 사기(fraud)를 치는 자들도 당연히 나온다. 우리로서는 이러한 문제를 끊임없이 경계하고, 우리 시스템 내에서 이런 문제를 최소화할 수 있도록 유의할 필요가 있다. 그러나 이러한 것들만이 이오아니디스가 지적한 문제가 일어나는 주 요인은 아니다.

저명한 경제학자인 알렉스 타바록(Alex Tabbarok)은 이오아니디스의 연구를 탁월하게 요약하여 훨씬 더 의미 있는 맥락에서 통찰한 바 있다. 그는 통계적 연구 그 자체만으로는 다수의 긍정적 결과의 연구들이 하나같이 ‘거짓 양성(false positive, 편집자주 : 실제로는 부정적인 결과이지만 마치 긍정적인 결과인 것처럼 데이터가 나타나는 경우)’이었던 것으로 밝혀질 수 있다는 점을 지적했다. (Why Most Published Research Findings are False)
 

‘거짓 양성’을 경계하기 위해서는 ‘사전 확률’을 고려해야

이것은 다음과 같은 사실에서 기인하는 것이다. 순전히 우연하게라도 5% 정도의 연구에서 긍정적인 결과가 나올 수 있기 때문에 - 전형적인 ‘P값(P-value, 번역자주 : p 값은 연구자가 설정한 진위의 귀무가설에서 검정 통계치를 희소 또는 극한 값으로 얻을 확률 값을 말한다. 산출된 p 값이 낮을수록 표본자료에서 귀무가설을 기각할 증거가 강하다는 것이다. 모수 검증에서 얻어지는 모든 p 값들은 어떠한 귀무가설에서도 0과 1 사이의 범위값 안에서 균일분포를 갖는다.)’이 통계적으로 유의미한 의미를 가지는 한계치가 0.05라는 점을 가정한다면 - 대부분의 새로운 가설들은 틀리게 된다는 사실 말이다.

이것은, 만약 새로운 가설 중 80% 가 가설 자체로서 원천적으로 틀린 것이었다면, 관련해 출판된 연구논문 중 25% 는 ‘거짓 양성(false positive)’을 발표했다는 - 설사 연구 자체가 완벽했다손 치더라도 - 것을 의미한다.

하지만 다른 요소들도 작용하는 것이 사실이다. 타바록은 ‘사전 확률(prior probability)’을 고려해 엉터리 가설들을 더 많이 배제할수록 우리가 더 많은 ‘거짓 양성’ 연구들도 배제시킬 수 있다는 점을 지적했다.

사실 의학 연구에서 이렇게 하기란 매우 어렵다. 인간이라는 유기체는 극도로 복잡하기 때문에 어떤 의료적 처치에 의해서 순수한 임상적 효능이 발생할지를 그 이론적 배경만 가지고 따지는 것은 상당히 어렵다. 이런 이유 때문에라도 엉터리 가설들의 상당수를 검증할 필요가 생기게 된다.

비록 그 자신이 직접적으로 말을 하거나 한 것은 아니지만 타바록의 분석이 정조준하고 있는 것은 바로 다음과 같은 사실이다. 바로 ‘사전 확률’을 고려하지 않을 경우, 애초부터 ‘거짓 양성’ 연구들이 가진 문제점이 더욱 심각해 진다는 것이다. 이것이야말로 정확히 보완대체의학(CAM) 분야 연구에서 벌어지고 있는 상황이다. 보완대체의학 치료법들 - 동종요법(homeopathy)이나 접촉요법(therapeutic touch)과 같은 - 이 전제하고 있는 가설이 맞을 가능성, 곧 사전 확률은 본질적으로 ‘제로(0)’니까 말이다.

만약 우리가 타바록의 분석을 보완대체의학에 적용한다면, 보완대체의학계에서 발표되는 연구 논문들에서 현재 우리가 볼 수 있는 문제점들 - ‘거짓 양성’ 반응을 수반하는 수두룩한 잡스런 정보들 - 에 관해 그가 정확하게 짚어내고 있다는 것을 알 수 있다.

타바록은 더 많은 서로 다른 연구자들이 하나의 특정 가설을 연구하고 있을수록, 그 중 누군가는 그 가설을 지지하는 긍정적 결과를 도출할 가능성이 더 높아질 수 밖에 없다는 점도 지적하였다. 그리고 세상에는 그런 긍정적 결과의 연구들만 쏙쏙 뽑아서 자기 멋대로 이용하는 자들이 항상 있게 마련이다. 이것 또한 보완대체의학계에서 벌어지고 있는 행태들을 탁월하게 짚어낸 것이라고 할 수 있다.

우리는 이오아니디스가 과학적 의학을 폄하하거나 폐기하려고 서두에 언급한 연구를 행한 것이 아니라는 점을 정확히 알아야 한다. 그는 의학 관련 문헌들을 평가하거나 혹은 무엇을 연구할 것인지 결정할 때 ‘사전 확률(prior probability)’이라는 개념을 재도입하는 것이 얼마나 중요한지를 보여주려고 한 것이다.
 

과학적 개연성을 통해 의학적 가설을 검토해야

나는 ‘근거중심의학(Evidence-Based Medicine)’을 지지하는 입장이지만, 근거중심의학이 과학중심의학(Science-Based Medicine)과는 달리 ‘사전 확률’을 고려하지 않는 점을 안타깝게 생각한다. 나는 일전에도 이것이 얼마나 심각한 문제인지를 논한 적이 있다. 이오아니디스의 연구는 내 생각을 통계적으로 정확히 뒷받침해주고 있는 것이다.

‘거짓 양성’ 반응을 최소화하는 가장 좋은 방법 중 하나는, 연구 대상인 치료법의 개연성(plausibility)을 신중히 숙고해 보는 것이다. ‘보완대체의학’ 신봉자들은 극히 미약한 가능성(= 개연성)의 세계에 살고 있는 탓에, 자신들의 가설이 과연 제대로 입증될 개연성이 있는지 없는지 통찰하는 것을 극도로 꺼리고 있다.

단순히 과학적 개연성이 있나 없나를 고려해 보는 것만으로도, 과학적 개연성이 적거나 아예 전무한 의학적 치료법을 연구하는 데 열심인 ‘미국보완대체의학국(National Center for Complementary and Alternative Medicine, 편집자주 : 한국의 국립 한국한의학연구원과 같은 기관으로, 침술을 포함한 각종 보완대체의학에 대해 연구하는 정부 주도 기관이다.)’을 한 방에 보내버릴 수 있을 것이다.

타바록은 이오아니디스가 기존에 행한 연구의 관점에서 의학 논문을 검토할 때 유념해야 할 원칙 목록에 대해 기술한 바 있다. 나로서는 지금까지 언급한 것 이외에 티바록이 한 말에 더 덧붙일 것이 없으므로 그의 말을 그대로 여기에 ‘붙여 넣기’ 하겠다:

1) 어떤 의학 연구가 되었든지 간에 그것을 평가할 때, 별 의미 없는 ‘잡스런 정보(noise)’의 양을 고려해야 한다. 다시 말해, 검증되는 가설들이 많아질수록 선택되는 가설들은 점점 더 적어지게 마련이므로 당신이 실은 ‘잡스런 정보’를 들여다 보고 있을 가능성이 높다는 것을 유념해야 한다는 것이다. 

2) 표본이 되는 샘플은 많을 수록 더 좋다. (샘플 양이 많다손 치더라도 관찰 연구에서 발생하는 문제들을 해결하는 것은 전혀 별개의 문제라는 점을 잊지 말아야 할 것이다.) 

3) 사소한 효과는 믿을 필요가 없다. 

4) 출처가 많고 다양한 근거들이 바람직하다. 

5) 개개의 논문들만을 평가하는 것은 의미가 없다. 

6) 저자의 이론을 검증하는 경험적 논문보다는 다른 연구자의 이론들을 검증하는 경험적 논문을 더 믿을 필요가 있다. 

7) 학술지 편집자로서, 또는 논문 심사 위원으로서, 아무 가치도 없는 가설들을 받아들이기를 거부한 연구 논문들을 용인할 필요가 있다.

모두 지당하기 짝이 없는 말씀이다. 나로서는 타바록의 유념해야할 원칙 목록에 이것 하나만 추가하고 싶다. 바로 저 보완대체의학 열혈 신봉자들이 미친 듯이 추구하는 이중 기준(double standard) - 종종 ‘의료선택권 전면자유화(health freedom)’라는 명목으로 거짓 위장을 한 - 을 이제는 폐기해야만 한다는 것이다. 만약 우리가 동일한 과학적 기준을 보완대체의학 분야건 현대의학 분야건 간에 가릴 것 없이 모든 의학 연구에 적용할 수만 있다면, 보완대체의학의 판타지적 헛소리들은 단순히 배경에서 들리는 잡음과도 같이 차츰 사그라질 것이 뻔하다. 

과학적 의료 처치에 관해 논할 때, 타바록이 말했던, 단일 연구가 아닌 관련 연구 문헌 전체를 평가해야 한다는 점도 재차 강조하고 싶다. 이오아니디스는 독자적인 단일 연구들을 후일의 관련 연구 문헌들 전체와 비교하였다. 후일의 관련 연구 문헌들을 절대적 기준(gold standard)으로 삼아서 말이다.

이것은 초기 단일 의학 연구가 반드시 잘못되었다는 점을 의미하지는 않는다. 단지 연구형 질문(research question, 편집자주 : 연구의 가설을 입증하기 위해서 가설을 질문 형태로 던져 제시하는 것)이 분별 있어야 한다는 것이다, 이는 신뢰할 만한 결론에 도달하기 위해서는, 서로 다른 독자적인 연구자들이 행한 연구들이 충분히 축적될 필요가 있다는 것을 의미할 뿐이다.
 

합리적인 공공건강관리 시스템은 과학중심의학적 태도를 요구한다

이오아니디스의 연구가 임상의사들에게 던지는 메시지는 명확하다. 발표되는 모든 의학 연구들에 과잉 반응할 필요는 없으며, 별다른 근거도 없이 튀어나온 ‘의학을 가장한 것들’(knee-jerk)‘에 신경을 쓸 필요 역시 없다는 것이다. 발표된 연구들을 냉정하고 이성적인 시각에서 분석하고 경험적 원칙에 따라 판단해야 할 것이다. 이 모든 것을 행했을 때라야만 매우 신뢰할 수 있는 ‘과학중심의학(science-based medicine)’을 추구하는 것이 가능해질 것이다.

이오아니디스의 연구가 사회에 던지는 메시지 역시 명확하다. 합리적인 공공건강관리 시스템에서의 치료법이라면, 그것은 현존하는 최상의 근거뿐만 아니라 온당한 과학적 추론에도 그 근간을 둔 것이어야 한다. 긍정적인 면이 많으나 여전히 불충분한 ‘근거중심의학(evidence-based mediicine)’적 태도가 아닌, 내가 강조하는 완전한 의학인 ‘과학중심의학(science-based medicine)’적 태도를 가져줘야 할 것이다.

또한, 그 어떤 단일한 연구도 반드시 더 폭넓은 다른 연구 문헌들과의 연결 고리와 맥락 하에서 판단되어야 할 것이다. 이것은 비단 과학을 다루는 언론 매체뿐만 아니라 우리 개개인들은 명심해야할 명제이다.

별다른 과학적 맥락도 없는 어떤 연구 결과 하나 - 거의 항상 ‘혁신적’이라는 수식어로 포장되는 - 만을 가지고 언론 매체가 흥분해서 대단한 발견인양 떠들어 댄다면, 그 막대한 폐해는 결국 대중들에게 고스란히 돌아가기 마련이다.


관련기사:

'과학중심의학'이란 무엇인가

과학중심의학과 근거중심의학

왜 “근거”중심의학이 아니라 “과학”중심의학인가?

중국산 '근거중심의학'의 문제점

현대의학은 얼마나 근거중심의학적인가?


역자 프로필 :

퇴몽사(退蒙士) 서범석

현재 입시 관련 정보를 다루는 회사에서 일하고 있다. 사회기여활동으로서 과학중심의학연구원의 ‘홍보특별보좌관’도 겸임하고 있다. 경희대학교에서 경제학을 전공했으며, 성균관-조지타운 대학교 TESOL 과정을 수료했다. 20년 넘게 중증 아토피로 고생하며 여러 대체 의학을 접했지만, 그 허상에 눈을 뜬 후 사이비 의‧과학 속에 자리잡고 있는 ‘몽매주의’를 퇴치하는 번역 및 집필 작업에 뛰어들었다.

저서: Q&A TOEIC Voca, 외국어영역 CSI(기본), 외국어영역 CSI(유형), 외국어영역 CSI(장문독해)