[메타분석] 메타분석에서 통계학적 고려사항들(강현, 2015) (intro)

메타분석(meta analysis)은 내가 일하며 자주 쓰는 분석 중 하나이다. 어떠한 효과(effect)의 크기를 여러 데이터베이스 또는 연구에서 측정하였을 때, 이를 하나의 수치로 나타내어 종합적인 결론을 이끌어내는 통계적 분석 기법의 일종이다. 

(사실 메타분석의 대상이 꼭 OR, HR 등 effect 에 대한 것에 한정되지는 않는다. 평균(mean) 등에 대한 메타분석도 존재하고 자주 쓴다.)

 

이 시리즈에서는 메타분석이라는 통계학적 기법에 있어 개념과 특징, 고려사항을 정리한 아래 논문의 내용을 리뷰하고자 한다. 

(이하 제시된 내용의 주요 출처는 '메타분석에서 통계학적 고려사항들(강현, 2015)'의 내용을 기본으로 한다. 이해를 돕기 위해 나의 언어로 수정하였고, 고찰과 다른 출처의 내용 또한 포함되었다. 다른 출처의 내용에 대해서는 출처를 별도로 표시하도록 하겠다.)

 

https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART001962536

메타분석에서 통계학적 고려사항들

 

1. 메타분석의 장점(필요성)과 단점

강현(2015)에서는 메타분석의 장점을 다음과 같이 설명하고 있다. 

 

장점

 (1) 실험환경에 차이가 있는 독립적인 연구들을 종합하여 일반화시킬 수 있다. 

 (2) 많은 개별적인 연구결과를 근거로 가설을 검증하므로, 일부 연구결과에만 치우치지 않는 종합된 결과를 제시할 수 있다.

 (3) 표본수가 증가하므로 단일 연구로부터 개발한 효과크기(effect size) 보다는 신뢰할만한 효과 추정치를 얻을 수 있다. 

 (4) 상이한 연구결과가 있을 때, 그 원인 규명이 가능하다. 

 (5) 상반된 연구들 사이에서 발생하는 논쟁을 조절할 수 있다는 장점이 있다. 

 

단점

 (1) 마치 사과와 오렌지를 한 데 섞는 것과 같이 서로 비교할 수 없는 다른 성질의 연구결과들을 종합하려는 것은 비논리적이다. 

 (2) 타당성이 낮은 연구와 높은 연구의 결과를 구별하지 않고 그대로 종합하여 왜곡된 결론을 유도할 수 있다. 

 (3) 동일한 연구에서 여러 개의 결과를 얻었을 때 이 중 하나만 사용할 경우에는 정보를 상실할 수 있으며,
       여러 개 모두 쓸 경우 비독립적인 자료를 독립적인 것처럼 사용할 수 있다. 

(4) 종합할 연구를 수집할때 대개 출판된 연구만을 표집 대상으로 하기 때문에 연구물 표집의 대표성이 문제될 수 있다.

 

 

위 내용을 요약해 보면, 메타분석은 여러 개의 독립적인 추정치를 종합하여 종합된 결과를 제시하는 것으로, 표본 수가 증가하는 효과를 내어 메타분석의 추정치는 개별 분석의 추정치에 비해 작은 신뢰구간을 갖는다. 그러나 '단점'에서 제시되었다시피, 메타분석에 포함할 연구를 선택하는 데에 주의가 필요하며, 출판 비뚤림(Publication bias)라고도 표현하는 중요한 bias에 영향을 받을 수 있다.

 * 출판 비뚤림이란 쉽게 비유하면 다음과 같다. 어떤 연구 주제에 대하여 여러 연구진이 연구를 수행했다고 할 때, 통계적으로 유의한 결과를 얻은 연구진은 결과를 출판할 가능성이 높고, 유의하지 않은 결과를 얻은 연구진은 출판하지 않을 가능성이 높다. 사실 데이터 분석가의 입장에서는 두 결과 모두 중요한 결과이지만(유의하지 않다=의미가 없는 결과라는 것이 아니며, 귀무가설을 지지한다는 중요한 결과이다.), 도메인 특성 상 통계적으로 유의한 결과만이 의미 있는 결과라고 치부되는 경향이 있다. 내가 종사하고 있는 헬스케어 분야도 유독 그런 느낌을 많이 받는다. 

 

따라서, 서로 다른 여러 개의 연구 결과를 종합한 메타분석 결과를 무조건적으로 신뢰하는 것은 있어서는 안 되는 일이다. 메타분석 결과를 받아들이기 전, 메타분석에 포함된 연구들이 적절한 방법으로 선택되었는지에 대한 검토가 반드시 필요하다. 
다만, 내가 주로 수행하는 메타분석은 체계적 문헌고찰(systematic review)에 따른 메타분석보다는 같은 연구 설계에 따라 생성된 동일한 분석코드를 여러 개의 독립적인 데이터셋에서 수행하여 나온 추정치를 종합하는 것으로, 이상의 '단점'에서 제시된 연구의 선택 문제, 출판 비뚤림 문제에서는 다소 자유로운 편이다. 다만, 같은 분석을 수행한 결과라고 하여도 너무 이상한 결과가 나온 것은 분석과정에서 확인되지 않은 오류가 발생했을 가능성이 높아 제외하는 편이다.