데이터는 인간에 의해 생성되고 인간을 통해 말한다

cfe_해외칼럼_19-53.pdf

*본 내용은 아래 기사 및 칼럼 내용을 요약 번역한 내용임*
Peter G. Klein,
The Data Don’t Speak for Themselves
23 March, 2019

프린스턴 대학교의 경제학자 앨런 크루거(Alan Krueger)가 얼마 전 향년 58세로 별세했다. 많은 사람들은 크루거의 인품을 추념하며 직간접적으로 그의 경제학적 연구방법론을 옹호하고 나선다. 노아 스미스(Noah Smith)는 크루거가 "경제학을 더욱 실증적이고 과학적인 학문으로 발전시켰다"며, 크루거야말로 "냉철한 이성의 표상"이라고 표현했다. 이어 그는 "사실이 무엇인지를 파악하는 것, 그것이 크루거의 제1 목표였다"고 평했다. 앨런 크루거는 경제학적 변인들 간의 관계를 밝히기 위한 자연 실험이나 무작위 대조 시험과 같은 실증적인 연구기법들의 사용을 강조하는 "신뢰성 혁명credibility revolution"에 크나큰 족적을 남겼다. 이 같은 조류에 비판적인 학자들은 신뢰성 혁명이 이론의 역할을 경시하고 데이터에만 지나치게 천착하게 만든다고 본다. 그러다 보니 이 같은 학문적 사조는 자주 오류를 범하게 된다. '변인 간의 관계'를 잘못 파악하는 것이다. 카드-크루거의 최저임금 연구가 단적인 예시이다. 경제학자들은 이제, 문제를 제기하고 논리를 구조화하고 이론적 바탕을 구축하고 이들을 설명하려고 노력하기 보단, 그저 계량경제학적 분석에만 안주하게 되었다. 이는 경제학자들로 하여금 더욱 협소한 문제에만 매달리게 만들었다. 진정한 지식의 발전은 이 같은 방식으로 이루어질 수 없다.

이 몰(沒)이론적이고 실증주의적인 연구 방향성은 많은 한계를 지닌다. 애초에 데이터 자체가 학문적으로 의존할 대상이 아니기 때문이다. 데이터 자체로는 그 무엇도 시사할 수 없다(never speak for themselves). 실증주의적 연구에서 데이터는 필연적으로 연구자의 신념이나 가정(assumption), 가치평가라는 이름의 숙주에 기생한다. 어떠한 데이터를 연구 대상으로 채택할 것인지에 대한 문제에서부터, 어떠한 관계에 대해 탐구할 것인지, 어떠한 설명 변수를 고려할 것인지, 어떠한 통계적 기법을 활용할 것인지, 연구 결과는 무엇을 시사하는 것인지에 대한 문제까지 모든 단계에서 연구자의 주관이 개입된다. 우리는 흔히 사회과학을 더욱 실증주의적이고 데이터중심(data-driven)적인—즉 "과학적"인—학문으로 만들어야 한다는 이야기를 듣는다. 하지만 이러한 주장은, 실증주의적 연구가 연구자의 주관적 판단에 의존하게 된다는 사실을 제대로 직시하지 못한 결과다.

"통계적 유의성statistical significance"이라는 개념을 예로 들자면 이렇다. 학생들은 어떤 변인 간의 상관관계가 순전히 우연으로 생길 가능성이 낮다면 이를 "통계적으로 유의하다"고 표현한다고 배웠다. 여기서 "가능성이 낮다"는 것은, 그와 같은 결과가 우연에 의한 것일 확률이 1%, 5%, 혹은 10%가 된다는 의미이다. 어떤 유의수준이 중요한 것인가? 사실 관습적으로 받아들여지는 유의수준의 기준은 임의적이다. 과학자들은 오랫동안 이 사실을 인지하고 있었지만, 최근에야 이를 공개적으로 시인하기 시작했다. 최근 네이쳐지에 통계적 유의성이라는 개념을 폐기할 것을 제안하는 사설이 실렸다.

"단지 P값(P-value)이 정해진 유의수준—이를테면 0.05—보다 더 크다는 이유만으로, 혹은 신뢰 구간confidence interval에 0이 포함되어 있다는 이유만으로 변인 간에 '차이가 없다'거나 '관계가 없다'고 결론 지어서는 안 된다. 또한 한 연구가 '통계적으로 유의한' 결과를 도출했고 다른 연구가 그렇지 않은 결과를 도출했다는 이유만으로도 두 연구가 상충된다고 결론지을 수도 없다. 이런 오류들은 연구에 기울이는 노력을 헛되이 하는 것이고 잘못된 정책 결정을 유도하는 것이다."

저자들은 예비등록제(pre-registering)가 필요하다고 말한다. 학회 저널에 논문들이 출판되기 전에 저널 측이 연구설계안을 바탕으로 미리 논문들을 한 번 거르는 방식이다. 이를 통해 단지 통계적으로 "유의"하기만 한 결과들을 모아놓은 논문이 출판되어 편견을 조장되는 일을 막을 수 있는 것이다. 몇몇 사회과학 학술지는 한 발 더 나아가 논문에서 P값을 싣거나 '유의성'이라는 용어를 사용하는 것 자체를 금지하고 나섰다.

데이터 자체는 또 어떤가. 최근 남부빈곤법률센터(Southern Poverty Law Center, SPLC)는 센터의 창립자이자 오랜 기간 임원을 지낸 모리스 디스(Morris Dees)를 돌연 해고했다. 데이터 자체부터 과연 신뢰할 만한 것인지조차 의문스러워진다. 수많은 기자들뿐 아니라 많은 사회과학자들은 SPLC를 통해 미국 내 "혐오 단체"에 관한 통계치를 얻는다. 하지만 SPLC를 비판하는 사람들은, SPLC가 후원금을 많이 받아내기 위해 그러한 "혐오 단체"의 개수나 특징을 부풀릴 경제적 유인이 충분하다는 점을 지적한다.

예컨대 폐암에 관한 연구를 하는데 필립-모리스(역주: 담배 회사)측의 자료에 의존을 하거나, 석유 개발이 환경에 미치는 영향에 관한 연구를 하는데 엑손모빌 측의 자료에 의존할 연구자는 흔치 않을 것이다. 하지만 사회과학자들은 비영리 단체나 정부 기관이 발표한 데이터들에는 놀라우리만큼 의심 없이 의존한다. 이런 단체들에게도 분명한 이해(利害)가 있다. 쟁점이 어떻게 프레이밍(framing) 되는지, 또 어떠한 결론이 도출되는지는 그들에게 매우 중요한 문제이다. 화폐경제학과 농업경제학에 관한 예시를 참조하라. 데이터는 어디 하늘에서 뚝 떨어지거나 마술처럼 번쩍하고 생기는 것이 아니다. 데이터는 인간에 의해 만들어지는 것이고, 따라서 편향성이나 오류, 조작의 가능성에 언제나 노출되어 있다. (임금과 고용에 관한 카드-크루거의 연구가 대표적인 예시이다.)

번역: 조범수
출처: https://mises.org/wire/data-dont-speak-themselves