in Woo Jae Kim (2014-), 김우재 (2014-) |

다섯 개의 실험실: 재현되지 않은 실로시빈에서 파리방의 같은 먹이를 생각하다

TL;DR

  • 다섯 연구실이 같은 실험을 했다. UC 버클리·UCSF·스탠퍼드의 다섯 연구실이 같은 프로토콜로 생쥐에게 실로시빈을 주고 행동을 쟀다. 투여 직후의 급성 효과는 모든 연구실에서 나타났지만, 그동안 보고된 오래가는 효과 상당수는 재현되지 않았다.
  • 실패도 결과다. 이 연구는 한 실험실의 극적인 발견보다 여러 실험실이 함께 확인한 작은 사실이 더 단단하다는 것을 보여 준다. 다만 이것은 한 편의 논문이고, 행동 검사 자체가 적절한지에 대한 반론도 있다.
  • 초파리유전학자의 결론. 초파리 연구자들은 먹이 한 숟가락, 온도 1도가 행동을 바꾼다는 것을 오래 겪어 왔다. 나는 재현이 개인의 성실함만이 아니라 공동체가 함께 관리하는 공유지의 문제라고 생각한다.

초파리 행동실험을 하는 연구실에는 저마다의 먹이 레시피가 있다. 옥수숫가루와 효모, 설탕과 한천의 비율, 끓이는 시간, 바이알에 붓는 양. 같은 계통의 파리를 다른 연구실에서 받아 왔는데 행동이 미묘하게 다르다면, 우리가 가장 먼저 의심하는 것은 유전자가 아니라 먹이와 온도와 습도다.

11월 6일 신경과학 매체 The Transmitter의 뉴스레터에서 짧은 소식 하나를 읽었다. 다섯 연구실이 함께 생쥐에서 실로시빈의 효과를 다시 확인했는데, 그동안 보고된 효과 가운데 상당수가 재현되지 않았다는 것이다. 논문은 11월 2일 Nature Neuroscience에 실렸다. 환각버섯의 성분이 우울을 오래 낫게 할 수 있다는 기대가 커지던 분야에서, 그 기대의 동물실험 기반 일부가 흔들린 셈이다. 나는 이 소식을 약리학이 아니라 실험실이라는 장소에 관한 이야기로 읽었다.

다섯 연구실, 같은 프로토콜

보도자료에 따르면 연구에는 UC 버클리, UCSF, 스탠퍼드의 다섯 연구실이 참여했다. 이들은 같은 프로토콜로 생쥐에게 실로시빈을 한 번 투여하고, 불안과 우울에 가까운 행동, 공포 반응, 사회적 상호작용 같은 항목을 측정했다. 그리고 다섯 곳의 데이터를 합쳐 분석했다.

이런 설계는 흔하지 않다. 대부분의 동물 행동 연구는 한 연구실이 실험을 설계하고, 수행하고, 분석하고, 논문을 쓴다. 다른 연구실이 그 결과를 다시 확인하는 일은 드물고, 확인하더라도 조건이 조금씩 다르다. 그래서 결과가 다르게 나와도 무엇 때문인지 가려내기 어렵다. 같은 실험을 동시에 여러 곳에서 하는 ‘병렬 연구’는 그 모호함을 줄이려는 시도다.

나는 이 설계에서 연구 결과만큼이나 연구진의 태도에 주목한다. 다섯 연구실이 프로토콜을 맞추려면 서로의 실험 습관을 드러내고, 사소해 보이는 차이까지 기록해야 한다. 그것은 경쟁보다는 협업의 언어로만 가능한 일이다.

데이터를 합친다는 것에도 의미가 있다. 동물 행동 실험은 한 연구실이 감당할 수 있는 개체 수가 많지 않아서, 우연히 나온 차이가 효과처럼 보이기 쉽다. 다섯 곳의 데이터를 모으면 표본이 커질 뿐 아니라, 어떤 효과가 연구실을 가리지 않고 나타나는지, 아니면 특정 연구실에서만 나타나는지를 함께 볼 수 있다. 효과가 진짜라면 장소를 옮겨도 살아남아야 한다. 이것이 재현이라는 말의 가장 소박한 뜻이라고 나는 생각한다.

사라진 효과, 남은 효과

결과는 둘로 나뉘었다. 투여하고 10분쯤 지난 시점의 급성 효과, 즉 불안과 회피 행동이 늘고 공포 표현이 줄어드는 변화는 다섯 연구실 모두에서 나타났다. 반면 한 번 투여한 뒤 24시간 이상 이어진다고 보고되어 온 행동 변화는 합친 데이터에서 확인되지 않았다. 불안이나 우울에 가까운 행동이 오래 줄어든다는 효과, 공포와 사회적 행동에 대한 장기 효과도 재현되지 않았다.

성체 생쥐에서 사회적 보상 학습의 ‘결정적 시기’가 다시 열린다는 가설도 시험했지만, 연구진은 그 근거를 찾지 못했다고 밝혔다. 우울 관련 검사 하나에서는 두 연구실만 유의한 효과를 보였는데, 데이터를 합치자 그 효과는 사라졌다. 연구진은 재현되는 급성 효과에 연구를 집중하고, 병렬 연구를 분야 전체로 넓히자고 제안했다.

여기서 조심할 점이 있다. 이 결과는 실로시빈이 사람에게 효과가 없다는 뜻이 아니다. 생쥐의 단순한 행동 검사가 사람의 우울을 얼마나 잘 대신하는지는 오래된 질문이다. The Transmitter는 지난해에도 몇몇 신경과학자의 말을 빌려, 문제의 핵심이 재현보다 이런 단순한 행동 검사가 환각제 연구에 맞는 도구인가에 있다고 전한 바 있다. 나는 두 지적이 서로를 보완한다고 생각한다. 재현되지 않는 효과를 가려내는 일과, 애초에 무엇을 재야 하는지 다시 묻는 일은 함께 가야 한다.

실험실이라는 보이지 않는 변수

이 연구에서 내가 가장 흥미롭게 읽은 대목은 연구실 사이의 차이에 관한 부분이다. 보도자료에 따르면 다섯 연구실은 실험자의 성별, 생쥐가 새 환경에 적응하는 기간, 생쥐를 사 온 업체, 사육 우리의 크기, 투여 시각 같은 조건에서 서로 달랐다. 연구진은 이런 변수가 결과를 좌우했다는 근거는 찾지 못했다고 했다.

나는 이 문장이 두 가지를 동시에 말한다고 본다. 하나는 안심이다. 사소한 조건 차이 때문에 효과가 사라진 것은 아니라는 뜻이니, 재현되지 않은 효과는 애초에 약했을 가능성이 크다. 다른 하나는 경고다. 실험실마다 이만큼 많은 조건이 다르다는 사실은, 한 연구실의 결과가 그 실험실의 고유한 환경에 얼마나 묶여 있을 수 있는지를 보여 준다.

초파리 연구자에게 이 경고는 익숙하다. 파리의 행동은 먹이의 조성, 사육 온도, 명암 주기, 유전적 배경, 함께 자란 파리의 밀도 같은 조건에 민감하다. 그래서 초파리 연구 공동체는 계통 센터에서 같은 계통을 나눠 쓰고, 표준에 가까운 먹이 레시피를 공유하고, 논문 방법 부분에 사육 조건을 적는 관행을 다듬어 왔다. 그래도 연구실마다 먹이가 조금씩 다르다는 것은 이 분야에서 공공연한 이야기다.

재현은 누구의 공유지인가

재현 연구는 대개 보상받지 못한다. 새로운 발견은 높은 임팩트팩터의 학술지에 실리고 연구비와 자리로 이어지지만, 남의 결과를 다시 확인하는 일은 그렇지 않다. 재현에 실패한 결과는 실리기 더 어렵다. 그래서 학계는 극적인 첫 발견을 과대평가하고, 그 발견이 단단한지 확인하는 수고를 과소평가하는 구조를 갖게 되었다고 나는 생각한다.

이번 연구가 의미 있는 것은 그 구조를 잠시 거슬렀기 때문이다. 다섯 연구실이 각자의 첫 발견 대신 함께 확인한 사실을 내놓았고, 그 사실은 ‘효과가 없었다’는 소식까지 포함한다. 나는 이런 결과가 Nature 계열 학술지에 실렸다는 것도 하나의 신호로 읽는다. 다만 한 편의 논문이 관행을 바꾸지는 못한다. 병렬 연구에 연구비를 주고, 그 결과를 업적으로 인정하는 제도가 따라와야 한다.

이 질문은 한국과 중국의 연구 현장에서도 다르지 않다. 연구자를 논문 수와 학술지 지표로 평가하는 체계에서, 남의 결과를 다시 확인하는 데 몇 년을 쓰는 연구자는 불리하다. 나는 연구비 기관이 재현 연구와 다기관 공동 검증을 따로 지원하고, 그 결과를 실패든 성공이든 업적으로 인정하는 방안을 진지하게 논의할 때가 되었다고 생각한다. 어떤 방식이 가능할지는 제도를 아는 사람들과 함께 따져 볼 문제이고, 여기서는 질문만 남겨 둔다.

모건의 파리방이 남긴 가장 큰 유산은 몇몇 위대한 발견이 아니라, 돌연변이 계통과 실험 방법을 서로 나누는 습관이었다고 나는 믿는다. 누군가의 발견은 다른 연구실이 같은 계통으로 같은 실험을 해 볼 수 있을 때 비로소 공동의 지식이 된다. 재현은 한 연구자의 성실함이 아니라, 연구 공동체가 함께 관리해야 하는 공유지다. 이것은 나의 해석이다.

오늘도 우리 연구실에서는 누군가 먹이를 끓이고 바이알에 붓는다. 그 레시피를 다른 연구실에 그대로 건네고, 그곳에서도 같은 파리가 같은 행동을 하는지 확인할 수 있다면, 그것이 과학이 단단해지는 가장 느리고 확실한 방법일 것이다.

보통 과학자

출처

Views: 2

Revolt Science via heterosis에서 더 알아보기

구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.

Published