in Flyandbee, 김우재 (2014-) |

심사의 공유지: 프리프린트 연합과 AI 심사 조수 사이에서 파리방의 소식지를 생각 하다

TL;DR

  • 심사를 공개하는 연합이 생겼다. 10월 28일 eLife, openRxiv, 유럽 PMC 등 40곳이 ‘출판, 심사, 큐레이션’ 연합을 꾸렸고, 유럽연합 집행위원회와 11개국 연구비 기관은 이 방식으로 운영되는 오픈 리서치 유럽에 2030년까지 1,600만 유로를 넣기로 했다. 먼저 공개하고, 심사도 공개하고, 그다음에 고른다.
  • 같은 주, 심사는 기계 쪽으로도 움직였다. 리트랙션 워치에 따르면 스프링거 네이처와 구글 딥마인드가 AI 심사 조수를 함께 만들기로 했고, 한국 과기정통부의 AI 연구윤리 안내서는 AI 심사를 속이려는 숨은 프롬프트를 유일한 제재 사례로 적었다. 심사는 더 투명해지는 동시에 더 자동화되고 있다.
  • 초파리유전학자의 결론. 심사는 학술지의 상품이 아니라 연구자 공동체의 공유지다. 공개 심사가 그 공유지를 되찾는 길이 되려면, 공들여 심사한 사람이 인정받고 검증 자체가 연구로 대접받도록 평가 제도가 함께 바뀌어야 한다.

과학자에게는 아무도 정식으로 시키지 않았는데 해마다 몇 번씩 치르는 의식이 있다. 심사 의뢰 메일을 열고, 낯선 연구실의 원고를 내려받고, 며칠을 그 원고와 씨름한 뒤 편집자에게 보고서를 보내는 일이다. 보수는 없고 이름도 남지 않는다. 몇 달 뒤 그 논문이 나와도 독자는 누가 그 논문의 그래프 하나를 바로잡았는지 모른다. 심사는 과학의 품질을 지키는 가장 중요한 노동이면서, 가장 보이지 않는 노동이다.

이번 주에는 그 보이지 않는 노동에 관한 소식 두 개가 겹쳤다. 하나는 심사를 아예 세상에 드러내자는 연합의 출범이고, 다른 하나는 심사의 일부를 기계에게 맡기겠다는 거대 출판사의 계획이다. 방향이 반대처럼 보이는 두 소식을 나란히 놓고, 심사가 누구의 것인지 생각해 본다.

먼저 공개하고, 나중에 고른다

네이처 뉴스에 따르면 10월 28일 연구비 기관, 대학, 출판사, 플랫폼 40곳이 ‘출판, 심사, 큐레이션(Publish, Review, Curate)’ 연합을 결성했다. eLife, 프리프린트 서버를 운영하는 openRxiv, 유럽 PMC가 이름을 올렸다. 같은 날 유럽연합 집행위원회는 독일 DFG와 스위스 국립과학재단을 포함한 11개국 연구비 기관, 프랑스 CNRS를 비롯한 연구기관 세 곳과 함께 오픈 리서치 유럽(ORE) 플랫폼을 키우는 데 2030년까지 1,600만 유로를 쓰기로 했다. 그 가운데 60%를 집행위원회가 낸다.

이 방식은 기존 학술지와 순서가 반대다. 기존 학술지는 먼저 심사하고 통과한 것만 출판한다. 출판-심사-큐레이션 모델은 먼저 프리프린트로 공개하고, 그다음 공개적으로 심사하며, 심사자의 이름과 보고서를 함께 내건다. 심사를 거친 원고에는 같은 플랫폼에서 ‘심사 완료’ 표시가 붙고, 그 뒤에 주제나 연구비 사업별로 묶여 소개된다. 2021년에 문을 연 ORE는 지금까지 약 1,500편을 실었고, 이번 확장으로 250만 명이 넘는 연구자가 무료 편집 서비스를 쓸 수 있게 된다고 한다. 플랫폼은 CERN이 운영한다.

내가 이 소식에서 눈여겨보는 것은 돈의 흐름이다. 지금의 오픈액세스는 대개 저자가 논문 처리 비용(APC)을 내는 방식으로 굴러간다. 연구비로 구독료를 내던 돈이 연구비로 게재료를 내는 돈으로 이름만 바뀌었을 뿐, 공공의 돈이 몇몇 출판사로 흘러가는 구조는 그대로다. ORE 같은 모델에서는 연구비 기관이 출판 인프라를 직접 맡고, 연구자는 원고를 내는 데 돈을 내지 않는다. 이것은 나의 해석이지만, 연구비 기관이 출판의 고객에서 출판의 주인으로 자리를 옮기려는 시도로 읽힌다.

임팩트팩터를 구하지 않는 학술지

물론 걱정도 따른다. 기사에 따르면 eLife가 2022년 말 비슷한 모델로 바꿨을 때, 비판자들은 원고를 거절할 권한이야말로 학술지의 신뢰와 일관성을 지탱한다고 반박했다. 그리고 eLife는 2년 안에 임팩트팩터를 잃었고, 웹 오브 사이언스는 이 학술지를 색인하는 방식을 바꿨다. ORE는 처음부터 임팩트팩터가 없고 앞으로도 구하지 않겠다고 한다. 메타과학자 마리오 말리치키는 이 방식이 출판을 단순하게 하고 연구비 기관의 비용을 줄이지만, 규모가 커지면 검사와 큐레이션이 큰 일이 되고 누가 그 결정을 내리느냐는 어려운 문제가 남는다고 지적했다.

나는 이 대목이 이 실험의 진짜 시험대라고 생각한다. 연구자가 어디에 논문을 내는지는 결국 평가 제도가 정한다. 채용과 승진, 연구비 심사에서 임팩트팩터가 여전히 화폐로 통한다면, 임팩트팩터 없는 플랫폼에 좋은 원고를 내는 일은 젊은 연구자에게 용기가 아니라 손해가 된다. 같은 날 헬로디디는 미국 과학정책 연구자 로저 필키 주니어의 분석을 전하며, 2024년 세계 상위 0.1% 피인용 논문에서 중국의 비중(44.1%)이 미국(40.9%)을 넘었다고 소개했다. 공저 논문을 양쪽 나라에 모두 세는 방식이라 합이 100%를 넘는 숫자다. 이런 숫자가 국가 경쟁력의 성적표로 읽히는 한, 각국 정부와 대학은 피인용과 학술지 서열을 쉽게 내려놓지 못할 것이다.

그래서 출판-심사-큐레이션 모델이 성공하려면 학술지만 바뀌어서는 안 된다. 연구비 기관은 플랫폼에 돈을 대는 데서 그치지 말고, 자기 심사에서 무엇을 읽을지를 바꿔야 한다. 학술지 이름 대신 공개된 심사 보고서와 논문의 내용을 읽는 평가 말이다.

기계가 심사표를 쓸 때

같은 주에 반대 방향처럼 보이는 소식도 있었다. 리트랙션 워치의 10월 27일 뉴스레터는 연구자들이 AI 심사를 두고 씨름하는 가운데 스프링거 네이처와 구글 딥마인드가 AI 심사 조수를 함께 만들기로 했다고 전했다. 그 도구가 구체적으로 무엇을 맡을지는 아직 확인하지 못했다. 다만 세계 최대 학술 출판사 가운데 하나와 가장 큰 AI 연구 조직이 손을 잡았다는 사실만으로도 방향은 분명하다. 심사자는 모자라고 원고는 넘친다. 그 틈을 기계로 메우겠다는 것이다.

한국의 지침도 이 흐름을 이미 반영하고 있다. 교수신문이 정리한 바에 따르면 과기정통부가 9월에 내놓은 국가연구개발 AI 연구윤리 안내서는 AI를 도구로만 보고 저자나 발명자로 올릴 수 없다고 정했다. 그리고 이 안내서가 제재를 언급한 단 하나의 경우가, AI 기반 심사를 조작하려고 원고에 숨겨 둔 프롬프트였다. 심사자가 원고를 AI에게 맡길 것을 예상하고, 저자가 그 AI를 속이려 드는 장면이 벌써 지침 안에 들어와 있는 셈이다.

나는 기계가 심사를 돕는 것 자체에 반대하지 않는다. 통계 오류를 찾고, 그림이 중복되었는지 살피고, 인용한 문헌이 실제로 있는지 확인하는 일은 기계가 사람보다 잘할 수 있다. 문제는 그 도구가 누구의 것이고 어디서 돌아가느냐다. 심사가 출판사 내부의 기계와 익명의 심사자 사이에서만 오간다면, 우리는 심사가 어떻게 이루어졌는지 지금보다 더 모르게 된다. 반대로 심사가 공개되어 있다면 기계가 무엇을 찾아냈고 사람이 무엇을 판단했는지를 누구나 따져 볼 수 있다. 공개는 자동화의 반대말이 아니라 자동화를 견제하는 조건이라고 나는 생각한다.

파리방의 소식지

초파리 유전학에는 오래된 공개의 전통이 있다. 1930년대 초파리 연구자들은 ‘초파리 정보 서비스(Drosophila Information Service)’라는 소식지를 만들어 새로 찾은 돌연변이와 계통, 실험 기법을 서로 알렸다. 그것은 학술지가 아니었다. 거절도 임팩트팩터도 없었다. 대신 누가 어떤 파리를 가지고 있고 그 파리를 어떻게 얻을 수 있는지가 공동체 전체에 공개되었다. 누군가 보고한 돌연변이가 이상하면, 그 파리를 받아 본 다른 연구실이 곧 알아챘을 것이다. 검증을 맡은 것은 심사위원 두세 명이 아니라 파리를 나눠 받은 공동체였다고 나는 생각한다.

교수신문에 실린 문미옥 한국연구문화혁신재단 전문위원의 글은 다른 방향에서 같은 지점을 짚는다. 미국 백악관 과학기술정책실이 7월에 낸 보고서가, 결함 있는 지식 위에서 작동하는 AI는 잘못된 과학을 더 깊고 정교하게 고착시킨다고 경고했다는 것이다. 그는 재현 연구, 메타연구, 데이터 큐레이션 같은 검증 작업을 정식 연구과제로 인정하고 연구자 평가에 반영하자고 제안했다. 나는 이 제안이 공개 심사와 같은 뿌리에서 나온다고 본다. 검증이 보이는 노동이 되어야 한다는 것이다.

파리방이 남긴 것은 몇 개의 위대한 발견만이 아니다. 발견을 서로 확인할 수 있게 만드는 습관, 그리고 그 습관을 담는 그릇이다. 학술지가 그 그릇 노릇을 거의 독점한 지 오래다. 이제 연구비 기관은 그릇을 다시 만들겠다고 나섰고, 출판사는 기계로 그릇을 키우겠다고 한다. 어느 쪽이든 그릇의 주인이 누구인지 묻지 않으면, 우리는 또 한 번 우리 자신의 노동을 돈을 내고 사서 읽게 될 것이다.

다음에 심사 의뢰 메일이 오면 나는 아마 또 원고를 받을 것이다. 다만 이번에는 내 보고서가 세상에 공개되어도 부끄럽지 않을지를 한 번 더 생각해 보려 한다. 공개 심사가 바꾸는 것은 제도만이 아니라 심사자가 자기 보고서를 대하는 태도일지도 모른다. 심사가 공유지라면, 그 공유지를 가꾸는 일도 결국 우리 몫이다.

보통 과학자

출처

Views: 2

Revolt Science via heterosis에서 더 알아보기

구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.

Published