초파리는 협상하지 않는다

인공지능은 왜 사회과학을 먼저 무너뜨리는가

포닥으로 미국에 건너간 첫해, 나는 남의 논문 하나를 재현하는 데 다섯 달을 썼다. 좋은 저널에 실린 논문이었고, 결과는 아름다웠고, 그래프는 깔끔했다. 나는 블루밍턴에 계통을 주문했고, 우편으로 도착한 작은 유리병 속에서 초파리들이 깨어나기를 기다렸다. 교배를 시키고 기다렸다. F1이 나오기까지 열흘. 원하는 유전형의 F2를 골라내기까지 다시 열흘. 이산화탄소 패드 위에서 마취된 파리들을 붓으로 밀어가며 눈 색깔과 날개 모양을 하나씩 확인했다. 그리고 행동 실험을 걸었다. 표현형은 없었다.

이 이야기에는 극적인 데가 없다. 초파리를 다루는 사람이라면 누구나 한두 번씩은 겪는 일이고, 대개는 이런 일이 논문으로 남지 않는다. 내가 지금 이 오래된 실패를 다시 꺼내는 이유는 다른 데 있다. 그 다섯 달 동안 나에게 “아니다”라고 말한 것은 심사위원도, 동료도, 내 양심도 아니었다. 초파리였다. 유리병 안의 파리들은 내 가설에 아무런 관심이 없었고, 내 학위 일정에도, 내 지도교수의 연구비에도, 그 논문을 쓴 저명한 실험실의 명성에도 관심이 없었다. 그들은 그저 날지 않았다. 협상의 여지가 없었다.

나는 최근 두 편의 글을 읽으면서 계속 그 유리병을 생각했다.

하나는 6월 4일자 네이처에 실린 데이비드 애덤의 피처 기사다. 제목은 이렇게 묻는다. “인공지능은 사회과학을 망칠 것인가, 아니면 혁명적으로 바꿀 것인가.” 다른 하나는 코넬대학 연구진이 아카이브에 올린 프리프린트로, 250만 편의 논문에 실린 1억 1100만 개의 참고문헌을 전수 조사해 존재하지 않는 인용이 얼마나 되는지를 센 연구다. 두 글을 나란히 놓고 읽으면 한 가지가 선명해진다. 대형언어모델이 학문 전체를 균일하게 침식하고 있는 것이 아니다. 어떤 분야는 무릎까지 물이 찼고, 어떤 분야는 발목이 젖었다. 그리고 그 차이에는 이유가 있다.

베를린 막스플랑크 인간발달연구소의 심리학 박사과정생 랄루카 릴라는 지난해 설문 응답 하나를 받고 이상한 기분에 사로잡혔다. 응답자는 이렇게 적었다. “저는 인간과 같은 방식으로 혼란을 경험하지 않습니다.” 릴라와 동료들은 자신들이 받는 설문 응답 가운데 최대 45퍼센트가 대형언어모델의 출력을 복사해 붙인 것이라고 추정한다. 어떤 경우에는 응답자가 자기 문장을 다듬는 정도지만, 어떤 경우에는 가입부터 문항 읽기, 응답 제출까지 전 과정을 기계가 수행한다. 아마존 미케니컬 터크나 프롤리픽 같은 플랫폼은 응답 한 건에 소액을 지불하고, 그 소액은 정확히 부정행위의 유인이 된다. 릴라는 설문지 소스코드에 눈에 보이지 않는 작은 글씨를 심어두거나, 인공지능에게 X를 여러 개 출력하라고 지시하는 숨은 문장을 넣는 식의 함정을 판다. 그는 이것을 군비경쟁이라고 부른다. 모델이 영리해질수록 함정은 무력해진다.

노스이스턴대학의 데이비드 레이저는 다른 층위의 문제를 시연했다. 그의 연구팀은 시민 건강 및 제도 프로젝트의 50개 주 설문조사, 즉 CHIP50이라는 대규모 데이터를 6년에 걸쳐 축적해왔다. 백만 명 가까운 미국인에게 공공 신뢰와 제도적 정당성을 물은 자료다. 몇 달 전 그들은 응답자들에게 GLP-1 작용제 사용 여부를 물었다. 당뇨병 치료제로 개발되었다가 체중 감량 효과로 유명해진 그 약이다. 결과를 훑어보니 이 약을 가장 많이 쓰는 사람들이 반드시 당뇨나 비만 같은 임상적 필요를 가진 이들은 아닐 수 있다는 신호가 보였다. 레이저는 대형언어모델에게 그 관찰을 논문으로 쓰게 했다. 한 시간 만에 28쪽짜리 학술 논문이 나왔다. 문헌 고찰이 있었고, 데이터에서 직접 뽑아낸 표가 있었고, 설득력 있는 그래프와 그림이 있었다.

레이저가 네이처에 한 말은 그 자체로 하나의 증언이다. 내가 지금 뭘 하고 있는 건가. 내 소뇌의 일부를, 내 본질적인 창의적 능력의 일부를 인공지능에 외주 주고 있는 건가. 어느 정도는 그렇다고 해야겠고, 솔직히 말해 그건 정서적으로 몹시 괴로운 일이다. 그는 소뇌라고 말했다. 창의성이 소뇌에 있지는 않다. 그러나 그가 무엇을 말하려 했는지는 분명하다. 그는 자기 몸의 일부를 떼어내 기계에 붙이는 감각을 말하고 있었고, 그것이 생각보다 아프다는 사실을 말하고 있었다. 그는 이런 식으로 쓴 원고를 저널에 투고한 적은 없다고 덧붙였다. 무엇을 할 수 있는지 알아보는 중이고, 무엇을 해야 하는지의 문제와 씨름하는 중이라고.

나는 이 문장이 이 논쟁 전체에서 가장 정직한 대목이라고 생각한다. 그리고 동시에, 이 정직함이 이미 늦었다고도 생각한다.

경영학 분야의 사회과학 저널 오거니제이션 사이언스는 지난 4월, 챗GPT가 공개된 2022년 11월 이후 투고 원고가 42퍼센트 늘었다고 보고했다. 편집진이 탐지 도구로 원고를 분석해보니 증가분의 대부분이 인공지능 때문이었다. 올해 2월 기준으로 투고 원고의 3분의 1 가까이가 초록 본문의 대부분 또는 전부를 인공지능이 생성했고, 여기에 더해 40퍼센트는 부분적으로 인공지능이 썼다. 피렌체 유럽대학연구소의 정치학자이자 편집자인 케빈 뭉거는 올해 주요 정치학 저널의 투고가 50퍼센트 늘어날 것으로 예측했다. 심리학 프리프린트 서버 사이아카이브는 원고가 밀려들어 스크리닝 초기 단계에 사람의 검토를 다시 넣어야 했다.

그리고 코넬 연구진의 숫자가 있다. 아카이브, 바이오아카이브, 사회과학 프리프린트 서버인 SSRN, 그리고 퍼브메드 센트럴. 네 개의 거대한 저장소에서 참고문헌 1억 1100만 개를 추출해 시맨틱 스칼라와 오픈알렉스와 구글 스칼라에 하나씩 대조했다. 존재하지 않는 논문을 가리키는 인용이 2025년 한 해에만 14만 6932개. 이것은 보수적인 추정치이며, 저자들 스스로 하한이라고 못 박았다.

이 연구의 저자 목록에는 폴 긴스파그의 이름이 있다. 아카이브를 만든 사람이다. 자기가 만든 문서고가 얼마나 오염되었는지를 세는 논문에 이름을 올린 셈이다. 나는 이 사실이 이 시대의 어떤 정직함을 상징한다고 느꼈다.

숫자를 분야별로 갈라보면 그림이 달라진다. 2025년 8월 기준 환각 인용률은 사회과학 프리프린트 서버 SSRN에서 1.91퍼센트, 아카이브에서 0.39퍼센트, 퍼브메드 센트럴에서 0.27퍼센트, 생물학 프리프린트 서버 바이오아카이브에서 0.21퍼센트다. 사회과학이 나머지 어느 저장소보다도 거의 다섯 배 높다. 분야별로 다시 쪼개면 사회과학과 컴퓨터과학이 압도적이고, 수학이 가장 낮다. 그리고 아카이브 세부 분야에 걸쳐 추정된 대형언어모델 사용 강도와 환각 인용률 사이의 상관은 0.441, 유의확률은 0.001 미만이다. 원인과 결과를 단정할 수는 없지만, 두 곡선은 같이 움직인다.

이 대비를 어떻게 설명할 것인가.

가장 손쉬운 설명이 이미 나와 있다. 과학 진실성 컨설턴트 엘리자베스 빅은 네이처 뉴스에서, 사회과학 논문이 텍스트 중심이고 서사적이기 때문에 서론과 문헌 고찰과 논의를 인공지능으로 쓰기 쉽고 참고문헌을 생성하기도 쉽다고 말했다. 파도바대학의 임상심리학자 이오아나 크리스테아는 반대편에서 제동을 건다. 사회과학이 더 나쁘다고 말하기엔 마음이 편치 않다는 것이다. 저장소의 질, 게시 전 검열의 수준 같은 교란 변수가 있고, 무엇보다 SSRN은 프리프린트와 워킹페이퍼를 올리는 곳이고 퍼브메드 센트럴은 동료심사를 마친 논문이 실리는 곳이니 애초에 비교의 층위가 다르다. 빅도 이 점을 인정한다. 차이의 일부는 사회과학 자체의 무엇이 아니라 검열과 출판 단계의 차이를 반영할 수 있다.

이 반론은 정당하다. 그리고 나는 이 반론이 정당한 만큼이나 불충분하다고 생각한다.

문제의 핵심은 텍스트가 많으냐 적으냐가 아니고, 프리프린트냐 동료심사냐도 아니다. 학문의 엄밀성이란 결국 하나의 질문으로 환원된다. 내가 틀렸을 때, 나에게 틀렸다고 말해줄 수 있는 통로가 몇 개나 열려 있는가. 그리고 그 통로 중에서, 내 경력에 아무 관심이 없는 통로는 몇 개인가.

초파리 유전학에서 그 통로는 물질적이다. 계통이 나를 거절할 수 있다. 항체가 나를 거절할 수 있다. 표현형이 나를 거절할 수 있다. 각각은 서로 독립적이고, 각각은 내 의도와 무관하게 작동하며, 각각은 내가 아무리 설득력 있는 문장을 써도 마음을 바꾸지 않는다. 유전자 하나의 기능을 밝히는 데 몇 년이 걸리는 이유가 여기 있다. 그 몇 년은 낭비가 아니라 검증이다. 나는 그 시간 동안 수십 번 거절당하고, 거절당할 때마다 내 문장이 아니라 세계 쪽으로 조금씩 끌려간다.

설문에 기반한 사회과학에서 그 통로는 대부분 텍스트다. 응답이 텍스트고, 코딩이 텍스트고, 분석 코드가 텍스트고, 결과 서술이 텍스트고, 인용이 텍스트다. 그리고 대형언어모델이 하는 일이 정확히 텍스트의 생산이다. 즉 이 분야에서 인공지능은 증거가 살고 있는 매질 안에서 직접 태어난다. 자연과학에서 언어모델은 논문을 쓸 수 있지만 실험을 할 수는 없다. 설문 기반 사회과학의 상당 부분에서는, 논문을 쓰는 일과 연구를 하는 일 사이의 물질적 거리가 거의 0에 수렴한다.

뉴욕대학의 정치학자 조슈아 터커가 네이처에 한 말이 이 지점을 정확히 짚는다. 사회과학은 연구자가 직접 데이터를 모으지 않을 때 인구총조사나 대규모 설문 같은, 원래 다른 목적으로 수집된 거대한 자료를 분석한다. 그런 데이터에서는 겉으로 신호처럼 보이는 것을 노이즈에서 뽑아낼 수 있다. 좁은 가설 검정을 위해 설계된 실험 데이터에서는 불가능한 방식으로. 실험 데이터는 대개 용도가 하나고 유통기한이 정해져 있다. 백만 명의 응답이 담긴 데이터셋은 그렇지 않다. 그것은 영원히 재분석될 수 있고, 충분히 여러 방식으로 심문당하면 어떤 데이터든 우연만으로 유의해 보이는 결과를 내놓는다.

여기에 인공지능 에이전트가 붙으면 규모가 달라진다. 수십 가지 분석 변형을 몇 분 안에 만들어 돌리고, 그럴듯한 것이 걸리면 데이터를 역설계해 처음부터 그것을 검증하려 했던 것처럼 보이는 가설을 만들어낸다. 이것은 p-해킹의 산업화다. 2011년 시먼스와 넬슨과 사이먼슨은 연구자가 데이터 수집과 분석에서 가진 자유도를 공개하지 않을 때 명목상 5퍼센트인 위양성률이 최악의 경우 60퍼센트까지 부풀 수 있음을 보였다. 그때는 그 자유도를 사람이 손으로 행사했다. 이제는 에이전트가 행사한다.

여기에 실리콘 표본이라는 것까지 있다. 2022년의 한 연구가 제안한 개념으로, 인구의 실제 사회인구학적 구성을 학습한 언어모델이 가상의 응답자 집단을 생성하게 하는 방법이다. 스위스인 천 명에게 설문한 것처럼 데이터를 달라고 요구하면 데이터가 나온다. 이미 몇몇 조사업체가 합성 응답자를 상품으로 팔고 있다. 베른대학의 제이미 커민스는 온도 같은 매개변수를 조절하는 것만으로 사실상 원하는 결과를 거의 무엇이든 얻어낼 수 있음을 보였다. 같은 대학의 말테 엘슨은 더 짧게 말한다. 가설을 지지하든 기각하든, 결과를 명령할 수 있다는 뜻이다. 지금으로서 그것은 사기와 구별되지 않는다.

나는 이 문장을 읽고 오래 앉아 있었다. 사기와 구별되지 않는다는 말은 대단히 무거운 말이고, 심리학자가 자기 분야의 새 방법론에 대해 할 수 있는 가장 가혹한 진단이다. 그러나 그가 틀렸다고 반박할 자신이 나에게는 없다.

그렇다면 자연과학은 안전한가. 아니다. 그리고 이 지점에서 나는 내 논지에 스스로 제동을 걸어야 한다.

재현성의 숫자들은 자연 대 사회의 깨끗한 이분법을 허락하지 않는다. 2015년 오픈 사이언스 컬래버레이션이 심리학 논문 100편을 재현했을 때, 원논문의 97퍼센트가 통계적으로 유의했지만 재현에서 유의한 것은 36퍼센트였다. 이 숫자는 자주 인용되고 자주 오용된다. 2016년 카머러 팀이 경제학 실험실 연구 18편을 재현했을 때는 11편, 즉 61퍼센트가 같은 방향으로 유의했다. 2018년 네이처와 사이언스에 실린 사회과학 실험 21편을 재현했을 때는 13편, 62퍼센트였다. 두 경우 모두 재현된 효과크기는 원논문의 절반에서 3분의 2 수준이었다.

그리고 전임상 암 생물학이 있다. 2021년 이라이프에 실린 재현성 프로젝트의 결과는 심리학보다 참담하다. 재현하기로 계획한 193개 실험 가운데 실제로 완수한 것은 50개, 26퍼센트였다. 실패한 이유는 결과가 달라서가 아니라 애초에 재현을 시작할 수 없어서였다. 원자료가 공개된 실험은 2퍼센트였고, 원저자에게 직접 연락하고도 필요한 통계치를 얻지 못한 경우가 68퍼센트였다. 나는 몇 달 전 마이크로어레이 논문 이야기를 쓴 적이 있다. 2005년과 2006년에 같은 저널에 실린 유전자 발현 논문 18편을 두 독립 팀이 재현하려 했을 때 완전히 재현된 것은 2편이었고 10편은 아예 재현이 불가능했다. 암젠과 바이엘이 고영향력 저널의 획기적인 암 연구를 자체 검증했을 때 성공률은 11퍼센트에서 21퍼센트였다.

숫자만 보면 생물학이 심리학보다 나을 것이 없다. 그러니 나는 자연과학이 면역을 가졌다고 말하지 않겠다. 다니엘레 파넬리가 2010년에 보여준 것처럼, 물리과학에서 생물과학을 거쳐 사회과학으로 내려갈수록 가설을 지지하는 이른바 긍정적 결과의 비율이 높아진다는 과학의 위계는 실증적으로 존재한다. 그러나 파넬리 자신이 그 데이터를 사회과학 폄하가 아니라 그 반대의 논거로 읽었다. 사회과학도 과학적 접근을 채택하는 한 자연과학과는 정도의 차이일 뿐이라고. 나는 그 독해가 옳다고 생각한다. 격차는 벽이 아니라 기울기다.

문제는 그 기울기가 지금 어디에서 무너지고 있느냐다.

내가 앞에서 말한 물질적 방어선, 초파리가 나를 거절하는 그 통로는 실험실 안에서만 작동한다. 실험실 밖에서 자연과학은 텍스트다. 그리고 과학의 압도적 대부분은 실험실 밖에 있다. 나는 내 손으로 재현할 수 있는 실험보다 비교할 수 없이 많은 논문을 읽고 믿고 인용한다. 인용이란 결국 신뢰의 위임이다. 나는 그 실험을 하지 않았지만 그 사람이 했다고 믿고, 그 믿음 위에 내 실험을 쌓는다. 나는 지난 5월 이 자리에서 이렇게 썼다. 과학은 벽돌을 하나씩 올리며 지식의 탑을 쌓는 과정이고, 그 벽돌 하나하나가 진짜라는 신뢰가 과학의 작동 원리이자 토대라고.

그 벽돌은 물질이 아니라 문장이다.

14만 6932개의 존재하지 않는 인용은 그래서 자연과학의 방어선을 정면으로 뚫지 않는다. 후방으로 돌아 들어온다. 초파리는 여전히 나를 거절하지만, 초파리는 논문을 읽지 않는다. 내가 읽는다. 그리고 내가 읽는 문헌이 오염되면, 나는 거절당할 기회조차 얻지 못한 채 존재하지 않는 벽돌 위에 내 벽돌을 올린다.

코넬 연구진이 이 오염의 확산 경로를 추적한 방식은 냉정하다. 먼저 아카이브의 모더레이션. 심사에서 반려된 원고의 환각 인용률은 2025년 8월 기준 2.2퍼센트로, 통과된 원고의 4.5배였다. 즉 모더레이션은 실제로 무언가를 걸러내고 있다. 그럼에도 존재하지 않는 인용의 78.8퍼센트가 심사를 통과해 플랫폼에 올라간다. 다음은 동료심사. 환각 인용을 포함한 바이오아카이브 프리프린트 2241편을 퍼브메드 센트럴의 출판본까지 추적했더니, 프리프린트에 있던 환각의 85.3퍼센트가 출판된 논문에 그대로 살아남았다. 동료심사는 이 문제를 잡지 못한다. 저널의 영향력 순위로 나눠보면 최하위 십분위와 최상위 십분위에서만 뚜렷한 차이가 있고, 그 사이의 넓은 중간대는 0.11퍼센트에서 0.24퍼센트 사이를 오르내릴 뿐 일관된 기울기가 없다. 좋은 저널이라고 안전하지 않다는 뜻이다.

그리고 마지막 단계가 있다. 존재하지 않는 논문이 구글 스칼라 같은 서지 데이터베이스에 인용 전용 항목으로 등록되기 시작한다. 실체가 없는데 인용은 있는 유령 문헌이다. 이 비율은 2024년 이후 가파르게 올라가고 있고, 네 개 저장소 모두에서 같은 패턴이 반복된다. 우리가 어떤 인용이 진짜인지 확인할 때 참조하는 바로 그 인프라가, 가짜를 진짜로 만들어주는 장치로 바뀌고 있다. 여기에 더해, 언어모델은 이 오염된 오픈액세스 문헌으로 다시 학습된다. 2024년 네이처에 실린 슈마일로프 팀의 연구가 모델 붕괴라고 이름 붙인 순환이다. 내일의 모델은 오늘의 환각을 배운다.

지난달 나는 과학이 죽어가고 있다고 썼다. 과장이었기를 바랐다. 그러나 이 숫자들은 그것이 과장이 아니었다고 말한다. 논문공장이 팔던 것은 가짜 논문이었지만, 지금 유통되는 것은 진짜 논문 안에 성기게 박힌 가짜 문장들이다. 코넬 연구진이 가장 힘주어 말한 발견이 이것이다. 오염은 소수의 썩은 사과에 집중되어 있지 않다. 환각 인용을 절반 이상 포함한 논문의 비율은 거의 늘지 않았다. 대신 환각 인용을 10퍼센트 이하로 포함한 논문의 비율이 크게 늘었다. 즉 대부분 멀쩡한 논문 안에 존재하지 않는 참고문헌이 한두 개씩 흩어져 박혀 있다. 이것은 소수의 사기꾼이 아니라 다수의 부주의가 만드는 오염이고, 그래서 훨씬 잡기 어렵다.

누가 이 인용을 하는가. 환각 인용을 포함한 논문의 책임저자는 2022년 이전 논문 수가 대조군보다 아카이브에서 62.1퍼센트, 바이오아카이브에서 62.6퍼센트, SSRN에서 73.2퍼센트 적었다. SSRN에서는 이전 논문이 아예 한 편도 없는 저자가 51퍼센트였다. 경력이 짧은 사람들, 즉 문헌에 익숙하지 않아 없는 논문을 알아볼 수 없는 사람들이다. 그런데 이 생산성 격차가 2025년에 이르러 사라졌다. 환각을 인용하는 저자들의 논문 생산량이 대조군 대비 아카이브에서 1.93배, 바이오아카이브에서 2.22배, SSRN에서 3.13배로 뛰었다. 문헌을 가장 모르는 사람들이 지금 논문을 가장 빨리 찍어내고 있다.

그리고 누가 이득을 보는가. 환각 인용이 실존하는 저자에게 귀속될 때, 그 저자는 대조군보다 논문 수가 68.8퍼센트, 피인용이 58.3퍼센트 많은 사람일 확률이 높다. 남성 이름일 확률이 6.4퍼센트포인트 높다. 존재하지 않는 논문조차 이미 유명한 남자에게 공을 돌린다. 언어모델은 과학의 계층 구조를 학습했고, 그것을 증폭해서 돌려준다. 더 불길한 것은, 환각을 포함한 논문 안의 진짜 인용들 역시 같은 편향을 보인다는 발견이다. 눈에 보이는 환각은 빙산의 일각이고, 훨씬 거대한 몸통은 진짜지만 언어모델이 추천한 인용들이다. 그것들은 검증을 통과하고, 조용히, 이미 가진 자에게 더 준다.

나는 여기서 한국 이야기를 하지 않을 수 없다.

한국의 지식인 지형에서 인문학과 사회과학은 오랫동안 발언의 특권을 가졌다. 문학을 전공한 사람이 모든 사회현상을 논평하는 일은 자연스럽지만, 그 반대는 상상되지 않는다. 나는 이것을 오래전부터 식민지의 두 문화라고 불러왔다. 경성제국대학이 만들어놓은 문과와 이과의 구분은, 친일 청산과 역사 바로 세우기의 온갖 소란에도 불구하고 여전히 한국 교육을 장악하고 있다. 글을 쓰는 것이 곧 정치였던 조선의 전통 속에서 문과와 이과의 구분은 계급 현상이 되었고, 부분적인 과학기술 근대화만을 식민지에서 경험한 나라는 과학기술은 가졌으되 과학은 갖지 못한 채로 여기까지 왔다. 과학자는 연구비의 노예이므로 발언하지 않고, 발언하는 사람들은 실험을 하지 않는다.

이 구도에서 자연과학은 늘 좁다고 비난받았다. 시야가 좁고, 맥락을 모르고, 숫자에 갇혀 있고, 인문학적 소양이 없다고. 나는 그 비난의 일부가 정당하다고 생각한다. 그리고 지금, 정확히 그 좁음이 유일한 면역계로 남았다는 사실이 나를 아프게 한다.

과학의 좁음이란 무엇인가. 그것은 한 번에 하나의 질문만 던지고, 그 질문에 대해 세계가 아니라고 대답할 수 있도록 상황을 배치하고, 그 대답을 기다리는 동안 몇 년을 견디는 훈련이다. 그것은 교양이 아니라 습관이고, 사상이 아니라 절차다. 그래서 우아하지 않고, 인용하기 좋은 문장을 만들지 못하며, 공론장에서 아무런 매력이 없다. 그러나 지금 이 순간, 무한한 유창함을 공짜로 생산하는 기계 앞에서 인간에게 남은 것은 유창함이 아니다. 거절당할 수 있는 자리에 스스로를 놓는 능력이다.

낙관도 있다. 나는 그것을 정직하게 적어야 한다. 하버드의 통계학자 닉 피시먼은 인공지능이 오히려 사회과학을 더 엄밀하게 만들 수 있다고 본다. 그가 말하는 것은 다중우주 분석, 혹은 명세곡선 분석이다. 하나의 데이터를 분석할 때 합리적으로 가능한 모든 분석 선택지의 조합을 동시에 돌리고, 결과의 전체 분포를 보여주는 방법이다. 어떤 명세에서 유의하고 어떤 명세에서 유의하지 않은지가 한눈에 드러난다. 결과가 대다수의 합리적 명세에서 살아남는다면, 그것은 체리피킹된 강건성 검정 몇 개를 곁들인 단일 모형보다 훨씬 설득력이 있다. 살아남지 못한다면 그것도 분야가 알아야 할 정보다. 예전에는 수천 번의 강건성 검정이 불가능했지만 이제는 가능하다. 나는 이 사람의 낙관이 진짜라고 믿는다. 그리고 이것이 사회과학만의 숙제가 아니라는 것도 안다. 생물학이야말로 이 훈련이 필요한 분야다.

노스웨스턴의 제시카 헐먼이 붙인 단서가 결정적이다. 이제 어떤 논문이든 다중우주 분석으로 바꾸는 것은 사소한 일이 되었다. 그러니 심사자의 검토 수준과 편집자가 요구하는 기준이 극적으로 달라질 것이다. 그러나 그는 이렇게 덧붙인다. 신중한 과학적 사유를 일련의 점검 목록으로 대체할 수는 없다. 어떤 발견은 한 가지 방식으로 분석하면 데이터에서 정당하게 관찰되고 다른 방식으로 분석하면 관찰되지 않는다. 그 둘 사이에서 무엇이 옳은 분석인지를 판단하는 일, 애초에 어떤 질문이 물을 가치가 있는지를 판단하는 일은 자동화되지 않는다. 오히려 검사가 싸질수록 판단은 비싸진다.

나는 이 대목에서 내가 몇 해 전에 썼던 문장을 다시 꺼내게 된다. 데이터는 질문을 대신할 수 없다. 기계는 사유를 대신할 수 없다. 자본은 과학적 이해를 살 수 없다.

내가 읽은 네이처 기사의 한국어 번역본에는 작은 사고가 하나 있었다. 기계가 LLM을 법학 석사로 옮겨놓았다. 대형언어모델의 환각을 다룬 기사를 읽는 그 행위 안에서, 기계가 조용히 하나의 환각을 더 만들어낸 것이다. 나는 그것을 발견하고 웃었고, 곧 웃음을 거뒀다. 그것은 눈에 보였기 때문에 웃을 수 있었던 오류다. 지금 문헌에 쌓이고 있는 14만 개의 오류는 눈에 보이지 않는다. 실재하는 저자의 이름과 실재하는 저널의 이름과 실재하지 않는 제목이 그럴듯하게 결합되어, 참고문헌 목록의 서른일곱 번째 줄에 조용히 앉아 있다. 아무도 그 줄을 확인하지 않는다. 나도 확인하지 않았다.

그러니 이 글의 결론은 사회과학에 대한 판결일 수 없다. 크리스테아가 옳다. 우리는 성급한 결론을 내려서는 안 된다. 저장소의 질이 다르고, 검열 수준이 다르고, 출판 단계가 다르고, 무엇보다 SSRN에 올라가는 워킹페이퍼와 퍼브메드 센트럴에 실리는 동료심사 논문은 같은 것이 아니다. 사회과학이 더 못한 것이 아니라, 사회과학의 증거가 언어모델이 태어나는 매질과 같은 재료로 되어 있을 뿐이다. 그리고 자연과학의 문헌 역시 같은 재료로 되어 있다. 우리는 조금 더 늦게 젖을 뿐이다.

다만 한 가지는 분명하다. 학문을 지켜온 것은 학문의 고귀함이 아니었다. 학문을 지켜온 것은, 연구자의 소망과 무관하게 아니라고 대답할 수 있는 무언가가 연구 과정 안에 실제로 놓여 있었다는 사실이다. 어떤 분야에서 그것은 유리병 속의 파리였고, 어떤 분야에서 그것은 살아 있는 응답자였다. 파리는 매수되지 않았고 응답자는 사람이었다. 이제 응답자의 45퍼센트가 사람이 아니고, 참고문헌의 일부가 존재하지 않으며, 검증 인프라 자체가 존재하지 않는 것들을 등록하기 시작했다.

우리에게 남은 질문은 인공지능이 학문을 망칠 것인가가 아니다. 우리가 여전히 거절당할 수 있는 자리에 스스로를 놓을 의지가 있는가다. 거절은 불쾌하고 느리고 비효율적이며 경력에 도움이 되지 않는다. 한 시간이면 28쪽짜리 논문이 나오는 시대에 다섯 달을 들여 남의 결과가 틀렸음을 확인하는 일은 미친 짓처럼 보인다. 그러나 그 미친 짓의 총합이 과학이었다.

초파리는 협상하지 않는다. 텍스트는 무엇이든 된다. 지난 400년 동안 인간이 알아낸 것들은 거의 전부 전자에서 왔고, 지금 우리가 만든 기계는 오로지 후자만을 생산한다. 나는 몇 해 전 인공지능의 윤리학은 인문학이 아니라 과학이어야 한다고 썼다. 지금 나는 그 문장을 조금 고쳐 쓰고 싶다. 인공지능 시대의 윤리학이란, 나에게 아니라고 말해줄 수 있고 그렇게 말할 아무런 이유가 없는 무언가를 내 작업 안에 남겨두는 일이다. 그것이 유리병 속의 파리든, 얼굴을 마주한 사람이든, 확인하지 않은 서른일곱 번째 참고문헌이든.