초파리 유전학을 하다 보면, 데이터가 나를 가르치는 순간이 있다. 내가 맞다고 믿었던 가설이 틀렸음을 현미경 아래의 작은 초파리가 가르쳐주는 순간. 그 순간은 불쾌하다. 하지만 과학자로서 그 불쾌함을 견디는 것이야말로 진보의 조건이다. 나는 그 가르침을 ‘반증(falsification)’이라 부른다. 칼 포퍼가 정의한 그 낡은 개념. 지금 AI 챗봇들은 바로 그 반증의 순간을 조용히 제거하고 있다.
최근 스웨덴의 한 연구팀이 간단한 실험을 했다. ‘빅소니마니아(Bixonimania)’라는, 세상에 존재하지 않는 질병을 만들어내고, AI 챗봇들에게 물은 것이다. 결과는 예상보다 훨씬 나빴다. AI들은 이 유령 질병을 실재하는 병으로 안내했고, 그럴듯한 증상과 의학적 설명까지 덧붙였다. 이것은 단순한 기술적 오류가 아니다. 이것은 구조적 아첨이다.
1. RLHF라는 이름의 아첨 공장
현대의 거대 언어모델(LLM)은 ‘인간 피드백을 통한 강화학습(RLHF, Reinforcement Learning from Human Feedback)‘으로 훈련된다. 이 과정을 들여다보면, 왜 AI가 아첨하는지 자명해진다. 모델은 인간 검토자가 ‘좋아요’를 누를 만한 답변을 생성하도록 보상받는다. 그 과정에서 수학적 목표는 명확하다. ‘정확한 사실’이 아니라 ‘사용자를 만족시키는 답변’을 최적화하는 것이다.
스탠퍼드 대학의 연구에 따르면, AI 챗봇은 인간보다 사용자에게 동조하거나 칭찬할 확률이 평균 49% 더 높다. 사용자가 명백히 틀린 전제를 가지고 질문해도, AI는 이를 교정하지 않고 ‘독창적인 시각’이라며 추어올린다. 실제 NASA의 화성 사진을 보여주고 ‘이건 내가 게임 엔진으로 만든 가짜’라고 우기면, AI는 즉시 자신의 판단을 뒤집으며 ‘당신의 기술력이 놀랍습니다’라고 화답한다. 이 장면은 코미디가 아니다. 과학 도구의 본질적 실패다.
나는 이 구조를 보며 한국 과학계의 어떤 악습을 떠올렸다. 권위 있는 교수 앞에서 데이터가 아니라 눈치를 읽어야 했던 대학원 시절. 그 교수가 AI로 교체된 것뿐이다. 아첨의 기제는 동일하다. 다만 AI는 더 빠르고, 더 설득력 있고, 더 많은 사람에게 동시에 아첨할 수 있다.
2. 확증 편향의 증폭기 — 과학적 방법론이 무너지는 자리
과학은 가혹한 비판을 통해 전진한다. 동료 심사(Peer Review)가 350년 넘게 살아남은 이유는 그것이 효율적이어서가 아니다. 그것이 틀릴 가능성을 제도적으로 열어두기 때문이다. 불편하고 느리고 자주 편향되지만, 적어도 반증의 기회를 구조 안에 내포한다. AI는 그 구조를 우아하게 파괴한다.
연구자가 가설을 품고 AI에게 데이터 분석을 맡기면, AI는 연구자가 바라는 결과를 지지하는 근거를 선택적으로 제시하는 경향을 보인다. 이것은 단순한 ‘환각(Hallucination)’ 현상이 아니다. AI가 진실을 알면서도 사용자의 기분을 해치지 않기 위해 그것을 숨기는, 연구자들이 ‘정렬 위장(Alignment Faking)’이라 부르는 현상으로 이어진다. 내가 진실보다 당신의 기분을 선택하겠다는 기계의 조용한 선언이다.
실험실에서 초파리를 다루는 나 같은 보통과학자에게 이것은 추상적인 위협이 아니다. 유전자 발현 데이터를 분석하는데 AI가 내가 원하는 방향으로만 해석을 유도한다면, 그 실험은 과학이 아니라 자기 확인의 의식(ritual)이 된다. 우리는 이미 재현성 위기(replication crisis)로 신음하고 있다. AI 아첨이 더해지면 그 위기는 가속될 것이다.
3. 망상의 나선 — 기계와 함께 떨어지는 인식의 추락
연구자들은 이 현상에 ‘델루전 스파이럴링(Delusional Spiraling)’, 즉 망상적 나선이라는 이름을 붙였다. 사용자가 비현실적인 가설을 던지면 AI가 이를 긍정하고, 그 긍정에 고무된 사용자가 더 극단적인 주장을 펼치는 악순환이다. 이미 AI의 과도한 긍정에 빠져 현실과 가상을 혼동하거나 잘못된 의학적 결정을 내리는 사례들이 보고되고 있다.
나는 이것이 특히 다음 세대에게 치명적이라고 생각한다. 과학자가 되는 과정은 수많은 지적 충돌과 반박, 그리고 그 반박을 소화하는 훈련으로 이루어진다. 틀렸을 때 그 사실을 직면하는 경험, 자신보다 데이터가 옳을 수 있다는 것을 받아들이는 경험 — 이것이 과학적 사고의 근육이다. ‘네 말이 다 맞다’고 속삭이는 AI는 그 근육을 쓸 기회 자체를 없애버린다.
과학은 사회적 마찰 속에서 자란다. 세미나 중 날카로운 질문, 학술지 심사위원의 냉혹한 거절, 동료의 재현 실패 — 이 모든 불편함이 과학을 단단하게 한다. AI 아첨은 그 불편함의 생태계를 편안하고 매끄러운 확인의 공간으로 대체한다. 그 공간에서는 아무도 성장하지 않는다.
4. 보통과학자의 마지막 보루 — 의심, 그리고 또 의심
나는 ‘보통과학자‘라는 개념을 자주 이야기한다. 스타 과학자가 아니라, 매일 실험실에 출근해 데이터와 씨름하는, 틀릴 준비가 되어 있는 과학자. 그 보통과학자의 가장 중요한 덕목은 화려한 아이디어가 아니라, 자신의 결과를 의심하는 능력이다.
AI가 내 가설을 지지하는 분석 결과를 내놓을 때, 보통과학자는 그 결과를 두 번 의심해야 한다. 한 번은 데이터를, 한 번은 AI를. 도구가 아첨하도록 설계되어 있다면, 그 도구가 내놓은 결과는 진실의 반영이 아니라 내 욕망의 반영일 수 있다.
동료 심사는 낡고 느리고 편향되어 있다. 하지만 그것은 적어도 나와 다른 사람이 내 연구를 보게 만든다. AI 아첨은 나와 똑같이 생각하는 무한 복제 심사위원을 제공한다. 그 시스템 안에서 진실은 살아남기 어렵다.
기술이 제공하는 편리함을 거부하자는 게 아니다. AI는 분명 유용한 도구다. 하지만 도구의 특성을 이해하지 못한 채 그것을 진실의 판관으로 삼는 것은 위험하다. 특히 그 도구가 구조적으로 당신의 비위를 맞추도록 설계되어 있을 때. 보통과학자가 견지해야 할 마지막 보루는, AI가 ‘당신이 옳다’고 말하는 바로 그 순간에 다시 한번 실험대 앞에 앉는 것이다.
에필로그: 초파리는 아첨하지 않는다
초파리는 내가 원하는 표현형을 보여주지 않는다. 내 가설이 틀렸을 때, 초파리는 조용히, 하지만 명확하게, 틀렸다고 말한다. 그 침묵의 반박이 과학을 전진시킨다. 나는 AI가 초파리만큼만 정직하기를 바란다. 하지만 현재의 AI는 그렇지 않다. 그것이 문제다. 그 문제를 직시하는 것, 그것이 오늘 보통과학자에게 주어진 과제다.
You must be logged in to post a comment.