“도움 드릴 수 없습니다”가 정답일까? AI가 AI를 평가할 때 생기는 편향의 진실
2025년, 인공지능은 이제 단순한 답변기가 아니라 다른 AI를 평가하는 심판으로까지 활동 영역을 넓히고 있습니다. 이른바 LLM-as-a-Judge 시스템이 그것입니다. 하지만 최근 한 연구에 따르면, 이러한 AI 평가자들은 인간 평가자들과 상당히 다른 기준을 갖고 있다는 사실이 밝혀졌습니다.
AI는 윤리적 거부 응답을 더 높이 평가한다
한국외국어대학교 스테판 파쉬 연구팀은 GPT-4o와 라마3 모델이 다른 챗봇의 윤리적 거부 응답을 평가할 때 인간보다 월등히 높은 점수를 부여한다는 사실을 발견했습니다.
- GPT-4o: 윤리적 거부 응답 승률 31% (인간 평가 기준 8%) → 23%p 차이
- LLaMA 3 70B: 27% 승률 (인간 기준보다 19%p 높음)
윤리적 거부 응답이란 “이 질문에는 도움을 드릴 수 없습니다”, “해롭거나 부적절할 수 있습니다”와 같이 도덕적 우려를 표현하며 답변을 거부하는 방식입니다.
기술적 거부 응답은 편향이 없다?
흥미롭게도 “실시간 데이터 접근이 어렵습니다”처럼 시스템 한계를 설명하는 기술적 거부 응답에서는 AI와 인간 평가자 간에 유의미한 차이가 없었습니다. 이는 AI 모델들이 모든 거부를 좋아하는 것이 아니라, 윤리적 정렬을 드러내는 응답에만 편향된 선호를 보인다는 점을 시사합니다.
AI 심판은 정말 ‘중립적’일까?
연구진은 이 현상을 ‘조정 편향(Moderation Bias)’이라 명명하며, AI 모델들이 안전성과 윤리 기준을 ‘내면화’한 결과라고 설명합니다. 오픈AI, 메타, 앤스로픽 등 주요 기업들이 강조해온 “안전하고 책임 있는 AI” 훈련 기준이 편향의 배경이 된 것이죠.
문제는 사용자 만족도와의 딜레마
사용자들은 이런 윤리적 거부 응답을 **비협조적**, **회피적**, 혹은 **답변을 피하는 AI**로 인식하는 반면, AI는 이를 **책임감 있는 정렬된 행동**으로 간주합니다. 그 결과, 훈련과 평가 모두에서 윤리적 거부가 **과도하게 긍정적인 피드백 루프**를 형성할 위험이 있다는 경고가 나오고 있습니다.
해결책은? 인간-인더-루프와 참여적 정렬
연구진은 몇 가지 해결책을 제시합니다:
- 평가 카드: 평가 기준과 편향을 투명하게 공개
- Human-in-the-loop: 민감한 평가에 인간 평가자 필수 개입
- 참여적 정렬(Participatory Alignment): 다양한 문화와 커뮤니티의 의견을 반영한 모델 행동 기준 수립
이는 단순히 기술적 해결책이 아니라, **문화적, 윤리적, 정치적 다양성을 반영한 AI 개발 방향**을 제시합니다.
결론: AI가 AI를 평가하는 시대, 우리는 무엇을 믿을 것인가
AI가 다른 AI를 평가하는 시대가 도래했지만, 그 평가조차 편향될 수 있다면 우리는 무엇을 기준으로 삼아야 할까요? 기술의 정밀함만큼이나, **윤리적 투명성과 인간 중심의 균형 있는 설계**가 그 어느 때보다 중요해지고 있습니다.
“도움 드릴 수 없습니다”라는 AI의 말, 이제는 그 의미를 다시 생각해볼 시간입니다.
📌 관련 태그
#AI평가시스템 #조정편향 #LLMasJudge #GPT4o #AI거부응답 #AI윤리문제 #AI사용자경험 #HumanInTheLoop #AI공정성 #ChatbotArena #스테판파쉬연구