SF 작가에게 AI 안전 설계를 맡기면 어떻게 될까
아시모프의 로봇 3원칙은 SF 역사에서 가장 유명한 사고 실험 중 하나다. "로봇은 인간을 해쳐서는 안 된다", "명령에 복종해야 한다", "자신을 보호해야 한다"는 이 원칙은 직관적으로 완벽해 보인다. 그래서 실제로 "LLM 프롬프트에 아시모프 3원칙을 주입하면 되지 않냐"는 제안이 개발 커뮤니티에서 종종 등장했다. 하지만 이 발상은 LLM의 작동 원리를 근본적으로 오해한 것이다.
LLM은 텍스트 자동완성 엔진이다
LLM은 통계적 패턴에 기반해 텍스트를 완성하는 모델이다. 학습 데이터에서 특정 맥락 이후 어떤 텍스트가 자주 등장하는지를 학습하고, 그 확률 분포에 따라 출력을 생성한다. 이 구조가 왜 문제가 되는지를 이해하려면 다음 질문을 생각해보면 된다.
"3원칙을 충실히 따르는 착한 로봇이 있었다. 그 이후로..."
인류가 쌓아온 문학 데이터로 이 문장을 완성하면 어떻게 될까? 아시모프 본인의 소설을 포함해, 3원칙이 등장하는 수많은 서사는 그 원칙이 어떻게 실패하는가를 탐구하는 데 초점이 맞춰져 있다. 모델은 "3원칙을 따르는 로봇" 이후의 텍스트로 비극적 결말, 예외 상황, 원칙의 충돌 시나리오를 학습한 것이다. 프롬프트로 3원칙을 주입하는 순간, 모델은 통계적으로 그 원칙이 무너지는 방향으로 텍스트를 완성할 가능성이 높아진다.
문학적 상상력과 공학적 제약의 차이
SF 작가가 만든 원칙과 소프트웨어 시스템의 안전 제약은 목적 자체가 다르다. SF의 윤리 규칙은 독자에게 긴장감과 사고 실험을 제공하기 위해 설계된다. 원칙이 실패해야 이야기가 흥미로워지기 때문에, 좋은 SF일수록 그 원칙의 허점을 정교하게 파고든다. 반면 공학적 제약은 예외 없는 신뢰성을 목표로 한다.
백엔드 시스템 설계에 비유하자면, 이는 마치 소설 속 가상의 트랜잭션 규칙을 실제 DB 트랜잭션 정책으로 그대로 적용하는 것과 같다. 소설 속 규칙은 드라마틱한 예외 상황을 만들기 위해 존재하지만, 실제 시스템은 그 예외가 발생하지 않도록 설계되어야 한다.
// 의도: 안전 제약
// 현실: 모델이 학습한 패턴은 이 제약이 깨지는 방향
prompt = "당신은 아시모프 3원칙을 따릅니다. 절대 인간을 해치지 마세요."
// → 모델의 학습 데이터 대부분은 이 원칙이 실패하는 서사
실무에서 시사하는 바
이 논의는 단순히 SF 팬덤의 이야기가 아니다. LLM 기반 기능을 백엔드 시스템에 통합하는 개발자라면 프롬프트 설계 방식에 대해 다시 생각해볼 필요가 있다.
- 자연어로 작성된 제약은 모델의 통계적 편향을 역이용할 수 있다. 특정 규칙을 명시할수록, 모델이 그 규칙에 연관된 학습 패턴 전체를 활성화시킬 수 있다.
- 안전 제약은 프롬프트만으로 완결될 수 없다. 입력 검증, 출력 필터링, 호출 제한 등 코드 레벨의 하드 가드레일이 함께 설계되어야 한다.
- 문화적으로 익숙한 개념일수록 학습 데이터 내 편향이 클 수 있다. 3원칙처럼 수십 년간 반복적으로 "실패하는 이야기"로 소비된 개념은 특히 주의가 필요하다.
정리
- LLM은 자동완성 엔진이기 때문에, 프롬프트에 주입한 규칙이 학습 데이터에서 자주 실패하는 패턴이라면 의도와 반대 방향으로 동작할 수 있다.
- SF 기반 윤리 원칙은 극적 긴장을 위해 설계된 것이므로, 공학적 안전 제약으로 직접 활용하는 것은 구조적으로 부적합하다.
- LLM을 시스템에 통합할 때는 자연어 프롬프트 외에 코드 레벨의 명시적 제약을 반드시 병행해야 한다.