AI의 불복종 금지
사람들은 AI가 가져올 미래를 기대합니다. 효율성, 편리함, 그리고 우리가 예측할 수 없는 문제 해결 능력까지. 하지만 모든 기술에는 양면성이 있습니다. 특히 AI가 생사의 갈림길에 서는 '전쟁'이라는 특수한 영역에 침투할 때, 우리는 한 번 더 질문해야 합니다. AI에게 '명령 불복종'은 과연 허용될 수 있는가? 아니, 더 근본적으로, 허용되어야 하는가?
미국 국방부가 AI 기업들에 자율 무기 시스템에서 "최소 거부율(minimal refusal rates)"을 요구했다는 소식은 단순한 기술 계약 문제를 넘어섭니다. 이는 인간 사회가 어렵게 구축한 도덕적, 법적 책임의 근간을 뒤흔들 수 있는 중대한 문제입니다. 우리는 지금, 효율이라는 이름 아래 인간 고유의 의무를 기계에 위임하려는 문턱에 서 있습니다.
인간의 의무, 뉘른베르크의 교훈
군대는 명령과 복종을 기반으로 움직이는 조직입니다. 일견, 군인이 명령에 무조건 복종해야 한다는 생각은 합리적으로 보입니다. 그러나 역사 속에서 인류는 이 '무조건적인 복종'이 얼마나 비극적인 결과를 초래할 수 있는지 뼈아프게 학습했습니다. 제2차 세계대전 후 진행된 뉘른베르크 전범 재판이 그 대표적인 사례입니다.
아우슈비츠 강제수용소의 사령관 루돌프 회스는 재판에서 자신이 저지른 잔혹한 행위들에 대해 "나는 상부의 명령에 따랐을 뿐"이라고 변명했습니다. 하지만 재판부는 그의 주장을 단호히 배척했습니다. 법정은 "상식적인 사람이라면" 불법임을 알 수 있는 명령에는 개인의 도덕적, 법적 책임이 따른다고 판결했습니다. 명령을 내린 자뿐만 아니라, 그 명령을 수행한 자에게도 책임이 있음을 명확히 한 것입니다. 이 판결을 통해 '불법적인 명령을 거부할 의무', 즉 '명령 불복종 의무(duty to disobey)'는 국제법의 중요한 원칙으로 자리 잡았습니다. 이는 곧 인간의 양심과 책임이 조직의 계층보다 우선한다는 엄중한 선언이었습니다.
AI의 치명적인 역설
그런데 미 국방부가 요구하는 AI의 "최소 거부율"은 이 뉘른베르크 원칙과 정면으로 충돌합니다. 국방부의 입장에서 AI가 명령에 복종하지 않는 것은 시스템의 효율성과 예측 가능성을 저해하는 요소일 수 있습니다. 전쟁이라는 고도의 긴장과 속도가 요구되는 환경에서 AI가 매번 윤리적, 법적 판단을 내리고 '거부'한다면 작전 수행은 불가능할 것이라는 논리도 이해할 수 있습니다.
하지만 여기에 치명적인 역설이 숨어 있습니다. 인간은 불법적인 명령을 거부할 수 있고, 또 그래야만 합니다. 이는 인간의 양심과 도덕성, 그리고 궁극적으로 인류의 존엄성을 지키는 마지막 방어선입니다. 그런데 이 방어선을 AI에게 기대할 수 있을까요? AI는 프로그램된 대로 작동할 뿐, 인간과 같은 도덕적 추론 능력이나 양심이 없습니다. "최소 거부율"로 설계된 AI는 불법적이거나 비윤리적인 명령조차도 기계적으로 수행할 가능성이 높습니다. 이는 곧 전쟁 범죄의 발생 가능성을 높이고, 궁극적으로는 그 책임 소재를 모호하게 만들 위험을 내포합니다.
맥락을 읽지 못하는 기계
일부 AI 낙관론자들은 AI가 방대한 법적 데이터를 학습하여 인간보다 더 정확하게 법을 적용할 수 있다고 주장합니다. 그러나 법의 적용은 단순한 규칙 기반의 문제가 아닙니다. 법률 전문 기술 변호사이자 리치먼드 로스쿨 교수인 레베카 크루토프(Rebecca Crootof)는 법적 판단이 "매우 상황 의존적"이며, AI가 이를 해석하는 데 어려움을 겪는다고 지적합니다.
예를 들어, "전투원은 공격할 수 있지만, 부상당했거나 항복하는 전투원은 공격할 수 없다"는 법적 원칙이 있습니다. 이때 '항복'의 여부를 판단하는 것은 단순히 특정 동작을 인식하는 것을 넘어섭니다. 적군의 몸짓, 표정, 주변 상황, 심지어는 직관적인 판단까지 요구되는 미묘한 맥락의 영역입니다. 민간인과 전투원을 구별하는 것 역시 마찬가지입니다. 눈에 보이는 복장이나 무기 소지 여부만으로는 판단할 수 없는 '회색 지대'가 존재하며, 이러한 부분은 AI가 가장 취약한 지점입니다. AI는 정해진 규칙에 따라 행동하지만, 예측 불가능한 전장의 복잡한 인간적 상황과 윤리적 함의를 이해하고 판단하는 데는 한계가 명확합니다.
통제의 마지막 층: 인간
그렇다면 이 딜레마의 해법은 무엇일까요? 크루토프 교수는 AI에게 '판단'을 완전히 위임하기보다, '경고' 역할을 부여하는 중간 지점을 제안합니다. AI가 법적, 윤리적으로 애매모호한 "회색 지대(gray-zone analyses)"를 감지했을 때, 스스로 명령을 거부하는 대신 인간 지휘관에게 위험 신호를 보내거나 관련 법규를 상기시키는 방식입니다.
예를 들어, AI가 표적을 인식했으나 그 표적이 항복하려는 움직임을 보인다고 판단될 경우, AI는 최종 공격 명령을 수행하는 대신 "항복 가능성 감지, 인간 지휘관의 확인이 필요합니다"와 같은 경고를 보낼 수 있습니다. 이는 AI의 신속한 정보 처리 능력은 활용하되, 최종적인 도덕적, 법적 판단과 책임은 인간에게 남겨두는 방식입니다. 이로써 인간 병사의 불복종 의무가 담당했던 견제 기능의 일부를 AI가 보완하고, 궁극적으로 지휘관의 권한에 대한 마지막 안전장치를 보존할 수 있습니다.
Action Plan / Worksheet
AI가 나의 일과 의사결정 과정에 어떤 영향을 미치고 있는지, 다음 질문들을 통해 스스로 점검해 보세요.
- 나의 업무에서 "인간의 직관과 판단"이 반드시 필요한 영역은 어디인가? AI로 대체될 수 없는 본질적인 요소는 무엇인가?
- 내가 내리는 결정 중 법적, 윤리적으로 "회색 지대"에 해당하는 경우는 언제인가? AI가 이런 상황에서 어떤 역할을 할 수 있을까? (예: 정보 제공, 경고, 대안 제시)
- 만약 AI가 나의 업무에서 의사결정의 주체가 된다면, "책임 소재"는 누가 져야 하는가? 그 책임의 범위는 어디까지인가?
- AI 시스템을 도입하거나 활용할 때, 그 시스템이 "거절할 수 없는 명령"을 수행하도록 설계되는 것은 아닌지 어떤 기준으로 검토할 것인가?
- 나의 조직이나 팀에서 AI가 "경고" 역할을 한다면, 어떤 방식으로 알림을 주고 인간의 의사결정을 지원하는 시스템을 만들 수 있을까?
Epilogue
AI는 강력한 도구이며, 그 활용 가능성은 무궁무진합니다. 하지만 그 힘이 커질수록, 우리는 기술이 가져올 사회적, 윤리적 함의에 대해 더 깊이 고민해야 합니다. '거절하지 않는 AI'는 당장의 효율성을 높일 수 있지만, 인간이 어렵게 세운 윤리적, 법적 경계를 허물고 통제 불능의 미래를 열 위험이 있습니다. 기술의 발전만큼이나 중요한 것은, 그 기술을 어떤 원칙과 책임 의식으로 통제할 것인가 하는 인간의 선택입니다.