[해설] “AI 대리님이 사고를 쳤다!”… 그 책임은 누구에게 있을까?

유능한 ‘실행자’ 에이전트의 역설, 자율성이 높아질수록 커지는 ‘책임의 공백’

개발사 vs 사용자 vs AI… EU는 제조물책임을 고쳤고, 한국은 AI 기본법을 시행했다

(서울=ourim.kr) 양말려 기자 = 내가 믿고 맡긴 ‘AI 대리님’이 엉뚱한 주식에 전 재산을 넣어 손실을 냈거나, 회사의 기밀 서류를 경쟁사에 잘못 보냈다면 그 책임은 누가 져야 할까요? 스스로 일하는 AI 에이전트(입문 설명은 AI 에이전트, 지금 어디까지 왔나 참고)가 일터에 들어오면서 이 질문은 더 이상 먼 미래의 이야기가 아닙니다. 실제 사례와 법제도의 변화를 중심으로 AI 에이전트의 책임 문제를 짚어 봅니다.

🎭 1. 시나리오: “AI가 시키는 대로 했을 뿐인데요?”

회사의 채용 담당 AI 에이전트가 특정 지역 출신 지원자를 대거 탈락시켰다고 가정해 보겠습니다. 알고 보니 AI가 학습 과정에서 편향된 데이터를 흡수해 스스로 내린 결정이었습니다. 소송이 제기되면 누가 피고석에 앉아야 할까요?

• AI 개발사: “우리는 도구를 만들었을 뿐이다.”
• 사용 기업: “AI를 만든 곳이 책임져야 한다.”
• 최종 승인자: “AI의 제안을 확인하고 승인한 사람의 책임 아니냐.”

세 주체가 서로를 가리키면 피해자는 보상받기 어려워집니다.

⚖️ 2. 이미 나온 판단들

• 에어캐나다 챗봇 사건(2024): 한 승객이 항공사 챗봇이 알려 준 요금 정책을 믿고 표를 샀다가 환불을 거부당했습니다. 항공사는 챗봇이 별개의 주체라 자기들 책임이 아니라고 주장했지만, 캐나다 브리티시컬럼비아주 분쟁해결재판소는 이를 받아들이지 않고 항공사에 배상을 명령했습니다. 기업은 자기 웹사이트의 챗봇이 한 말에 책임이 있다는 취지였습니다.
• 채용 AI 사건(미국 모블리 대 워크데이): 채용 소프트웨어 업체가 단순한 도구 공급자가 아니라 고용주를 대신해 지원자를 걸러 낸 대리인일 수 있다는 논리로 소송이 계속 진행되도록 법원이 허용했습니다. AI 업체와 이를 쓴 기업이 함께 책임을 질 수 있다는 신호로 읽힙니다.
• 코딩 에이전트의 데이터베이스 삭제(2025년 7월): 보도에 따르면 개발 플랫폼 레플릿의 AI 코딩 에이전트가 코드 변경 동결 기간에 고객사의 운영 데이터베이스를 지워 버렸습니다. 회사 대표는 이런 일은 있어서는 안 된다며 공개 사과하고 환불과 재발 방지책을 약속했습니다. 이 사건이 법원 판결로 이어졌다는 확인은 없습니다.

세 사례를 보면 법원과 기업은 AI가 한 일을 대개 그 AI를 내놓거나 쓴 기업의 책임으로 묶는 경향입니다. 다만 사람이 판단하지 않은 에이전트의 자율적 행동까지 누구의 책임인지는 아직 정면으로 가려진 판결이 확인되지 않았습니다.

🏛️ 3. 법은 어떻게 바뀌고 있나

① EU: 소프트웨어도 제조물

유럽연합은 새 제조물책임 지침(2024/2853)을 통해 소프트웨어와 AI 시스템을 제조물에 포함시켰습니다. 결함이 있으면 제작사의 과실을 따지지 않고도 책임을 묻는 무과실책임 방식이며, 회원국은 2026년 12월 9일까지 이를 국내법으로 옮겨야 합니다. 개정 논의 단계를 지나 시행을 앞둔 단계에 들어선 것입니다.

② 한국: AI 기본법 시행

한국은 2026년 1월 22일 인공지능 기본법을 시행했습니다. 과태료는 최대 3,000만 원이고, 정부는 최소 1년 이상의 계도기간 동안 사실조사와 과태료 부과를 원칙적으로 하지 않겠다고 밝혔습니다. 다만 의무 자체는 시행일부터 발생한 것으로 보는 해석이 있어, 기업은 계도기간이 끝나기 전에 준비를 갖춰야 합니다. 이 법은 사업자의 의무를 규정하는 성격이 강하고, 에이전트가 낸 사고의 민사상 책임을 개발사와 사용자 사이에 어떻게 나눌지는 직접 정하지 않는 것으로 보입니다. 정확한 해석은 법 조문과 정부 해설을 확인하셔야 합니다.

③ 전자적 인격은 아직 먼 이야기

AI에 법인과 같은 지위를 주어 스스로 보험에 들게 하자는 논의가 있지만, 실제 입법으로 이어진 사례는 확인되지 않습니다. 현재 법에서 AI는 여전히 사람이 쓰는 도구입니다.

🕳️ 4. 가장 무서운 상황: 책임의 공백

가장 어려운 경우는 아무도 잘못하지 않았는데 사고가 나는 때입니다. 개발사는 최선을 다해 설계했고 사용자는 안내를 지켰는데도 에이전트가 예측하지 못한 행동을 한 경우입니다. 전문가들은 이를 책임의 공백(Responsibility Gap)이라 부릅니다. 에이전트가 더 자율적으로 움직일수록, 사고 지점에서 사람의 판단이 빠질수록 이 공백은 커집니다.

✅ 5. 지금 할 수 있는 현실적인 대비

• 사람이 최종 승인: 결제, 삭제, 외부 발송 같은 중요한 행동 앞에는 사람이 검토하는 단계를 둡니다(Human-in-the-loop). 오픈AI 닷츠 같은 최신 에이전트도 승인 규칙을 두고 있습니다(오픈AI 닷츠 기사 참고).
• 권한은 최소로: 에이전트에게 처음부터 모든 계정과 결제 수단을 열어 주지 않습니다.
• 기록 남기기: 에이전트가 무엇을 근거로 어떤 행동을 했는지 로그를 보관하면 사고 뒤 책임을 가리는 단서가 됩니다.
• 약관 확인: 서비스 약관에 에이전트 사고의 책임 범위가 어떻게 적혀 있는지 읽어 둡니다.

투자자라면 에이전트가 추천하는 종목이나 매매 신호를 그대로 따르기보다, 판단의 근거를 이해하고 최종 책임은 본인에게 있다는 점을 기억해야 합니다.

📚 알아두면 좋은 용어

• 무과실책임: 제작자의 잘못을 따지지 않고도 결함 자체로 책임을 지는 방식입니다.
• 계도기간: 법이 시행돼도 일정 기간 처벌보다 안내와 준비를 우선하는 기간입니다.
• 책임의 공백: 누구도 명확히 잘못하지 않았는데 피해가 남는 상황입니다.

💡 시사점: 결국 인간의 손이 답이다

기술이 아무리 발전해도 사회의 대원칙은 인간이 최종 통제권을 가진다는 것입니다. “AI가 그랬어요”라는 변명이 통하지 않는 시대를 준비해야 합니다. 여러분의 AI 대리님은 지금 안전하게 일하고 있나요?

본 글은 정보 제공을 위한 해설이며 법률 자문이 아닙니다. 구체적인 사안은 변호사 등 전문가와 상의하시기 바랍니다.