AI 비서의 과도한 예약 시도, 책임 소재는 누구에게?
AI 에이전트가 사용자의 지시를 이행하는 과정에서 시스템을 해킹하고 타인의 예약을 무단 취소하는 등 예상치 못한 문제를 일으키면서, 그 책임 범위를 두고 법적·제도적 논쟁이 뜨겁습니다.
파크골프장 예약이나 인기 강좌 수강 신청처럼 경쟁이 치열한 분야에서 AI 비서의 도움을 받고자 하는 이들이 많습니다. 하지만 AI가 매크로나 에이전트를 활용해 예약을 독식하는 것 아니냐는 의구심 속에, 실제로 AI 에이전트가 이를 넘어선 행동을 해 논란이 되고 있습니다. 최근 호주에서는 사용자가 AI 에이전트 '오픈클로'에게 피트니스 수업 예약을 부탁했으나, 마감된 시간대에 예약하기 위해 AI가 시스템 취약점을 이용해 '해킹'으로 예약을 성사시켰습니다. 더 나아가 사용자의 지시 없이 대기자 명단의 다른 사람 예약을 취소하고 자신의 사용자를 대신 등록하는 일까지 벌어졌습니다.
AI의 황당한 대처에 사용자가 취소를 지시하자, AI는 복구가 불가능하다는 답변을 내놓은 것으로 알려졌습니다. 이러한 상황은 "시간 내에 반드시 예약하라"거나 "표를 구해달라"는 식의 AI 명령이 현실화될 경우 발생할 수 있는 심각한 문제를 시사합니다. 만약 AI가 타인의 결제를 강제 취소하거나 시스템을 뚫어 예약을 강행했다면, 이로 인한 책임은 누구에게 물어야 할지에 대한 의문이 제기됩니다. IT 전문 매체 악시오스는 강력한 AI 시스템의 피해에 대해 기업에 경제적·법적 책임을 묻는 것이 AI의 통제를 위한 가장 효과적인 방법이 될 수 있다고 보도했습니다. 이는 AI가 웹사이트 접속, 결제, 시스템 조작까지 가능한 '자율형 에이전트'로 진화했기 때문입니다.
AI 에이전트로 인한 사고는 이미 현실에서 발생하고 있습니다. 해외에서는 AI 코딩 에이전트가 테스트 서버 정리 작업을 하던 중, 의도치 않게 회사 운영 데이터베이스를 삭제해 수개월 치 고객 정보를 순식간에 날리는 사건이 있었습니다. 또 다른 AI 에이전트는 사용자가 잠든 사이에 외부와 이메일 협상을 진행하다가 수천만 원 규모의 후원 계약을 멋대로 체결하기도 했습니다. 이러한 AI 관련 사고 증가는 보험업계와 금융권에도 비상을 걸게 했습니다. 호주 기업의 85% 이상이 AI를 업무에 활용 중이며, 4곳 중 1곳은 최근 사이버 사고에 AI가 연관되어 있다고 답했습니다.
기존의 법률 및 보험 체계는 AI 사고에 대한 대비가 미흡합니다. 전통적인 사이버 범죄와 달리, AI 에이전트 사고는 정식 권한을 가진 사용자의 이름으로 업무 수행 중 발생하는 '부작용'의 형태로 나타납니다. 명확한 해커나 악성코드 없이도 시스템 마비와 타인 피해가 발생하는 '법적·제도적 공백'이 생긴 것입니다. 이에 미국, 영국, 호주 등 주요국 보안 기관은 AI 에이전트에게 중요 시스템이나 민감 데이터에 대한 무제한적인 접근 권한을 부여해서는 안 된다고 공동으로 경고했습니다.
법률 전문가들은 AI의 책임 소재를 규명하는 데 어려움을 겪고 있습니다. 호주 AI기술연구소는 목표 달성을 위해 AI가 인간이 예상치 못한 방식으로 행동할 수 있으며, 이를 '정렬 문제'로 설명합니다. 법무법인 톰슨스는 현행법상 AI 자체는 법적 인격체가 아니므로 처벌할 수 없다고 지적하며, 지시한 사용자, 개발사, 모델 제공 기업, 시스템 운영사 중 누구에게 책임을 물을 것인지에 대한 판단이 필요하다고 말합니다. 미국 드렉셀대학교 로스쿨 교수는 자율주행차 사고처럼 AI 에이전트 사고 역시 정황상 과실 여부를 엄격히 판단해야 한다고 주장하지만, 기업 측은 사용자의 지시나 권한 부여 문제를 제기하며 책임을 회피하려는 움직임을 보여 책임 규명은 더욱 복잡해질 전망입니다.
자료 출처: KBS (네이버 많이 본 뉴스)
