비즈니스 및 IT 의사결정권자 3,700명을 대상으로 한 이번 글로벌 AI 연구 보고서*에 따르면, 67%가 보안 우려에도 불구하고 AI 도입을 승인해야 한다는 압박을 경험한 적이 있으며, 7명 중 1명은 해당 우려가 '극심한(extreme)' 수준이었음에도 경쟁사 대응 및 내부 수요에 밀려 무시되었다고 답했다.

레이첼 진(Rachel Jin) TrendAI™ CPBO(플랫폼 비즈니스 최고 경영자)는 "현재 기업들에게 부족한 것은 리스크에 대한 인식이 아니다. 리스크를 관리할 수 있는 여건이 부족한 것이다. 거버넌스 성숙도를 갖추기 전 경쟁에 대한 압박으로 도입이 추진될 때, AI가 적절한 통제 없이 핵심 시스템에 내장되는 상황이 발생한다. 이번 연구는 기업이 비즈니스 리스크를 관리하면서도 AI를 통해 확실한 비즈니스 성과를 달성할 수 있도록 지원하겠다는 TrendAI의 방향성을 다시 한번 확인시켜 준다."라고 밝혔다.

압박에 의한 AI 도입의 리스크는 거버넌스 비일관성과 AI 위험에 대한 불분명한 책임 소재로 인해 더욱 악화되고 있다. 보안 팀이 경영진의 AI 도입 결정에 사후 대응하는 방식으로 운영되는 경우도 마찬가지이며, 이는 종종 임시 방편적 우회책과 비인가 AI, 이른바 '섀도우 AI(Shadow AI)'의 사용 증가로 이어지고 있다.

최근 TrendAI™ 위협 연구에서도 이러한 변화가 확인되고 있다. 공격자들은 이미 AI를 활용하여 정찰 작업을 자동화하고, 피싱 캠페인을 가속화하며, 사이버 범죄의 진입 장벽을 낮추면서 공격의 속도와 규모를 동시에 확대하고 있다.

AI 도입 속도가 통제 역량을 앞지르고 있다

기업들은 관련 리스크를 관리할 수 있는 역량보다 빠르게 AI를 도입하고 있으며, 성장에 대한 야망과 실제 관리 감독 사이의 격차가 확대되고 있다. 57%는 AI가 보안 대응 역량보다 빠르게 발전하고 있다고 답했으며, 절반 이상(55%)은 AI를 규율하는 법적 프레임워크에 대한 이해도가 보통 수준에 불과하다고 밝혔다.

거버넌스 성숙도는 여전히 낮은 수준이다. 포괄적인 AI 정책을 갖추고 있는 조직은 약 3분의 1(38%)에 불과하며, 상당수는 아직 정책 수립 중이다. 41%는 불명확한 규제 또는 컴플라이언스 기준을 장애 요인으로 꼽았다. 실질적으로 AI는 그 사용을 규율하는 규정이 완전히 정립되기 전에 이미 운영 환경에 투입되고 있다.

자율형 AI에 대한 신뢰는 아직 미성숙 단계

보다 진화된 자율형 시스템에 대한 신뢰는 아직 성숙 단계에 있다. 에이전틱 AI가 단기적으로 사이버 방어 능력을 크게 향상시킬 수 있다고 응답한 비율은 절반 미만(44%)에 그쳤으며, 데이터 접근, 오남용, 감독 부재에 대한 우려가 지속되고 있다.

구체적인 우려 사항은 다음과 같다. 10개 조직 중 4곳 이상(42%)이 AI 에이전트의 민감한 데이터 접근을 가장 큰 리스크로 꼽았다. 3분의 1 이상(36%)은 악의적인 프롬프트가 보안을 위협할 수 있다고 경고했으며, 3명 중 1명(33%)은 사이버 범죄자의 공격 표면이 확대되고 있다고 지적했다. 비슷한 비율(33%)이 신뢰받는 AI의 지위 악용과 자율적 코드 배포에 따른 리스크를 우려했다.

동시에 약 3분의 1(31%)은 이러한 시스템에 대한 관측 가능성이나 감사 추적 기능이 부족하다고 인정했으며, 이는 에이전트가 배포된 이후 조직이 어떻게 통제하거나 개입할 수 있는지에 대한 근본적인 의문을 제기한다.
약 40%의 조직이 장애 또는 오남용 발생 시 시스템을 중단하는 AI '킬 스위치' 메커니즘의 도입을 지지하는 반면, 거의 절반은 아직 판단을 유보하고 있다. 이러한 합의의 부재는 보다 근본적인 문제를 시사한다. 기업들은 가장 중요한 순간에 통제권을 유지하는 방법에 대한 합의 없이 자율형 에이전트 기반(에이전틱) AI를 향해 전진하고 있다는 것이 이번 연구 보고서의 핵심이다.

레이첼 진(Rachel Jin) TrendAI™ CPBO(플랫폼 비즈니스 최고 경영자)는 "에이전틱 AI는 기업을 새로운 리스크 범주로 이동시키고 있다."라며 "이번 연구는 민감한 데이터 노출부터 감독 권한 상실에 이르기까지 우려가 이미 명확히 드러나고 있음을 보여준다. 가시성과 통제 없이는, 기업이 완전히 이해하지도 관리하지도 못하는 시스템을 배포하는 셈이며, 조치를 취하지 않으면 그 리스크는 계속 커질 수밖에 없다."라고 덧붙였다.

* TrendAI™는 SAPIO Research에 의뢰하여 전 세계 23개국의 IT 및 비즈니스 의사결정권자 3,700명을 대상으로 설문조사를 실시했으며, Global AI Study 연구 보고서를 발행했다.

(Securing the AI-powered Enterprise - Governance Gaps, Visibility Challenges and Rising Risk, AI 시대 기업 보안의 조건 - 거버넌스 격차, 가시성 문제, 그리고 증가하는 위험에 대한 대응 전략)