인공지능(AI) 위험 관리는 AI 시스템으로 위험을 발견, 확인 및 줄이는 프로세스입니다.
목차
AI 위험 관리의 필요성 이해
AI 위험 관리는 교육 데이터 부족, 모델 도난, 편향된 알고리즘 및 예상치 못한 행동과 같은 고유한 문제 때문에 일반적인 IT 위험 관리와는 다릅니다. Forrester에 따르면 AI의 진화가 끝나지 않는다면, “지속적인 보장을 제공하려는 목표를 가지고 지속적인 위험 관리를 수행해야 한다”고 합니다1.
AI는 끊임없이 변화하는 새로운 보안 위험을 처리하는 방법을 포함하여 비즈니스 운영 방식을 지속적으로 변화시키고 있습니다. 공격자는 훈련 데이터를 망치거나, 귀중한 알고리즘을 훔치거나, AI 결정을 속여 불공정한 결과를 만들어 AI 모델을 손상시킬 수 있습니다. 이러한 문제는 잠재적 위험을 적절히 완화하고 관리하기 위해 AI를 위해 만들어진 특별한 감독 및 기술적 보호가 필요합니다.
인공지능(AI)에 대한 잘못된 감독은 기술적 실패 이상을 초래할 수 있습니다. 기업은 AI 시스템이 오작동할 때 규제 벌금, 평판 손상, 재정적 손실 및 소송에 직면할 수 있습니다.
연구에 따르면 AI 시스템을 평가하는 조직의 37%2는 보안 및 규정 준수에 대한 우려가 가장 큰 과제라고 합니다. IT 리더 중 이 수치는 44%로 증가하여 AI 채택과 효과적인 위험 관리 사이의 큰 격차를 강조합니다.
AI 보안 위협 찾기
AI 시스템은 일반적인 보안 도구가 포착하거나 중지할 수 없는 다양한 보안 위험에 직면해 있습니다. 이러한 위협을 아는 것은 좋은 위험 관리에 도움이 됩니다.
잘못된 교육 데이터
범죄자들은 AI 모델을 파괴하기 위해 교육 세트에 유해한 데이터를 추가합니다. 이렇게 하면 모델이 잘못 분류하거나 공격자에게 도움이 될 수 있는 불공정한 결정을 보여야 합니다.
도난 모델
스마트 공격자는 결과를 연구하고 중요한 비즈니스 이점을 도용하여 중요한 AI 모델을 복사할 수 있습니다.
적대적 사례
AI 시스템을 속여 잘못된 예측을 하도록 의도적으로 제작된 입력. 예를 들어, 작은 변형으로 인해 자율 주행 자동차가 교통 표지판을 잘못 읽거나 잘못된 사람을 식별하기 위한 안면 인식 시스템을 잘못 인식할 수 있습니다.
교육 데이터 추출
공격자는 모델의 출력을 사용하여 민감한 속성 또는 교육 데이터의 특정 예를 추론하거나 재구성하여 개인에 대한 개인 정보를 공개합니다.
행위 분석
AI 시스템은 정상 작동 중에 예측 가능한 패턴을 보여줍니다. 이러한 패턴의 변화를 주시하면 보안 문제 또는 시스템 문제를 나타낼 수 있습니다.
성과 추적
AI 모델의 정확도 또는 성능에 갑작스러운 변화가 발생하면 공격이나 기타 보안 문제가 나타날 수 있습니다. 자동화된 모니터링은 성능을 추적하고 보안 팀에 문제를 경고할 수 있습니다.
활동 로깅
AI 시스템 활동의 완전한 로깅은 시스템 동작을 보여주고 보안 사고를 조사하는 데 도움이 됩니다. 여기에는 모델 요청 추적, 데이터 액세스 및 관리 작업이 포함됩니다.
위협 인텔리전스
새로운 AI 보안 위협에 대한 최신 정보를 계속 확보하면 조직이 시스템을 조기에 보호할 수 있습니다. 위협 인텔리전스는 새로운 공격 방법과 약점에 대한 정보를 제공합니다.
AI 위험 평가의 주요 구성 요소
좋은 위험 평가는 기술적 약점과 비즈니스 효과를 모두 다루는 명확한 방법이 필요합니다. AI 위험 평가를 수행할 때 다루고자 하는 주요 구성 요소는 다음과 같습니다.
자산 찾기
조직은 모델, 데이터세트에서 개발 도구 및 시스템에 이르기까지 전체 AI 스택을 추적해야 합니다. AI 관련 클라우드 리소스를 찾고 위험 및 비즈니스 중요성에 따라 순위를 매길 수 있는 자동화된 도구를 활용할 수 있습니다.
AI 위협 분석
AI 위협 분석은 정기적인 소프트웨어 보안을 넘어 머신 러닝을 포함한 다양한 AI 공격 방법을 포함합니다. 이는 AI 모델, 트레이닝 데이터 및 시스템에 대한 잠재적인 공격 경로를 찾습니다.
영향 검토
조직은 AI 시스템 장애 또는 침해가 사람, 그룹 및 사회에 어떤 영향을 미칠 수 있는지 판단해야 합니다. 여기에는 편견, 개인정보 보호 위반 및 안전 문제 확인이 포함됩니다.
위험 측정
위험 측정은 조직이 보안 지출에 집중하고 허용 가능한 위험 수준에 대한 현명한 결정을 내리는 데 도움이 됩니다. 여기에는 AI 보안 문제 및 규정 준수 위반으로 인한 잠재적 자금 손실 계산이 포함됩니다.
강력한 AI 거버넌스를 생성하는 방법
다른 거버넌스 표준과 마찬가지로 강력한 AI 거버넌스에는 명확하고 일관된 규칙, 제어 및 모니터링뿐만 아니라 다양한 회사 영역과 기술 분야에서의 팀워크가 필요합니다.
규칙 생성
조직은 AI 개발, 사용 및 운영을 다루는 완전한 정책이 필요합니다. 이러한 정책은 규제 요구와 이해관계자가 기대하는 사항을 충족하면서 비즈니스 목표와 일치해야 합니다.
명확한 작업 설정
명확한 책임은 AI 위험이 시스템 수명 주기 전반에 걸쳐 적절히 관리되도록 보장합니다. 이는 AI 위험 소유자의 이름을 지정하고, 감독 위원회를 만들고, 상부 보고 절차를 설정하는 것을 의미합니다.
기술 제어 추가
AI별 보안 제어는 기존 사이버 보안이 해결할 수 없는 고유한 위험을 처리합니다. 여기에는 AI 모델 스캔, 런타임 보호 및 특수 모니터링이 포함됩니다.
지속적인 모니터링
AI 시스템은 성능 변화, 보안 문제 및 규정 준수 위반을 포착하기 위해 지속적인 감시가 필요합니다. 자동화된 모니터링은 모델 동작을 추적하고 보안 팀에 문제를 경고할 수 있습니다.
AI 시스템에 대한 중요한 보안 제어
보안은 특히 AI 분야에서 모든 위험 관리의 중요한 구성 요소입니다. AI 시스템을 보호하려면 AI 수명 주기 전반에 걸쳐 위험을 해결하는 여러 보안 계층이 필요합니다.
개발 보안
보안 개발은 AI 시스템이 처음부터 보안을 포함하도록 보장합니다. 여기에는 AI 애플리케이션에 대한 코드 스캔, 취약점 검사 및 보안 코딩이 포함됩니다.
데이터 보호
AI 시스템은 특별한 보호가 필요한 많은 민감한 데이터를 처리합니다. 여기에는 데이터 암호화, 액세스 제어 및 개인 정보 보호 기술이 포함됩니다.
모델 보안
AI 모델은 도난, 변조 및 공격으로부터 보호해야 합니다. 모델 암호화, 액세스 제어 및 확인은 중요한 AI 자산을 보호하는 데 도움이 됩니다.
런타임 보호
AI 애플리케이션은 운영 중에 공격에 대한 실시간 보호가 필요합니다. 여기에는 비정상적인 활동을 발견하기 위한 입력 검증, 출력 필터링 및 동작 모니터링이 포함됩니다.
AI 위험 관리를 위한 규칙 및 규정
정부가 AI 관련 규칙을 만들면서 다음 규정이 더욱 중요해지고 있습니다. Forrester에 따르면, “Agentic AI는 여러 관할권에서 규제 조정을 유지하면서 진화하는 규정을 준수해야 하는 자율적인 의사 결정을 도입합니다.”3. EU AI 법과 같은 새로운 규정은 AI 시스템 개발 및 사용에 대한 특정 기준을 요구합니다. 조직은 해당 분야의 해당 규정을 이해하고 준수해야 합니다. ISO 42001과 같은 산업 표준은 조직이 책임감 있는 AI 관행을 보여주는 데 도움이 되는 AI 관리 시스템을 위한 프레임워크를 제공합니다. 이러한 표준을 준수하면 규제 위험을 줄이고 이해관계자의 신뢰를 높일 수 있습니다.
AI 시스템은 종종 개인 데이터를 처리하여 GDPR과 같은 개인정보 보호 규정을 직접적으로 관련시킵니다. 조직은 AI 시스템이 데이터 보호 요구 사항을 준수하는지 확인하고, AI 시스템 개발, 테스트 및 사용에 대한 자세한 문서를 유지하여 감사 중에 규정 준수를 입증해야 합니다.
AI 보안 팀 구축
강력한 AI 위험 관리 전략을 구축하려면 사전 예방적인 사이버 보안 솔루션과 결합된 심층적인 AI 지식이 필요합니다.
필요한 기술
AI 보안 전문가는 머신 러닝 모델을 구축, 배포 및 모니터링하는 방법에 대한 강력한 사이버 보안 기술과 기본 유창성이 필요합니다. AI 시스템을 방어하려면 기존의 보안 위험과 모델 동작, 데이터 파이프라인 및 배포 선택이 어떻게 새로운 취약점을 생성하는지 이해해야 합니다. 이러한 조합은 드문 일이므로 한 사람이 모든 것을 알기를 기대하기보다는 여러 직능에 걸친 팀을 고용하고 기술을 향상시키십시오.
교육 프로그램
AI 보안 교육 프로그램은 보안 팀에게 AI 관련 위협, 안전한 머신 러닝 수명 주기 관행, 레드팀 및 사고 대응, 규정 준수 및 개인 정보 보호를 가르치고 실습 랩을 포함합니다. 변화하는 위험에 보조를 맞추기 위해 지속적인 재교육을 통해 엔지니어, 분석가 및 리더를 위한 역할 기반 경로를 제공하는 것이 가장 좋습니다.
외부 지원
많은 조직이 전문 AI 보안 제공업체와 협력하여 내부 기능을 보완합니다. 이러한 파트너십은 내부적으로 개발하는 데 비용이 많이 드는 전문 지식과 도구에 대한 액세스를 제공합니다.
지속적인 학습
AI 보안 분야는 빠르게 변하기 때문에 지속적인 교육과 기술 개발이 필요합니다. 조직은 새로운 위협과 기술을 팀이 최신 상태로 유지할 수 있도록 지속적인 학습 프로그램에 투자해야 합니다.
AI 위험 관리 구현의 비즈니스 이점
AI 위험 관리에 투자하면 다음과 같은 위험을 줄이는 것 이상의 상당한 비즈니스 가치를 제공합니다.
경쟁 우위. 강력한 AI 거버넌스를 갖춘 조직은 AI 시스템을 더 자신감 있고 빠르게 사용할 수 있는 권한이 부여되어 적절한 위험 관리 없이 경쟁업체보다 더 빠른 혁신과 시장 우위를 실현할 수 있습니다.
신뢰 구축. 완벽한 AI 위험 관리는 고객, 파트너 및 규제 기관과의 신뢰를 구축하여 입증된 AI 거버넌스 기능이 필요한 새로운 비즈니스 기회와 파트너십을 위한 더 많은 공간을 만듭니다.
비용 예방. AI 보안 사고를 방지하면 데이터 침해, 규제 벌금 및 평판 손상으로 인한 막대한 비용을 방지할 수 있습니다. 데이터 침해의 평균 비용은 445만 달러이며 AI 관련 사고는 잠재적으로 비용이 더 많이 듭니다.
효율성 향상. 자동화된 AI 보안 제어는 수동 감독 요구를 줄이는 동시에 더 나은 보호를 제공합니다. 이를 통해 조직은 보안 오버헤드를 비례적으로 증가시키지 않고 AI 사용을 확장할 수 있습니다.
AI 위험 관리 시작하기
완전한 AI 위험 관리를 구축하려면 시간이 지남에 따라 역량을 개발하는 구조화된 접근 방식이 필요합니다. 문제는 완전한 AI 위험 관리를 구현할지 여부가 아니라 AI 보안 기능에 대한 전략적 투자를 통해 조직이 얼마나 빨리 효과적인 거버넌스와 경쟁 우위를 달성할 수 있는지입니다.
- 평가 및 계획
현재 AI 환경 및 보안 위치에 대한 완전한 평가부터 시작하십시오. 역량 격차를 찾고 이를 해결하기 위한 계획을 개발합니다. - 빠른 성공
즉각적인 가치를 제공하는 기본 AI 보안 제어에 집중합니다. 여기에는 AI 자산 검색, 기본 모니터링 및 정책 개발이 포함됩니다. - 단계별 설정
AI 위험 관리 기능을 점진적으로 구축하여 고위험 시스템에서 시작하여 시간이 지남에 따라 커버리지를 확장합니다. 이 접근 방식은 즉각적인 보호를 제공하면서 학습과 개선을 돕습니다. - 지속적인 개선
AI 위험 관리는 지속적인 개선과 개선이 필요한 지속적인 프로세스입니다. 정기적인 평가 및 업데이트를 통해 변화하는 위협에 대비하여 기능을 효과적이고 탄력적으로 유지할 수 있습니다.
AI 위험 관리에 대한 도움은 어디에서 얻을 수 있습니까?
AI의 지속적인 변화로 발빠르게 진화하는 솔루션이 필요합니다. Trend Vision One™ AI Security 솔루션은 전체 AI 스택을 보호하기 위한 다계층 접근 방식을 제공하며 플랫폼에서 AI를 사용하여 보안 팀의 운영 효율성을 개선합니다. AI 사이버 보안에 대한 자세한 내용은 https://www.trendmicro.com/en_us/business/ai/security-ai-stacks.html 확인하십시오.
출처:
소스 1: Pollard, J., Scott, C., Mellen, A., Cser, A., Cairns, G., Shey, H., Worthington, J., Plouffe, J., Olufon, T., & Valente, A. (2025). Forrester의 AEGIS 프레임워크 소개: 정보 보안을 위한 에이전트 AI 엔터프라이즈 가드레일. Forrester Research, Inc.
출처 2: Leone, M. 및 Marsh, E. (2025년 1월). 빌드 대 엔터프라이즈 지원 AI를 위한 Dynamics 구매 탐색 기업 전략 그룹.
출처 3: Pollard, J., Scott, C., Mellen, A., Cser, A., Cairns, G., Shey, H., Worthington, J., Plouffe, J., Olufon, T., & Valente, A. (2025). Forrester의 AEGIS 프레임워크 소개: 정보 보안을 위한 에이전트 AI 엔터프라이즈 가드레일. Forrester Research, Inc.
Fernando Cardoso 는 트렌드마이크로의 제품 관리 부사장으로, 끊임없이 진화하는 AI 및 클라우드 세계에 중점을 두고 있습니다. 그는 네트워크 및 영업 엔지니어로 시작하여 데이터 센터, 클라우드, DevOps 및 사이버 보안 분야에서 자신의 기술을 연마했으며, 이는 계속해서 열정을 불러일으키고 있습니다.