LLOYDK
사례로 배우는 AI 보안 거버넌스 전략
Session 10
사례로 배우는 AI 보안 거버넌스 전략 ·

AI보안 거버넌스 30가지 실천
PDCA 기반 완전 가이드

Plan-Do-Check-Act 사이클을 기반으로, AI 도입부터 운영·감사·개선까지 단계별로 실천 가능한 30가지 AI 보안 거버넌스 항목을 체계적으로 학습한다.

30+ 세부 항목강의 + 토론 + 실습|AI 보안 거버넌스
AGENDA · 35 Slides

강의 슬라이드 구성

01
표지: AI보안 거버넌스 30가지 실천 — PDCA 기반 완전 가이드
02
강의 슬라이드 구성 — 전체 35장 개요
03
🔄 PDCA 사이클 & AI보안 거버넌스 로드맵 개요
04
📋 P — Plan (계획) 개요: AI보안 전략 수립 10대 실천
05
P01~P03: AI 서비스 목록화·리스크 평가·거버넌스 프레임워크
06
P04~P06: 데이터 분류·위협 모델링·컴플라이언스 매핑
07
P07~P10: 교육 계획·자원 배분·KPI 정의·공급망 평가
08
🏗️ D — Do (실행) 개요: AI보안 통제 실행 10대 실천
09
D01~D03: 접근통제·데이터 보호·AI 가드레일 구축
10
D04~D06: 모니터링·취약점 관리·모델 보안 강화
11
D07~D10: 사고대응·공급망 보안·인식제고·문서화
12
🔍 C — Check (점검) 개요: AI보안 평가·감사 5대 실천
13
C01~C03: 정기 감사·취약점 평가·모니터링 리뷰
14
C04~C05: 컴플라이언스 체크·침투 테스트 및 레드팀
15
🔄 A — Act (개선) 개요: AI보안 지속 개선 5대 실천
16
A01~A03: 시정조치·피드백 루프·정책 업데이트
17
A04~A05: 경영진 검토·지속적 개선 문화
18
🎯 Wrap-up: 30가지 실천 총정리 매트릭스
19
📖 참고문헌 — 국내외 AI 보안 프레임워크·표준·법령
PDCA CYCLE · AI SECURITY GOVERNANCE

PDCA 사이클 & AI보안 거버넌스 로드맵

P
Plan · 계획
10대 실천
AI 서비스 목록화 → 리스크 평가 → 정책 수립 → 데이터 분류 → 위협 모델링 → 컴플라이언스 매핑 → 교육 계획 → 자원 할당 → KPI 정의 → 공급망 평가
"준비 없이 시작하지 마라"
D
Do · 실행
10대 실천
접근통제 → 암호화·데이터보호 → 가드레일 구축 → 모니터링 체계 → 취약점 관리 → 모델 보안 → 사고대응 → 공급망 보안 → 인식제고 → 문서화
"계획을 실행으로 옮겨라"
C
Check · 점검
5대 실천
정기 감사 → 취약점 평가 → 모니터링 리뷰 → 컴플라이언스 체크 → 침투 테스트·레드팀
"측정하지 않으면 개선할 수 없다"
A
Act · 개선
5대 실천
시정조치 → 피드백 루프 → 정책 업데이트 → 경영진 검토 → 지속적 개선 문화
"배운 것을 제도화하라"
P
Plan · 계획 단계

P01~P03: 자산 파악부터 거버넌스까지

P01
AI 승인·비승인 서비스 목록화
• 전사 AI 서비스 인벤토리 구축
• 승인/비승인/심사중 분류 체계
• Shadow AI 탐지·차단
🎯 핵심 질문: "우리 조직은 현재 몇 개의 AI 서비스를 사용 중인가?"
P02
AI 리스크 평가 체계 수립
• NIST AI RMF 기반 평가 프레임워크
• 고위험/중위험/저위험 분류 기준
• EU AI Act 리스크 카테고리 연계
🎯 핵심 질문: "가장 위험한 AI 사용 사례는 무엇인가?"
P03
AI 거버넌스 프레임워크 설계
• AI 거버넌스 위원회 구성
• R&R(역할과 책임) 정의
• 의사결정 체계도 수립
🎯 핵심 질문: "AI 도입 결정은 누가, 어떤 기준으로 하는가?"
P
Plan · 계획 단계

P04~P06: 데이터·위협·컴플라이언스 체계화

P04
AI 데이터 분류 체계 수립
• 학습·추론·출력 데이터 분류
• 민감도 레벨(1~4등급) 정의
• 데이터 흐름도(DFD) 작성
🎯 핵심 과제: "AI에 입력되는 데이터 중 개인정보·기밀이 있는가?"
P05
AI 위협 모델링 수행
• STRIDE/ATT&CK 기반 위협 식별
• OWASP LLM Top 10 매핑
• AI 특화 공격 시나리오 도출
🎯 핵심 과제: "공격자가 AI 시스템을 어떻게 악용할 수 있는가?"
P06
컴플라이언스 요구사항 매핑
• AI기본법·개인정보보호법·EU AI Act
• ISMS-P·CSAP·금융 AI 가이드
• Gap Analysis → 대응 로드맵
🎯 핵심 과제: "우리 조직에 적용되는 AI 규제는 무엇인가?"
P
Plan · 계획 단계

P07~P10: 인력·자원·성과·공급망 준비

P07
AI 보안 교육·인식 제고 계획
• 임직원 대상 AI 보안 인식 교육 설계
• 개발자 AI Secure Coding 가이드
• 경영진 AI 리스크 Briefing 체계
P08
AI 보안 자원·예산 할당
• AI 보안 전담 인력 배치 계획
• 보안 도구·플랫폼 예산 편성
• 외부 전문가·컨설팅 활용 전략
P09
AI 보안 KPI·성과지표 정의
• AI 사고 발생률·대응 시간·처리율
• Shadow AI 탐지율·차단율
• 임직원 AI 보안 인식도 점수
P10
AI 공급망 보안 평가 계획
• 제3자 AI 서비스·모델 보안 평가
• AI-BOM(Bill of Materials) 요구사항
• 벤더 Due Diligence 프로세스
D
Do · 실행 단계

D01~D03: 접근통제·데이터·가드레일 실행

D01
AI 접근통제 체계 구축
• AI 서비스별 RBAC/ABAC 적용
• API 키·토큰 관리 체계 수립
• 제로트러스트 기반 AI 접근 모델
🛡️ 실행지침: "누가 어떤 AI 모델·데이터에 접근 가능한지 정의하라"
D02
AI 데이터 암호화·보호
• 전송·저장·처리 데이터 암호화
• 학습 데이터 익명화·가명처리
• 데이터 유출 방지(DLP) 적용
🛡️ 실행지침: "AI 학습용 데이터도 개인정보보호 대상임을 명심하라"
D03
AI 가드레일 구축·운영
• 입력 필터링·출력 검증 가드레일
• 프롬프트 인젝션 방어 체계
• NeMo Guardrails·AI WAF 적용
🛡️ 실행지침: "모든 AI 입력/출력은 검증된 가드레일을 통과해야 한다"
D
Do · 실행 단계

D04~D06: 모니터링·취약점·모델보안 강화

D04
AI 모니터링·로깅 체계 구축
• AI 추론 로그 수집·중앙화
• 이상 탐지(Anomaly Detection)
• SIEM/SOAR 연동 자동화
🛡️ 실행지침: "AI 시스템도 전통적 보안 모니터링 대상에 포함하라"
D05
AI 취약점 관리 프로세스
• AI 모델 취약점 스캐닝 자동화
• 패치·업데이트 관리 파이프라인
• CVE→AI CVE 확장 대응
🛡️ 실행지침: "AI 모델도 소프트웨어처럼 정기적 패치가 필요하다"
D06
AI 모델 보안 강화
• 모델 암호화·서명 검증
• 적대적 학습(Adversarial Training)
• 모델 추출·탈취 방어
🛡️ 실행지침: "AI 모델 자체가 지식재산임을 인식하고 보호하라"
D
Do · 실행 단계

D07~D10: 사고대응·공급망·인식·문서화

D07
AI 사고대응 체계 구축
• AI 특화 IRP(Incident Response Plan)
• AI 사고 분류·에스컬레이션 체계
• BCP/DR과 AI 시스템 연계
D08
AI 공급망 보안 실행
• 제3자 AI API·모델 보안 통제
• AI-BOM 문서화·검증
• 오픈소스 AI 모델 무결성 검증
D09
AI 보안 인식제고 캠페인 실행
• 전사 AI 보안 Use Policy 배포
• 피싱·프롬프트 인젝션 모의훈련
• 부서별 AI 사용 가이드라인 제공
D10
AI 보안 문서화·증적 관리
• AI 보안 정책서·절차서 작성
• 감사 증적(Audit Trail) 체계화
• AI 모델 카드·데이터 카드 발행
C
Check · 점검 단계

C01~C03: 감사·평가·리뷰 체계

C01
AI 보안 정기 감사 수행
• AI 보안 감사 프레임워크 수립
• 분기별/반기별 감사 일정 수립
• 감사 체크리스트·평가 기준
🔍 점검 질문: "우리의 AI 보안 통제는 실제로 작동하고 있는가?"
C02
AI 취약점 평가·스캔 정례화
• 월간 AI 모델·인프라 취약점 스캔
• OWASP LLM Top 10 기반 평가
• 취약점 발견→조치 SLA 체계
🔍 점검 질문: "새로운 AI 취약점에 얼마나 빨리 대응하는가?"
C03
AI 모니터링·로그 리뷰
• AI 로그 정기 분석·트렌드 파악
• 이상 징후 패턴 식별·보고
• 오탐(False Positive) 튜닝
🔍 점검 질문: "AI 사용 패턴에서 의심스러운 변화가 감지되는가?"
C
Check · 점검 단계

C04~C05: 컴플라이언스·침투 테스트

C04
AI 컴플라이언스 준수 점검
• AI기본법·EU AI Act 준수 현황 점검
• ISMS-P AI 항목 충족 여부 확인
• 규제 변경 사항 추적·Gap 재평가
🔍 점검 질문: "최신 AI 규제 요구사항을 모두 충족하고 있는가?"
C05
AI 침투 테스트·레드팀 운영
• AI 프롬프트 인젝션 모의해킹
• 레드팀 기반 적대적 공격 시뮬레이션
• 발견된 취약점 우선순위 평가
🔍 점검 질문: "실제 공격자가 우리 AI 시스템을 뚫을 수 있는가?"
A
Act · 개선 단계

A01~A03: 시정조치·피드백·정책개선

A01
시정조치(CAPA) 체계 운영
• 발견 사항 → 근본원인 분석(RCA)
• 시정·예방조치 계획 수립·추적
• 조치 효과성 검증·종료
🔄 개선 질문: "발견된 문제의 근본 원인을 해결했는가?"
A02
피드백 루프 체계화
• AI 사용자·운영자 피드백 수집
• 사고·장애 Lessons Learned DB
• 개선 아이디어 접수·평가 채널
🔄 개선 질문: "현장의 목소리가 보안 정책 개선으로 이어지는가?"
A03
AI 보안 정책·절차 업데이트
• 신규 위협·규제 반영 정기 개정
• 정책 변경사항 전사 공지·교육
• 버전 관리·이력 추적 체계
🔄 개선 질문: "우리의 AI 보안 정책은 최신 상태인가?"
A
Act · 개선 단계

A04~A05: 경영검토·개선문화 정착

A04
경영진 AI 보안 검토(MR)
• AI 보안 현황 경영진 정기 보고
• KPI 달성도·리스크 수용도 평가
• 전략적 방향·투자 의사결정
🔄 개선 질문: "경영진은 AI 보안 리스크를 제대로 이해하고 있는가?"
A05
지속적 AI 보안 개선 문화
• AI 보안 성숙도 모델 도입
• 연간 개선 목표·로드맵 수립
• 조직 내 보안 챔피언 양성
🔄 개선 질문: "AI 보안이 일회성 프로젝트가 아닌 문화로 자리잡고 있는가?"
30-POINT PRACTICE MATRIX

30가지 실천 총정리 매트릭스

P01 AI 승인·비승인 서비스 목록화
전사 AI 인벤토리 → Shadow AI 탐지 → 분류 체계
P02 AI 리스크 평가 체계 수립
NIST AI RMF → EU AI Act 매핑 → 위험도 분류
P03 AI 거버넌스 프레임워크 설계
위원회 → R&R 정의 → 의사결정 체계
P04 AI 데이터 분류 체계 수립
학습·추론 데이터 → 민감도 레벨 → DFD
P05 AI 위협 모델링 수행
STRIDE → OWASP LLM Top 10 → 공격 시나리오
P06 컴플라이언스 요구사항 매핑
AI기본법·EU AI Act → Gap 분석 → 로드맵
P07 AI 보안 교육·인식 제고 계획
전사 교육 → Secure Coding → 경영진 Briefing
P08 AI 보안 자원·예산 할당
전담 인력 → 도구 예산 → 외부 전문가 활용
P09 AI 보안 KPI·성과지표 정의
사고율 → 대응시간 → Shadow AI 탐지율
P10 AI 공급망 보안 평가 계획
제3자 평가 → AI-BOM → Due Diligence
D01 AI 접근통제 체계 구축
RBAC/ABAC → API 키 관리 → 제로트러스트
D02 AI 데이터 암호화·보호
전송·저장 암호화 → 익명화 → DLP
D03 AI 가드레일 구축·운영
입출력 필터링 → 프롬프트 방어 → AI WAF
D04 AI 모니터링·로깅 체계 구축
추론 로그 → 이상 탐지 → SIEM 연동
D05 AI 취약점 관리 프로세스
취약점 스캔 → 패치 파이프라인 → AI CVE
D06 AI 모델 보안 강화
모델 암호화 → 적대적 학습 → 탈취 방어
D07 AI 사고대응 체계 구축
AI IRP → 에스컬레이션 → BCP/DR
D08 AI 공급망 보안 실행
제3자 통제 → AI-BOM → 무결성 검증
D09 AI 보안 인식제고 캠페인 실행
Use Policy → 모의훈련 → 가이드라인
D10 AI 보안 문서화·증적 관리
정책서 → Audit Trail → 모델 카드
C01 AI 보안 정기 감사 수행
감사 프레임워크 → 일정 → 체크리스트
C02 AI 취약점 평가·스캔 정례화
월간 스캔 → OWASP 평가 → 조치 SLA
C03 AI 모니터링·로그 리뷰
로그 분석 → 이상 패턴 → 오탐 튜닝
C04 AI 컴플라이언스 준수 점검
법령 준수 → ISMS-P → Gap 재평가
C05 AI 침투 테스트·레드팀 운영
프롬프트 해킹 → 레드팀 → 취약점 평가
A01 시정조치(CAPA) 체계 운영
RCA → 계획 수립 → 효과성 검증
A02 피드백 루프 체계화
사용자 피드백 → LL DB → 개선 채널
A03 AI 보안 정책·절차 업데이트
정기 개정 → 전사 공지 → 버전 관리
A04 경영진 AI 보안 검토(MR)
정기 보고 → KPI 평가 → 전략 의사결정
A05 지속적 AI 보안 개선 문화
성숙도 모델 → 연간 로드맵 → 챔피언
🎯
PDCA 사이클을 한 바퀴 돌면 끝이 아니라 새로운 시작입니다. 보안은 지속적인 개선의 여정입니다.
REFERENCES

참고문헌: AI 보안 프레임워크·표준·법령

📋 국제 AI 보안 프레임워크
• NIST AI RMF 1.0 — AI Risk Management Framework (2023)
• ISO/IEC 42001:2023 — AI Management System
• ISO/IEC 23894:2023 — AI Risk Management
• OWASP LLM Top 10 — LLM Application Security (2025)
• MITRE ATLAS — Adversarial Threat Landscape for AI
• BSI AI Standard 200-3 — German AI Security
🇰🇷 국내 AI 법령·가이드라인
• AI 기본법 — 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법
• 개인정보보호법 — AI 학습·추론 데이터 규율
• ISMS-P — 정보보호 및 개인정보보호 관리체계 인증
• KISA AI 보안 가이드라인
• 금융위 AI 가이드라인 — 금융분야 AI 보안·윤리
🇪🇺 EU AI 규제
• EU AI Act — Risk-based AI Regulation (2024)
• GDPR Art.22 — Automated Decision-making
• EU Cyber Resilience Act — AI 제품 보안 요구
• EDPB AI Guidelines
🔧 AI 보안 도구·리소스
• NeMo Guardrails — NVIDIA AI Safety Toolkit
• Garak / LLM Scanner — LLM Vulnerability Scanner
• Promptfoo — LLM Red Teaming Framework
• Guardrails AI — Output Validation
• AI-BOM Generator — Model Bill of Materials