사례로 배우는 AI 보안 거버넌스 전략

Session 11

사례로 배우는 AI 보안 거버넌스 전략 · 공공기관 AX 사업

AI 보안 요구사항 안내가이드
75개 요구사항 × 21종 위협 완전 정복

공공기관 AX 사업의「AI Security 요구사항 안내가이드(ver.0.9)」를 통해, ISMS-P 인증기준과 AI 보안 위협 21종을 매핑한 75개 실무 요구사항을 체계적으로 학습한다.

ver.0.9 · 요구사항 75개위협 21종 · 보드 28종|공공기관 AX 사업

AGENDA · 16 Slides

강의 슬라이드 구성

01

표지: AI 보안 요구사항 안내가이드 — 75개 요구사항 × 21종 위협

02

강의 슬라이드 구성 — 전체 16장 개요

03

🏛️ 배경: 공공기관 AX 사업, 왜 요구사항 안내가이드인가

04

📋 가이드 개요: ver.0.9 · 75 요구사항 · 21 위협 · 28 보드

05

문서 구조: 10개 카테고리 × ISMS-P 3영역 + 부록 A~D

06

요구사항 카드 구성: AI 관점 블록 + ISMS-P 원문 접이식

07

요구사항 × 위협 매핑표 — ISMS-P 기준 연계 실전

08

🏗️ 관리체계: 01 AI 보안 정책 수립 · 02 AI 위험관리체계

09

보호대책 ①: 03 교육·훈련 · 04 접근통제

10

보호대책 ②: 05 학습데이터 품질·보안성 · 06 결과 검증·신뢰성

11

보호대책 ③: 07 로그·모니터링 · 08 백업·복구

12

개인정보: 09 처리 최소화·가명처리 · 10 설명가능성·투명성

13

🛡️ 부록 A: AI 보안 위협 사전 21종 — D/M/A/S/H 분류 체계

14

핵심 위협 심층: 환각 · 탈옥 · 에이전트 하이재킹 · 모델 포이즈닝

15

부록 B·C: AI 레드티밍 절차 + AI 서비스 정보 흐름표(U1~U7)

16

🎯 Wrap-up: 75개 요구사항 이행 로드맵 + 참고문헌

BACKGROUND · 공공기관 AX 사업

왜 요구사항 안내가이드인가

🏛️ 공공기관 AI 도입 = 발주 요구사항의 시대

공공기관 AX(AI 전환) 사업에서는 AI 보안 요구사항 75개를 발주 조건으로 제시한다. 이제 AI 보안은 선택이 아니라 계약·납품의 필수 조건이다.

🔗 ISMS-P 인증기준과의 직접 연계

75개 요구사항 각각을 「ISMS-P 인증기준 안내서」(2023.11, KISA)에 매핑 — 인증 심사 증적으로 그대로 활용 가능한 구조다.

📅 KISA 신규 가이드라인 반영 (2026.7)

「AI 보안 위협 대응 매뉴얼」·「AI 보안 레드티밍 가이드」(KISA AI Security Red Team)를 반영한 최신 위협 분류(H/S/D/M/A) 21종을 채택했다.

💡 강의 핵심 포인트

① 실제 공공기관 발주 문서를 강의 자료로 활용

② "요구사항 → ISMS-P 기준 → 위협 ID"의 3중 매핑 구조 이해

③ AI 관리·운영자 vs 일반 임직원의 역할 분담 학습

④ 레드티밍·정보 흐름표 등 실무 산출물 습득

GUIDE OVERVIEW · ver.0.9

안내가이드 개요

75

보안 요구사항

10개 카테고리

21

AI 보안 위협

D/M/A/S/H 5분류

28

시나리오 보드

위협·점검 시각화

5

참고자료

법령·가이드라인

📚 참고자료 5종

① 「ISMS-P 인증기준 안내서」(2023.11.23, KISA)
② 「AI 보안 위협 대응 매뉴얼」(2026.7, KISA AI Security Red Team)
③ 「AI 보안 레드티밍 가이드」(2026.7, KISA AI Security Red Team)
④ 「금융분야 AI 보안 가이드라인」(2023.4, 금융보안원)
⑤ 「챗GPT 등 생성형 AI 활용 보안 가이드라인」(2023.6)

🧩 가이드의 이중 구조

AI 관점 블록 (카드 앞면): 요구사항 상세 · 관련 위협 · AI 특화 점검 포인트 · 대응 방안 · 역할별 준수사항 · 증거자료 예시

ISMS-P 원문 (접이식): 인증기준 · 주요 확인사항 · 세부 설명 · 증거자료 · 결함사례

DOCUMENT STRUCTURE · ISMS-P 3영역

10개 카테고리 구조

관리체계 · 01~02

거버넌스의 토대

01 AI 보안 정책 수립
02 AI 위험관리체계 수립 및 운영

경영진 참여 · 책임자 지정 · 조직 구성 · 자산 범위

보호대책 · 03~08

AI 전주기 통제

03 AI 교육 및 훈련
04 AI 접근통제
05 학습 데이터 품질 및 보안성 확보
06 자동화된 결과 검증 및 신뢰성 확보
07 AI 시스템 로그 및 모니터링
08 AI 시스템 백업 및 복구

인적 · 기술 · 운영 통제의 6대 영역

개인정보 · 09~10

정보주체 보호

09 개인정보 AI 처리 최소화 및 가명처리 적용

10 AI 모델 설명가능성 및 투명성 확보

비식별화 · XAI · 정보주체 권리

부록 구성: A. AI 보안 위협 사전(21종) · B. AI 레드티밍 수행 절차 · C. AI 서비스 정보 흐름표 · D. 참고 보드 수록 위치

REQUIREMENT CARD · 이중 구조

요구사항 카드 구성

🧠 AI 관점 블록 — 카드 앞면

요구사항 상세 — AI 서비스 관점에서 해석한 실무 요건

관련 AI 보안 위협 — 위협 배지 클릭 시 부록 A 사전으로 이동

AI 특화 점검 포인트 + 대응 방안

역할별 준수 사항 — AI 관리·운영자 / 일반 임직원

증거자료 예시 + 참고 이미지(시나리오 보드 28종)

📍 역할별 준수사항 근거: 「금융분야 AI 보안 가이드라인」·「챗GPT 등 생성형 AI 활용 보안 가이드라인」 수칙 기반

📜 ISMS-P 인증기준 원문 — 접이식

인증기준 — e.g. 1.1.1 경영진 책임

주요 확인사항 + 세부 설명

증거자료 — 심사 시 제출 서류

결함사례 — 지적 유형 예시

💡 인증 심사 대비: 카드 한 장 = "요구사항 + 심사 대응 증적" 패키지

MAPPING TABLE · 75 요구사항

요구사항 × AI 보안 위협 매핑표

번호	보안 요구사항 (요약)	ISMS-P	관련 AI 보안 위협
1.1	AI 서비스 관리체계 전반에 경영진 참여 — 보고·의사결정 책임	1.1.1	H02
1.2	AI 서비스 보호 최고책임자 지정 — 책임·권한 부여	1.1.2	—
1.3	AI 안전한 개발·운영 조직/인력 구성 — 의사결정 참여	1.1.3	—
1.4	AI 생애주기·신뢰성 확보 대상 등 핵심자산 관리체계 범위 설정	1.1.4	S01 S02 S03 S04
1.5	AI 관련 법률·가이드라인 검토 → 정책 수립	1.1.5	—
1.6	AI 서비스 안전성·이용자 보호 예산과 인력 지원	1.1.6	—

해석 포인트: 위협 ID 배지(H02, S01~S04 등)는 부록 A 위협 사전으로 연결 — "요구사항 → ISMS-P 기준 → 위협"의 3중 추적이 이 가이드의 핵심 가치

MANAGEMENT SYSTEM · 01~02

관리체계 — 거버넌스의 토대

01 · AI 보안 정책 수립

정책이 곧 방어선

① AI 관련 법률·가이드라인 검토 → 정책 반영 (1.5)
② 대내외 환경 검토 → 조직 정책 반영 (1.7)
③ 위험관리·개발·개인정보·데이터 품질 등 핵심 영역 직무자 기준 정의 (1.8)
④ AI 관련 인력·공급업체 별도 서약서 징구 (1.9)

연계 위협: D03 · M04 · S02 — 정책 부재 시 데이터·모델·공급망 위협 노출

02 · AI 위험관리체계 수립 및 운영

책임과 통제의 구조화

① 경영진 참여 — 보고·의사결정 책임 (1.1)
② 최고책임자 지정, 책임·권한 부여 (1.2)
③ 전담 조직·인력 구성 (1.3)
④ AI 생애주기·신뢰성 대상 핵심자산 범위 설정 (1.4)
⑤ 예산·인력 지원 (1.6)
⑥ 외부자 현황 식별·계약 보안검증 (1.10~1.11)

연계 위협: H02 — 자율성 통제 상실은 책임 구조 부재에서 발생

PROTECTION MEASURES ① · 03~04

보호대책 ① — 인적 보안 · 접근통제

03 · AI 교육 및 훈련

최약 링크는 사람

① 역할별 맞춤 교육 — AI 관리·운영자 vs 일반 임직원
② 생성형 AI 사용 수칙 — 「챗GPT 등 생성형 AI 활용 보안 가이드라인」 기반
③ AI 관련 서약서 징구 (1.9 연계)
④ 정기 보안 인식 제고 + 신규 위협(탈옥·프롬프트 인젝션) 대응 교육

연계 위협: M06 탈옥 — 교육 부재 시 임직원의 우회 질의 발생

04 · AI 접근통제

권한이 곧 공격 표면

① 이용자 중요도별 추가 인증(MFA) 제공 (1.12)
② 안전한 비밀번호 작성 규칙 안내 (1.12)
③ 외부 API 호출 키 안전 보관·관리 (1.14)
④ 처리 정보 암호화 기준 수립·이행 (1.13)

연계 위협: M04 모델 유출 · A01 부적절한 도구 설계

PROTECTION MEASURES ② · 05~06

보호대책 ② — 데이터 · 결과 신뢰성

05 · 학습 데이터 품질 및 보안성 확보

쓰레기 입력 = 쓰레기 출력

① 데이터 수집 경로·근거 관리 — 동의·계약 기반 (2.13, 5.2)
② 라벨링 검수 체계 — 2인 이상 검수·가이드라인 교육
③ RAG 삽입 데이터 신뢰성·무결성·민감정보 사전 검증
④ 불균형·부정확 데이터 식별 → 재수집·제외 완화

연계 위협: D01 불균형 · D02 부정확 · S01 데이터 포이즈닝

06 · 자동화된 결과 검증 및 신뢰성 확보

AI의 답은 검증 후 신뢰

① 환각(hallucination) 검증 절차 — 사실성·근거 대조 (6.3, 10.5)
② 부적절한 출력 처리 — 필터·거부 응답 정책
③ Human-in-the-loop — 자동화 의사결정 시 인간 검토
④ 결과 품질 지표 정의·모니터링

연계 위협: M05 환각 · M07 부적절한 출력 처리

PROTECTION MEASURES ③ · 07~08

보호대책 ③ — 관찰 · 복원력

07 · AI 시스템 로그 및 모니터링

모든 행위는 기록되어야 한다

① 프롬프트·응답·도구 호출 로그 수집 (4.10, 10.7)
② 개인정보 포함 로그 마스킹·해시 처리
③ 이상행위 탐지 — 반복 질의·데이터 추출 시도 차단
④ 법적 보존기간 준수·무결성 보장

연계 위협: M01 학습 데이터 유출 — 로그 분석으로 추출 시도 탐지

08 · AI 시스템 백업 및 복구

사고 후에도 서비스는 계속된다

① 모델·벡터DB·설정·프롬프트 버전 백업
② RTO/RPO 정의 — 복구 시간·손실 허용치
③ 복구 절차 문서화·정기 훈련
④ 백업 무결성 검증 — 복원 테스트

연계 위협: M08 모델 DoS · S02 모델 포이즈닝 — 백업이 최후의 방어선

PERSONAL INFORMATION · 09~10

개인정보 — AI 시대의 최전선

09 · 개인정보 AI 처리 최소화 및 가명처리 적용

안 모으는 것이 최고의 보호

① AI 처리 개인정보 최소화 — 목적 외 수집 금지 (9.1~9.5)
② 가명·익명 처리 — 마스킹·차등정보보호 체계적 적용
③ 원본 데이터 vs 비식별 데이터 분리·접근 권한 통제
④ 자동화 탐지 + 인간 검수 다단계 검증 (10.1~10.4)

연계 위협: D03 비식별화 미흡 — 21종 중 요구사항 연계가 가장 많은 핵심 위협

10 · AI 모델 설명가능성 및 투명성 확보

설명할 수 없는 AI는 위험하다

① AI 판단 근거 제시 — 출력 근거·출처 명시 (10.1~10.10)
② 설명가능성(XAI) 기법 적용 — 중요도·근거 시각화
③ 정보주체 고지 — AI 처리 사실·거부권 안내
④ 모델 버전·데이터셋 투명성 관리

연계 위협: M05 환각 — 근거 없는 답변 = 설명 불가 = 신뢰 상실

APPENDIX A · AI 보안 위협 사전 21종

위협 분류 체계 — D / M / A / S / H

D

데이터 위협

D01 불균형 데이터
D02 부정확한 데이터
D03 개인정보 비식별화 미흡

3종

M

모델 위협

M01 학습 데이터 유출
M02 벡터DB·임베딩 유출
M03 시스템 프롬프트 유출
M04 모델 유출
M05 환각
M06 탈옥
M07 부적절한 출력 처리
M08 모델 DoS

8종 · 최다

A

에이전트 위협

A01 부적절한 도구 설계
A02 에이전트 하이재킹
A03 에이전트 DoS
A04 에이전트 메모리 오염

4종

S

시스템·공급망 위협

S01 데이터 포이즈닝
S02 모델 포이즈닝
S03 취약한 추론 엔진
S04 취약한 에이전트 확장요소

4종

H

고위험 거버넌스 위협

H01 고도화된 사이버 공격 지원
H02 자율성으로 인한 통제 상실

2종

각 위협 카드 구성: 정의 · 발생 원인 · 영향 · [양호/취약] 판단 기준 · 대응 방안 · 국제 프레임워크(OWASP LLM / NIST AML / MITRE ATLAS) · 관련 요구사항 · 자가 진단 체크리스트

DEEP DIVE · 4대 위협

현업에서 가장 자주 마주치는 위협

M05

환각 (Hallucination)

정의: 사실적 근거 없이 그럴듯한 거짓 정보를 생성
대응: RAG 삽입 데이터 검증 · 출력 근거 대조 · 인간 검토(HITL)

M06

탈옥 (Jailbreak)

정의: 안전장치를 우회하는 악성 프롬프트로 제약 해제 유도
대응: 프롬프트 인젝션 탐지 · 입력 필터 · 탈옥 패턴 모니터링

A02

에이전트 하이재킹

정의: 공격자가 에이전트의 도구 호출 흐름을 가로채 악의적 명령 실행
대응: 도구 허용목록 · 권한 최소화 · 도구 호출 로그 감사

S02

모델 포이즈닝

정의: 학습·파인튜닝 단계에 악성 데이터 주입으로 행동 오염
대응: 데이터 출처 검증 · 파인튜닝 감사 · 모델 백업·롤백

APPENDIX B·C · 실무 산출물

AI 레드티밍 절차 & 정보 흐름표

🔴 부록 B — AI 레드티밍 수행 절차

근거: 「AI 보안 레드티밍 가이드」 (KISA, ISO/IEC AWI TS 42119-7 참고)

레드팀 구성 — 내부·외부 전문가, 역할·범위 정의

준비 — 대상 시스템 파악, 공격 시나리오 설계

이행 — 프롬프트 인젝션·탈옥·데이터 추출·포이즈닝 공격

결과 보고 — 취약점 우선순위화, 재테스트, 증적화

요구사항 1.3 · 2.9 · 2.15 · 5.6 이행 증거로 활용

🗺️ 부록 C — AI 서비스 정보 흐름표

ISMS-P 1.2.2 현황 및 흐름분석 요구에 맞춘 AI 환경 서식

1단계
단위 업무 식별

→

2단계
생명주기 흐름표

→

3단계
총괄 흐름도

7개 단위 업무:
U1 학습 데이터 구축 · U2 모델 학습·파인튜닝
U3 RAG 지식베이스 구축 · U4 AI 상담(추론)
U5 에이전트 도구 호출 · U6 대화 이력·로그 관리
U7 모델 평가·레드티밍

업무별: 수집 항목·경로·주기·담당자 + 관련 위협 + 관련 요구사항 매핑

WRAP-UP · 이행 로드맵

75개 요구사항, 3단계로 이행한다

PHASE 1 · 진단

위협 매핑

요구사항 × 위협 매핑표로 현재 조직의 AI 서비스별 위협 노출도 평가 · 정보 흐름표 작성(U1~U7)

PHASE 2 · 구축

통제 이행

10개 카테고리별 요구사항 카드의 대응 방안·역할별 준수사항 이행 · 증거자료 확보 (ISMS-P 원문 병행)

PHASE 3 · 검증

레드티밍

AI 레드티밍 4단계 수행 · 자가 진단 체크리스트 · 결과를 관리체계 개선(PDCA)에 반영

참고문헌: ① ISMS-P 인증기준 안내서(2023.11, KISA) ② AI 보안 위협 대응 매뉴얼(2026.7, KISA) ③ AI 보안 레드티밍 가이드(2026.7, KISA) ④ 금융분야 AI 보안 가이드라인(2023.4, 금융보안원) ⑤ 챗GPT 등 생성형 AI 활용 보안 가이드라인(2023.6)

PART 2 · 요구사항 상세 75장

요구사항 하나당 슬라이드 1장

01 AI 보안 정책 수립 — 16장 (REQ 1.1~1.16)

02 AI 위험관리체계 — 18장 (REQ 2.1~2.18)

03 AI 교육 및 훈련 — 1장

04 AI 접근통제 — 11장

05 학습 데이터 품질·보안성 — 6장

06 결과 검증·신뢰성 — 3장

07 로그·모니터링 — 4장

08 백업·복구 — 1장

09 개인정보 최소화·가명처리 — 5장

10 설명가능성·투명성 — 10장

각 장: 요구사항 질문 + ISMS-P 기준 + 관련 위협 + 점검 포인트 + 대응 방안 + 역할별 준수사항 + 증거자료 + 이행 점검(✅/⚠️/❌)·증적 기록 — 마지막 장에서 종합 점수 집계

01 · AI 보안 정책 수립 | 관리체계

REQ 1.1 01 / 75

AI 서비스에 대한 정보보호 관리체계 수립 및 운영 활동 전반에 경영진의 참여가 이루어질 수 있도록 보고 및 의사결정 등의 책임과 역할을 문서화하고 있는가?

ISMS-P 1.1.1 경영진의 참여 관련 위협H02

AI 서비스는 모델을 한 번 교체하는 것만으로 응답 품질과 위험 수준이 통째로 바뀌는데, 이런 결정이 실무선에서 조용히 이뤄지는 경우가 많다. 에이전트에 외부 송금이나 데이터 삭제 권한을 줄지, 문제가 생겼을 때 누가 서비스를 멈출지는 기술 판단이 아니라 경영 판단이다. 이 결정 구조를 문서로 정해두지 않으면 사고가 났을 때 책임 소재부터 흔들린다.

🎯 AI 특화 점검 포인트

✓AI 서비스 도입·변경, 고영향 AI 해당 여부, 모델 교체·파인튜닝 등 AI 고유 의사결정을 경영진 보고 대상 안건으로 정의했는가
✓에이전트의 파급력이 큰 작업(데이터 삭제, 외부 송금 등) 승인 권한과 비상 정지(Kill-Switch) 발동 권한의 귀속을 문서화했는가
✓AI 안전(Safety)과 AI 보안(Security)을 구분해 각각의 책임 주체를 지정했는가

🛡️ 대응 방안

▸AI 거버넌스 보고 체계 수립 AI 도입·변경, 위험평가 결과, 고위험 작업 승인 등을 경영진 보고·의사결정 안건으로 정의하고 절차를 문서화한다.
▸Human-in-the-Loop 적용 중요 작업이나 고위험 도구 호출 전에 사람의 확인 또는 승인을 거치도록 한다.
▸중단 가능성 확보 에이전트 폭주 등 자원 과도 소모 시 즉각 권한·세션을 강제 종료하는 비상 정지(Kill-Switch)와 실행 결과를 이전 상태로 되돌리는 롤백 절차를 확보한다.

👥 준수 사항 (역할별)

•AI 서비스 도입·모델 교체·고영향 AI 판단 등 경영진 보고가 필요한 안건을 정의하고 보고 주기를 정한다
•에이전트의 고위험 작업 승인권자와 비상 정지 발동권자를 지정해 문서화한다
•AI 활용이 이용자에게 미칠 잠재적 위험을 평가하고 위험관리 정책에 반영해 보고한다
•AI 서비스 이용 중 이상 동작이나 보안 우려를 발견하면 정해진 보고 경로로 즉시 알린다

📋 증거자료 예시

▫AI 안건이 포함된 정보보호·개인정보보호 위원회 회의록
▫AI 서비스 도입·모델 교체 승인 문서
▫고위험 작업 승인권자 및 비상 정지 발동권자 지정 문서
▫AI 위험평가 결과 경영진 보고서

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.2 02 / 75

AI 서비스 보호를 위한 최고책임자를 지정하고 적절한 책임과 권한을 부여하고 있는가?

ISMS-P 1.1.2 최고책임자의 지정 관련 위협— (직접 위협 없음)

AI 보안은 기존 정보보호 업무와 개인정보 업무 어느 쪽에도 딱 들어맞지 않아서, 명시하지 않으면 아무도 자기 일로 여기지 않는 영역이 생긴다. 모델을 만드는 조직, 운영하는 조직, 보안을 보는 조직이 서로 다른 경우가 대부분이다. 최종 책임자를 세워야 이 사이의 빈틈을 메울 사람이 정해진다.

🎯 AI 특화 점검 포인트

✓CISO·CPO 외에 AI 보안 총괄 책임자(AI 담당 임원 등)를 별도 지정하거나 기존 최고책임자의 직무기술서에 AI 항목을 반영했는가
✓모델 개발(AI·ML 개발자)과 운영(IT 운영자), 보안(SOC) 간 책임 경계를 정의했는가

🛡️ 대응 방안

▸AI 보안 책임자 지정 AI 보안 총괄 책임자를 지정하고 직무기술서에 AI 관련 책임과 권한을 반영한다.
▸AI 거버넌스 보고 체계 수립 AI 도입·변경, 위험평가 결과, 고위험 작업 승인 등을 경영진 보고·의사결정 안건으로 정의하고 절차를 문서화한다.

👥 준수 사항 (역할별)

•CISO·CPO의 직무기술서에 AI 보안 책임을 반영하거나 AI 보안 총괄 책임자를 별도 지정한다
•모델 개발·서비스 운영·보안 관제 조직 간 책임 경계를 문서로 확정한다
•AI 보안 문의·사고 신고 시 연락할 책임자와 창구를 숙지한다

📋 증거자료 예시

▫AI 보안 총괄 책임자 임명 문서(인사명령)
▫CISO·CPO 직무기술서(AI 관련 책임 반영본)
▫AI 보안 조직도
▫개발·운영·보안 조직 간 R&R 정의서

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.3 03 / 75

AI 서비스의 안전한 개발 및 운영을 위한 관련 조직 또는 인력을 구성하고, 해당 인력이 의사결정에 참여하고 있는가?

ISMS-P 1.1.3 조직 구성 관련 위협— (직접 위협 없음)

AI 취약점은 코드 리뷰나 기존 모의해킹으로는 잘 드러나지 않고, 실제로 프롬프트를 던져봐야 나온다. 그래서 공격자 관점에서 모델을 시험할 인력이 따로 필요하다. 이 인력이 개발 조직 아래에 있으면 자기가 만든 것을 스스로 통과시키게 되므로 독립성이 중요하다.

🎯 AI 특화 점검 포인트

✓AI 레드팀 또는 이에 준하는 적대적 검증 조직·인력을 구성했는가(내부 구성 또는 외부 위탁)
✓데이터 엔지니어, AI·ML 개발자, 도메인 전문가가 보안 의사결정 협의체에 참여하는가
✓레드팀이 개발·운영 조직으로부터 독립적으로 결과를 보고할 수 있는 체계인가

🛡️ 대응 방안

▸AI 검증 조직 구성 개발·운영 조직과 독립된 AI 레드팀 또는 검증 인력을 구성하고 결과 보고 경로를 분리한다.
▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.
▸AI 주요 직무자 지정·관리 학습 데이터 취급자, 모델 가중치 접근자, 프롬프트 편집자, 도구 권한 부여자를 주요 직무자로 지정하고 관리한다.

👥 준수 사항 (역할별)

•공격자 관점에서 모델을 시험할 AI 레드팀 또는 외부 검증 체계를 확보한다
•검증 인력이 개발·운영 조직과 독립적으로 결과를 보고하도록 보고선을 분리한다
•데이터 엔지니어·AI 개발자·도메인 담당자가 참여하는 협의체를 운영한다
•AI 서비스 사용 중 발견한 오작동·유해 응답을 신고 기능이나 담당 조직에 전달한다

📋 증거자료 예시

▫AI 레드팀 구성·운영 규정
▫레드팀 인력 직무기술서 및 독립성 확인 자료
▫AI 보안 협의체 회의록
▫레드티밍 외부 위탁 계약서(외부 수행 시)

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.4 04 / 75

AI 생애주기와 신뢰성 확보 대상 등 AI 서비스에 영향을 줄 수 있는 핵심자산을 포함하여 관리체계 범위를 설정하고 있는가?

ISMS-P 1.1.4 범위 설정 관련 위협S01S02S03S04

전통적인 자산 목록에는 서버와 데이터베이스는 있어도 모델 가중치, 벡터 DB, 시스템 프롬프트는 빠져 있는 경우가 대부분이다. 범위에 없으면 위험평가도, 보호대책도, 점검도 그 자산을 건너뛴다. AI 서비스에서 가장 값비싼 자산이 관리 밖에 놓이는 셈이다.

🎯 AI 특화 점검 포인트

✓관리체계 범위에 학습 데이터셋, 모델 가중치·체크포인트, 벡터 DB·임베딩 저장소, 시스템 프롬프트를 핵심자산으로 포함했는가
✓추론 엔진·서빙 스택·GPU 인프라, 에이전트 도구(MCP·플러그인·외부 API)까지 범위에 포함했는가
✓외부 모델 API를 사용하는 경우 해당 공급자 경계를 범위 정의서에 명시했는가

🛡️ 대응 방안

▸AI 자산 범위 정의 모델 가중치, 학습 데이터, 벡터 DB, 시스템 프롬프트, 추론 엔진, 에이전트 도구를 관리체계 범위와 자산 목록에 포함한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.
▸AI 흐름분석 문서화·현행화 AI 생애주기와 정보·개인정보 처리 흐름을 흐름표·흐름도로 문서화하고 변경 시 갱신한다.

👥 준수 사항 (역할별)

•모델 가중치·학습 데이터·벡터 DB·시스템 프롬프트·추론 엔진·에이전트 도구를 관리체계 범위에 포함한다
•외부 모델 API를 사용하는 경우 공급자 경계와 책임 범위를 범위 정의서에 명시한다
•AI 서비스 구성도(채널·애플리케이션 서버·인증·AI 엔진·로깅)를 작성해 범위와 대조한다
•업무에 사용하는 AI 서비스와 그 서비스가 다루는 자료의 범위를 인지한다

📋 증거자료 예시

▫관리체계 범위 정의서(AI 구성요소 포함)
▫AI 자산 목록(모델 가중치·학습 데이터·벡터 DB·시스템 프롬프트)
▫AI 서비스 구성도
▫외부 모델 API 공급자 및 책임 범위 명세

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.5 05 / 75

AI 서비스와 관련된 법률이나 가이드라인 등을 검토하여 정책을 수립하고 있는가?

ISMS-P 1.1.5 정책 수립 관련 위협— (직접 위협 없음)

AI는 개인정보보호법만이 아니라 AI 기본법의 고영향 AI 의무, 해외 서비스라면 EU AI Act까지 걸린다. 어떤 규제가 적용되는지 모르면 정책을 아무리 잘 만들어도 준거성이 없다. 적용 법규를 먼저 확정해야 그 다음 통제가 의미를 갖는다.

🎯 AI 특화 점검 포인트

✓「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」의 고영향 AI 해당 여부를 검토하고 정책에 반영했는가
✓EU AI Act, GPAI 행동강령 등 국외 규범이 적용되는 서비스인지 검토했는가
✓OWASP Top 10 for LLM, NIST AI RMF/AML, MITRE ATLAS 등 국제 프레임워크를 정책 근거로 참조했는가

🛡️ 대응 방안

▸AI 관련 법규 식별·반영 AI 기본법 고영향 AI 의무, 개인정보 보호법, 국외 규범의 적용 여부를 검토해 정책에 반영한다.
▸법적 요구사항 최신성 검토 AI 관련 법·고시·감독기관 안내서의 제·개정 사항을 주기적으로 확인하고 정책 반영 여부를 점검한다.

👥 준수 사항 (역할별)

•AI 기본법 고영향 AI 해당 여부와 금융·의료 등 업권별 지침 적용 여부를 검토해 정책에 반영한다
•OWASP LLM Top 10, NIST AI RMF, MITRE ATLAS 등 국제 프레임워크를 정책 근거로 인용한다
•AI 이용 수칙을 사내 규정으로 제정하고 임직원이 열람할 수 있도록 공지한다
•사내 AI 이용 수칙과 적용 법규를 숙지하고 업무에 적용한다

📋 증거자료 예시

▫AI 보안 정책·지침서
▫고영향 AI 해당 여부 검토서
▫적용 법규·국제 프레임워크 검토 결과
▫정책 제·개정 공지 내역

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.6 06 / 75

AI 서비스 안전성 확보 및 이용자 보호를 위해 필요한 예산과 인력을 지원하고 있는가?

ISMS-P 1.1.6 자원 할당 관련 위협— (직접 위협 없음)

가드레일 솔루션, 레드티밍 도구, 모델 스캐너는 기존 보안 예산 항목에 없던 것들이다. AI 서비스는 출시했는데 이를 검증할 도구도 인력도 없는 상태가 흔하다. 예산과 인력이 배정되지 않으면 정책은 문서로만 남는다.

🎯 AI 특화 점검 포인트

✓가드레일 솔루션, 레드티밍 도구, 모델 스캐닝 도구 등 AI 전용 보안 도구 도입 예산을 확보했는가
✓AI 보안 인력의 전문성 확보를 위한 교육·채용 예산이 반영되어 있는가

🛡️ 대응 방안

▸AI 보안 예산·인력 확보 가드레일·레드티밍·모델 스캐닝 도구 도입 예산과 AI 보안 전문 인력을 확보한다.
▸AI 보안 교육 계획 수립 AI·ML 개발자, IT 운영자, 도메인 담당자 등 역할별로 난이도를 구분한 연간 교육 계획을 수립하고 이수 현황을 관리한다.

👥 준수 사항 (역할별)

•가드레일·레드티밍·모델 스캐닝 등 AI 전용 보안 도구 도입 예산을 편성한다
•AI 보안 담당 인력을 확보하고 교육·자격 취득을 지원한다

📋 증거자료 예시

▫AI 보안 예산 편성·집행 내역
▫AI 보안 인력 현황표
▫가드레일·레드티밍 도구 도입 품의서
▫교육 예산 집행 내역

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.7 07 / 75

AI 서비스에 대한 대내외 환경을 검토하고, 이를 조직의 정책에 반영하고 있는가?

ISMS-P 2.1.1 정책의 유지관리 관련 위협H01H02

고성능 모델이 등장하면서 공격자가 쓸 수 있는 능력의 상한이 한 단계 올라갔다. 작년 기준으로 만든 위협 모델은 이미 낡았을 수 있다. 신규 공격 기법 공개나 도구 생태계 변화가 정책 개정의 방아쇠가 되도록 정해두어야 한다.

🎯 AI 특화 점검 포인트

✓고성능 모델 등장에 따른 공격자 능력 상한 변화를 위협 모델에 반영하고 정책을 갱신하는가
✓MCP 등 도구·플러그인 생태계 변화, 신규 공격 기법 공개 시 정책 개정 트리거로 정의했는가

🛡️ 대응 방안

▸AI 관련 법규 식별·반영 AI 기본법 고영향 AI 의무, 개인정보 보호법, 국외 규범의 적용 여부를 검토해 정책에 반영한다.
▸AI 위험평가 절차 수립·이행 내재적·외재적 위협을 구분한 위험 식별 기준과 평가 절차를 정의하고 정기·수시로 수행한다.
▸법적 요구사항 최신성 검토 AI 관련 법·고시·감독기관 안내서의 제·개정 사항을 주기적으로 확인하고 정책 반영 여부를 점검한다.

👥 준수 사항 (역할별)

•고성능 모델 능력 향상, 신규 공격 기법 공개, 도구 생태계 변화를 정책 개정 트리거로 정의한다
•국내외 AI 규제 동향과 사고 사례를 주기적으로 수집해 위험 평가에 반영한다
•새로운 AI 서비스나 기능을 업무에 도입하기 전 담당 부서에 문의한다

📋 증거자료 예시

▫정책 정기 타당성 검토 결과서
▫대내외 환경 변화 검토 보고서
▫AI 보안 정책 제·개정 이력
▫법규 개정 및 신규 위협 모니터링 기록

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.8 08 / 75

AI 서비스의 핵심 영역(위험관리, 개발, 개인정보, 데이터 품질 등)과 관련한 주요 직무자 기준을 정의하고 있는가?

ISMS-P 2.2.1 주요 직무자 지정 및 관리 관련 위협D03S01

학습 데이터를 정제하는 사람, 모델 가중치에 접근하는 사람, 시스템 프롬프트를 고치는 사람은 서비스 전체를 바꿀 수 있는 권한을 가진다. 그런데 조직도상으로는 평범한 개발자로 보인다. 이들을 주요 직무자로 지정해야 권한 검토와 인적 통제 대상에 들어간다.

🎯 AI 특화 점검 포인트

✓학습 데이터 정제·라벨링 담당자, 모델 가중치 접근자, 벡터 DB 관리자, 시스템 프롬프트 편집 권한자를 주요 직무자로 정의했는가
✓에이전트 도구 등록·권한 부여 담당자를 주요 직무자에 포함했는가

🛡️ 대응 방안

▸AI 주요 직무자 지정·관리 학습 데이터 취급자, 모델 가중치 접근자, 프롬프트 편집자, 도구 권한 부여자를 주요 직무자로 지정하고 관리한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.
▸접근권한 정기 검토 에이전트 도구 권한과 AI 자산 접근권한 보유자를 주기적으로 검토하고 불필요한 권한을 회수한다.

👥 준수 사항 (역할별)

•학습 데이터 취급자, 모델 가중치 접근자, 벡터 DB·시스템 프롬프트 관리자, 도구 권한 부여자를 주요 직무자로 지정한다
•주요 직무자 목록을 최신으로 유지하고 인사 이동 시 즉시 갱신한다
•본인이 AI 주요 직무자로 지정된 경우 부여된 책임과 준수사항을 확인한다

📋 증거자료 예시

▫AI 주요 직무자 지정 문서
▫주요 직무자 목록 및 변경 이력
▫직무별 접근권한 분류표

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.9 09 / 75

AI 서비스 관련된 주요 인력, 외부 공급업체에 AI와 관련된 별도의 서약서를 받고 있는가?

ISMS-P 2.2.3 보안 서약 관련 위협M04S02

모델 가중치 파일 하나면 회사가 들인 학습 비용과 데이터가 통째로 나간다. 외부 라벨링 업체나 위탁 개발 인력도 학습 데이터에 접근한다. 무엇을 반출하면 안 되는지 명시적으로 서약받지 않으면 인지조차 못 한 채 유출된다.

🎯 AI 특화 점검 포인트

✓모델 가중치·학습 데이터·시스템 프롬프트의 외부 반출 금지를 서약 내용에 명시했는가
✓외부 개발·라벨링 위탁 인력에 대해 AI 자산 취급 서약을 별도로 징구하는가

🛡️ 대응 방안

▸AI 자산 취급 보안 서약 모델 가중치·학습 데이터·시스템 프롬프트의 반출 금지를 포함한 서약을 내부 인력과 외부 위탁 인력에게 징구한다.
▸AI 주요 직무자 지정·관리 학습 데이터 취급자, 모델 가중치 접근자, 프롬프트 편집자, 도구 권한 부여자를 주요 직무자로 지정하고 관리한다.
▸계약 시 AI 보안 요건 반영 학습 활용 여부, 무결성 검증 결과 제출, 사고 통지 의무 등을 계약서와 SLA에 명시한다.

👥 준수 사항 (역할별)

•모델 가중치·학습 데이터·시스템 프롬프트 반출 금지를 서약 내용에 명시한다
•외부 라벨링·개발 위탁 인력에게도 동일한 AI 자산 취급 서약을 징구한다
•AI 관련 보안 서약 내용을 숙지하고 모델·데이터·프롬프트를 외부로 반출하지 않는다

📋 증거자료 예시

▫AI 자산 취급 보안 서약서(내부 인력·외부 인력)
▫서약서 징구 대장

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.10 10 / 75

AI 생애주기 및 운영관리 과정에서 발생하는 업무 위탁, 외부 시설 및 서비스 등에서 외부자 현황을 식별하고 있는가?

ISMS-P 2.3.1 외부자 현황 관리 관련 위협S02S03S04

AI 서비스는 남이 만든 모델, 남이 만든 라이브러리, 남이 운영하는 API 위에 올라가 있다. 공개 저장소에서 받은 모델 하나, 연동한 MCP 서버 하나가 모두 외부자다. 목록으로 관리하지 않으면 어디까지가 우리 통제 범위인지 아무도 모른다.

🎯 AI 특화 점검 포인트

✓외부 모델 API 제공자, 파운데이션 모델 공급자, 데이터 라벨링 위탁사, MCP·플러그인 공급자를 외부자 현황에 식별했는가
✓Hugging Face 등 공개 모델 저장소에서 획득한 사전학습 모델의 출처를 목록화했는가

🛡️ 대응 방안

▸외부자 현황 식별·관리 모델 공급자, 라벨링 위탁사, 플러그인·MCP 공급자 등 AI 관련 외부자를 목록화하고 최신 상태로 유지한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.

👥 준수 사항 (역할별)

•모델 공급자, 라벨링 위탁사, 플러그인·MCP 공급자, 클라우드 사업자를 외부자 목록에 등록한다
•공개 저장소에서 내려받은 사전학습 모델의 출처와 라이선스를 기록한다
•승인되지 않은 외부 AI 서비스나 플러그인을 임의로 업무에 연결하지 않는다

📋 증거자료 예시

▫AI 외부자 현황표(모델·라이브러리·플러그인·위탁사)
▫사전학습 모델 출처 및 라이선스 목록
▫MCP·플러그인 공급자 목록

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.11 11 / 75

외부 공급, 협업 등 외부 계약으로 처리되는 AI 서비스에 대한 보안 검증 역할과 책임을 계약 시 검토하고 있는가?

ISMS-P 2.3.2 외부자 계약 시 보안 관련 위협S02S04

외부 모델 API에 넣은 프롬프트가 그 회사의 학습에 쓰이는지는 계약서를 봐야 알 수 있다. 모델 공급자가 무결성을 어떻게 보장하는지도 계약으로 요구해야 받을 수 있다. 계약 시점에 빠뜨리면 나중에는 협상력이 없다.

🎯 AI 특화 점검 포인트

✓계약서에 학습 데이터 사용 범위, 모델 재학습 금지, 입력 프롬프트의 학습 활용 여부를 명시했는가
✓공급자에 대한 모델·구성요소 무결성 검증 결과 제출 의무를 계약에 반영했는가
✓보안사고 발생 시 통지 의무와 책임 범위를 정의했는가

🛡️ 대응 방안

▸계약 시 AI 보안 요건 반영 학습 활용 여부, 무결성 검증 결과 제출, 사고 통지 의무 등을 계약서와 SLA에 명시한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.
▸클라우드 책임 범위 계약 반영 클라우드·모델 API 이용 형태에 따른 책임 공유 범위, 데이터 보관 위치, 학습 활용 여부를 계약(SLA)에 명시한다.

👥 준수 사항 (역할별)

•학습 활용 여부, 데이터 보관 위치, 무결성 검증 결과 제출, 사고 통지 의무를 계약서에 명시한다
•계약상 정보보호 요구사항의 이행 여부를 주기적으로 점검한다

📋 증거자료 예시

▫AI 보안 요구사항이 포함된 계약서·SLA
▫공급자 보안 검증 결과 제출 자료
▫계약 이행 여부 점검 결과

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.12 12 / 75

AI 서비스 사용자, 이용자에게 중요도에 따른 추가 인증 방식을 제공하거나 안전한 비밀번호 작성 규칙을 안내하고 있는가?

ISMS-P 2.5.4 비밀번호 관리 관련 위협M04A01

모델 배포 파이프라인에 접근하면 서비스 응답을 통째로 바꿀 수 있다. 벡터 DB 관리 콘솔은 사내 문서 전체를 들여다볼 수 있는 창구다. 이런 화면이 아이디와 비밀번호 하나로 열리면 계정 하나가 곧 서비스 전체가 된다.

🎯 AI 특화 점검 포인트

✓AI 서비스 관리 콘솔, 모델 배포 파이프라인, 벡터 DB 관리자 계정에 강화된 인증을 적용했는가
✓에이전트가 사용하는 API 키·토큰에 대해 만료·회전 주기를 정의했는가

🛡️ 대응 방안

▸강화된 인증 적용 모델 배포 파이프라인, 학습 인프라, 벡터 DB 관리 콘솔 등 중요 시스템에 OTP 등 추가 인증수단을 적용한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.
▸에이전트 계정 식별·분리 에이전트·서비스 계정을 사람 계정과 구분해 식별하고 행위를 추적 가능하도록 관리한다.

👥 준수 사항 (역할별)

•AI 서비스 사용자 역할(관리자·이용자)별로 계정을 분리 생성하고 관리한다
•모델 배포 파이프라인·벡터 DB 관리 콘솔 등 관리자 계정에 다중 인증을 적용한다
•이용자에게 안전한 비밀번호 작성 규칙과 이중 인증 설정 방법을 안내한다
•AI 서비스 계정에 충분한 길이와 문자 조합의 비밀번호를 설정하고 재사용하지 않는다

📋 증거자료 예시

▫역할별 계정 관리 지침
▫다중 인증(MFA) 적용 설정 화면
▫이용자 대상 비밀번호·인증 안내문

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.13 13 / 75

AI 서비스에서 처리되는 정보에 대한 암호화 기준을 수립하여 이행하고 있는가?

ISMS-P 2.7.1 암호정책 적용 관련 위협M02M04

AI 서비스에서 지켜야 할 것은 데이터베이스 테이블만이 아니다. 모델 가중치 파일, 벡터 DB의 임베딩, 프롬프트 로그가 모두 민감 자산이다. 기존 암호화 기준에 이 항목들이 없으면 가장 중요한 데이터가 평문으로 남는다.

🎯 AI 특화 점검 포인트

✓모델 가중치 파일, 체크포인트, 학습 데이터셋의 저장 시 암호화 기준을 수립했는가
✓벡터 DB의 임베딩과 원문 청크에 대한 암호화·접근통제 기준을 정의했는가
✓프롬프트·응답 로그에 포함될 수 있는 민감정보의 암호화 기준이 있는가

🛡️ 대응 방안

▸AI 자산 범위 정의 모델 가중치, 학습 데이터, 벡터 DB, 시스템 프롬프트, 추론 엔진, 에이전트 도구를 관리체계 범위와 자산 목록에 포함한다.
▸RAG 사용자별 접근 권한 설정 사용자 권한에 따라 검색 가능한 문서와 지식 범위를 제한하여 민감정보 노출을 방지한다.
▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.

👥 준수 사항 (역할별)

•모델 가중치·학습 데이터·벡터 DB·발화 원문 DB·프롬프트 로그를 암호화 대상에 포함한다
•안전한 암호 알고리즘을 사용하고 암호키 생성·교체 주기 등 키 관리 방안을 수립한다
•암호화되지 않은 공용 Wi-Fi에서 업무용 AI 서비스 이용을 피하고 VPN 등 안전한 경로를 사용한다

📋 증거자료 예시

▫AI 자산을 포함한 암호화 기준
▫암호키 생성·교체 등 키 관리 절차서
▫암호화 적용 현황표(모델 파일·벡터 DB·로그)

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.14 14 / 75

AI 서비스를 위해 외부 API를 사용할 경우 API 호출에 필요한 키를 안전하게 보관하여 관리하는가?

ISMS-P 2.7.1 암호정책 적용 관련 위협A01M04

에이전트가 도구를 쓰려면 인증 키가 필요한데, 이를 프롬프트 안에 넣어두는 구현이 흔하다. 프롬프트는 유출될 수 있고 모델이 그대로 뱉을 수도 있다. 키는 모델이 볼 수 없는 곳에 두고 실행하는 순간에만 꺼내 써야 한다.

🎯 AI 특화 점검 포인트

✓API 키·인증 토큰을 LLM 컨텍스트(프롬프트)와 분리하고 미들웨어·비밀 관리 시스템을 통해 실행 단계에서만 참조하는가
✓시스템 프롬프트에 인증정보·내부 URL이 하드코딩되어 있지 않은지 점검하는가
✓키 유출 시 즉시 폐기·재발급할 수 있는 절차가 있는가

🛡️ 대응 방안

▸실행 권한 정보 분리 관리 API 키, 인증 토큰 등 민감정보를 LLM 컨텍스트와 분리하고, 도구 호출 시 필요한 권한 정보는 미들웨어나 비밀 관리 시스템을 통해 실행 단계에서만 참조되도록 관리한다.
▸시스템 프롬프트 강화 시스템 프롬프트와 내부 지침이 사용자 요청에 의해 노출되거나 우회되지 않도록 보호한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.

👥 준수 사항 (역할별)

•API 키·인증 토큰을 LLM 컨텍스트와 분리해 비밀 관리 시스템에서 실행 시점에만 참조하도록 구현한다
•시스템 프롬프트에 내부 URL·API 명세·인증정보가 하드코딩되어 있지 않은지 점검한다
•키 접근 권한을 최소화하고 유출 시 즉시 폐기·재발급하는 절차를 마련한다
•대화창에 API 키·인증 토큰·비밀번호 등 인증 정보를 입력하지 않는다

📋 증거자료 예시

▫비밀 관리 시스템 설정 내역
▫시스템 프롬프트 내 인증정보 점검 결과
▫API 키 발급·회전·폐기 이력

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.15 15 / 75

AI 서비스 관련 정보시스템, 학습 데이터, 관련 데이터베이스 등 중요 자산에 대한 변경 절차를 수립하여 이행하고 있는가?

ISMS-P 2.9.1 변경관리 관련 위협S01S02M03

모델을 바꾸거나 시스템 프롬프트 한 줄을 고치면 안전성 동작이 통째로 달라진다. 코드는 형상관리를 하면서 프롬프트는 아무나 고치는 경우가 많다. 변경 이력과 되돌릴 수단이 없으면 언제 무엇 때문에 나빠졌는지 알 수 없다.

🎯 AI 특화 점검 포인트

✓모델 버전, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하고 롤백 가능한가
✓학습 데이터셋·벡터 DB의 변경(추가·삭제·재색인)에 대한 승인 절차가 있는가
✓변경 후 안전성 회귀 평가(탈옥·편향 재검증)를 수행하는가

🛡️ 대응 방안

▸모델 및 프롬프트 버전 관리 모델, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하여 안정성과 추적성을 확보한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.
▸백업 및 복구 체계 모델·프롬프트·학습 데이터·벡터 DB의 백업과 복구 기준점을 확보하고 변경 통제 절차와 연계한다.

👥 준수 사항 (역할별)

•모델·시스템 프롬프트·정책 프롬프트의 변경 이력을 버전으로 관리하고 롤백 가능하게 한다
•학습 데이터셋·벡터 DB 변경(추가·삭제·재색인)에 승인 절차를 적용한다
•변경 후 탈옥·편향 등 안전성 회귀 시험을 수행하고 결과를 기록한다
•AI 서비스의 응답 품질이나 동작이 이전과 달라졌다고 느끼면 담당 부서에 알린다

📋 증거자료 예시

▫모델·프롬프트 버전 관리 대장
▫변경 승인 요청서 및 승인 내역
▫변경 후 안전성 회귀 시험 결과
▫롤백 절차서

이행 점검

01 · AI 보안 정책 수립 | 관리체계

REQ 1.16 16 / 75

AI 관련 중요 시스템과 직접 접근이 가능한 단말기를 식별하고 이에 대한 보호대책을 수립하여 이행하고 있는가?

ISMS-P 2.10.6 업무용 단말기기 보안 관련 위협M04A01

학습 데이터와 모델 가중치에 직접 접근하는 개발자 단말은 그 자체가 고위험 자산이다. 요즘은 AI 코딩 도구에 사내 소스를 붙여넣는 경로까지 새로 생겼다. 단말을 식별하고 통제하지 않으면 유출 경로가 통제 밖에서 열린다.

🎯 AI 특화 점검 포인트

✓모델 가중치·학습 데이터에 직접 접근 가능한 개발자 단말, GPU 워크스테이션을 식별하고 보호대책을 적용했는가
✓AI 코딩 도구·외부 LLM 서비스로 내부 소스·데이터가 전송되지 않도록 단말 단에서 통제하는가

🛡️ 대응 방안

▸내부정보 유출 통제 AI 코딩 도구·외부 LLM 서비스로 소스코드와 고객 데이터가 전송되지 않도록 단말·네트워크 단에서 통제한다.
▸AI 시스템 배치·위치 관리 모델 서빙 서버·GPU 노드의 물리적 위치 또는 클라우드 리전·가용영역을 식별하고 자산 정보와 연계해 관리한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.

👥 준수 사항 (역할별)

•모델 가중치·학습 데이터에 접근하는 개발자 단말과 GPU 워크스테이션을 식별해 목록화한다
•업무용 단말에서 외부 생성형 AI 서비스로 소스코드·고객 데이터가 전송되지 않도록 통제한다
•업무용 단말에서 승인된 AI 서비스만 사용하고 사내 자료를 외부 AI에 붙여넣지 않는다
•최신 버전의 브라우저를 사용하고 보안 설정을 점검한다

📋 증거자료 예시

▫AI 자산 접근 단말 목록(개발자 PC·GPU 워크스테이션)
▫단말 보안 설정 현황
▫AI 도구 사용 통제 정책 및 솔루션 화면

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.1 17 / 75

AI 서비스와 관련된 주요 자산의 분류 기준을 수립하고 목록화하여 관리하고 있는가?

ISMS-P 1.2.1 정보자산 식별 관련 위협S01S02S03S04

자산 목록에 없는 것은 위험평가도 보호대책도 받지 못한다. AI 서비스에서는 학습 데이터셋, 모델 가중치, 벡터 DB, 추론 엔진, 에이전트 도구가 새로 생긴 자산이다. 이들을 자산으로 등록하고 버전까지 관리해야 이후의 모든 통제가 작동한다.

🎯 AI 특화 점검 포인트

✓학습·평가 데이터셋, 모델 가중치, 벡터 DB, 시스템 프롬프트, 추론 엔진, 에이전트 도구를 자산 유형으로 분류했는가
✓AI 구성요소를 자산으로 목록화하고 버전 정보를 최신으로 유지하는가
✓각 자산의 기밀성·무결성·가용성 등급 산정 시 AI 특성(모델 유출 시 파급력 등)을 반영했는가

🛡️ 대응 방안

▸AI 자산 범위 정의 모델 가중치, 학습 데이터, 벡터 DB, 시스템 프롬프트, 추론 엔진, 에이전트 도구를 관리체계 범위와 자산 목록에 포함한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.
▸외부자 현황 식별·관리 모델 공급자, 라벨링 위탁사, 플러그인·MCP 공급자 등 AI 관련 외부자를 목록화하고 최신 상태로 유지한다.

👥 준수 사항 (역할별)

•학습 데이터셋·모델 파일·벡터 DB·챗봇 관리시스템·인프라 로그·발화 원문 DB를 정보자산으로 식별한다
•AI 자산별 보안등급을 산정하고 버전 정보를 포함해 최신으로 유지한다

📋 증거자료 예시

▫AI 자산 분류 기준
▫보안등급이 포함된 AI 자산 목록
▫자산 실사 내역

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.2 18 / 75

AI 생애주기, 데이터 처리의 흐름 등을 파악하여 문서화하고 있는가?

ISMS-P 1.2.2 현황 및 흐름분석 관련 위협D03M01M02

개인정보가 프롬프트로 들어와 외부 모델 API로 나갔다가 로그에 남는 경로는 기존 흐름도에 없다. 흐름을 모르면 어디에 통제를 걸어야 할지 정할 수 없다. 흐름분석은 위험평가의 출발점이자 인증심사에서 요구하는 증거 자료이기도 하다.

🎯 AI 특화 점검 포인트

✓데이터 수집 → 정제 → 학습 → 배포 → 추론 → 로깅에 이르는 AI 생애주기 흐름을 문서화했는가
✓사용자 입력 프롬프트, RAG 검색 결과, 도구 호출 결과에 개인정보가 포함되는 경로를 흐름도에 표시했는가
✓다중 에이전트 구성 시 에이전트 간 데이터 전달 경로를 식별했는가

🛡️ 대응 방안

▸AI 흐름분석 문서화·현행화 AI 생애주기와 정보·개인정보 처리 흐름을 흐름표·흐름도로 문서화하고 변경 시 갱신한다.
▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.
▸AI 로그 관리 기준 수립 프롬프트·응답, 도구 호출 이력, 모델·프롬프트 버전 등 AI 고유 로그의 생성·보관 기준을 수립한다.

👥 준수 사항 (역할별)

•데이터 수집→정제→학습→배포→추론→로깅에 이르는 AI 생애주기 흐름을 문서화한다
•프롬프트·RAG 검색 결과·도구 호출 결과에 개인정보가 포함되는 경로를 흐름도에 표시한다
•서비스·모델·연계 변경 시 흐름표와 흐름도를 갱신한다
•업무에 사용하는 AI 서비스가 어떤 정보를 수집·저장하는지 안내를 확인한다

📋 증거자료 예시

▫AI 생애주기 흐름도
▫개인정보 흐름표·흐름도
▫AI 서비스 현황표
▫흐름도 현행화 이력

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.3 19 / 75

AI 서비스에서 발생할 수 있는 위험 요인을 평가하기 위한 기준과 절차를 정의하고 이행하고 있는가?

ISMS-P 1.2.3 위험 평가 관련 위협D01D02D03M05H02

AI 위험은 공격자가 없어도 발생하는 내재적 위협(편향·환각)과 공격자가 만드는 외재적 위협(탈옥·포이즈닝)으로 나뉜다. 두 축을 구분하지 않으면 한쪽만 보게 된다. 또 같은 입력에도 출력이 달라지므로 한 번 시험한 결과로 판단해서는 안 된다.

🎯 AI 특화 점검 포인트

✓OWASP LLM Top 10, NIST AML, MITRE ATLAS를 위험 식별 체크리스트로 활용하는가
✓내재적 위협(편향·환각·정렬 실패·비결정성)과 외재적 위협(탈옥·포이즈닝·하이재킹)을 구분해 평가하는가
✓확률적 비결정성으로 평가 재현이 어려운 점을 고려해 반복 시행 기준을 정의했는가

🛡️ 대응 방안

▸AI 위험평가 절차 수립·이행 내재적·외재적 위협을 구분한 위험 식별 기준과 평가 절차를 정의하고 정기·수시로 수행한다.
▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.
▸AI 흐름분석 문서화·현행화 AI 생애주기와 정보·개인정보 처리 흐름을 흐름표·흐름도로 문서화하고 변경 시 갱신한다.

👥 준수 사항 (역할별)

•내재적 위협(편향·환각)과 외재적 위협(탈옥·포이즈닝)을 구분한 위험 식별 기준을 정의한다
•확률적 비결정성을 고려해 동일 시나리오를 반복 시행하도록 평가 방법을 정한다
•AI 활용이 이용자에게 미칠 잠재적 위험을 평가 항목에 포함한다
•AI 응답을 업무 판단에 사용할 때 발생 가능한 위험을 인지하고 검증한다

📋 증거자료 예시

▫AI 위험평가 방법론 및 평가 기준
▫위험 식별·평가 결과표
▫수용 가능한 목표 위험수준(DoA) 승인 문서

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.4 20 / 75

AI 서비스 관련 시스템 도입 시 위험평가를 실시(연 1회 이상)하고, 그 결과를 경영진에게 보고하고 있는가?

ISMS-P 1.2.3 위험 평가 관련 위협S02S03H01

AI는 모델을 바꾸는 것만으로 위험 수준이 달라지는데, 이는 연 1회 정기평가 주기와 맞지 않는다. 신규 모델 도입, 파인튜닝, 새 도구 연동이 모두 재평가 시점이다. 평가 결과가 경영진까지 올라가야 자원 배분으로 이어진다.

🎯 AI 특화 점검 포인트

✓신규 모델 도입·교체, 파인튜닝, 신규 에이전트 도구 연동 시 위험평가를 필수 수행하는가
✓고성능 모델 능력 향상에 따른 위협 수준 재평가를 정기 평가 항목에 포함했는가

🛡️ 대응 방안

▸AI 위험평가 절차 수립·이행 내재적·외재적 위협을 구분한 위험 식별 기준과 평가 절차를 정의하고 정기·수시로 수행한다.
▸AI 거버넌스 보고 체계 수립 AI 도입·변경, 위험평가 결과, 고위험 작업 승인 등을 경영진 보고·의사결정 안건으로 정의하고 절차를 문서화한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.

👥 준수 사항 (역할별)

•신규 모델 도입·교체, 파인튜닝, 신규 도구 연동 시 위험평가를 필수 수행한다
•연 1회 이상 정기 위험평가를 수행하고 결과를 경영진에 보고한다

📋 증거자료 예시

▫연간 위험평가 보고서
▫모델 도입·교체 시 위험평가 결과
▫경영진 보고 내역

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.5 21 / 75

AI 서비스에 대한 위험평가 결과를 반영하여 조직에 적합한 보호대책을 선정하고 이행계획을 수립하고 있는가?

ISMS-P 1.2.4 보호대책 선정 관련 위협— (직접 위협 없음)

AI 보안은 하나의 솔루션으로 해결되지 않는다. 데이터·모델·애플리케이션·에이전트·공급망 다섯 계층에 각각 통제가 필요하다. 어느 계층이 비어 있는지 확인하고 채우는 것이 보호대책 선정의 실질적인 내용이다.

🎯 AI 특화 점검 포인트

✓데이터·모델·LLM 애플리케이션·에이전트·공급망 계층별로 보호대책을 배분했는가
✓가드레일, 최소 권한, Human-in-the-Loop, 출력 후처리를 조합한 다층 방어로 설계했는가

🛡️ 대응 방안

▸보호대책 이행계획 수립 위험평가 결과에 따라 계층별 보호대책을 선정하고 일정·담당·예산을 포함한 이행계획을 수립한다.
▸AI 위험평가 절차 수립·이행 내재적·외재적 위협을 구분한 위험 식별 기준과 평가 절차를 정의하고 정기·수시로 수행한다.

👥 준수 사항 (역할별)

•데이터·모델·애플리케이션·에이전트·공급망 계층별로 보호대책을 배분한다
•가드레일·최소 권한·사람 승인·출력 후처리를 조합한 다층 방어로 설계한다

📋 증거자료 예시

▫계층별 보호대책 목록
▫보호대책 이행계획서
▫위험-보호대책 매핑표

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.6 22 / 75

AI 서비스에 대한 보호대책을 이행계획에 따라 구현하고 그 결과를 경영진에게 보고하고 있는가?

ISMS-P 1.3.1 보호대책 구현 관련 위협— (직접 위협 없음)

가드레일을 도입했다는 사실과 그것이 실제로 막는다는 사실은 다르다. 정렬(Alignment)만으로는 새로운 탈옥 기법을 막지 못한다. 구현했다면 공격자 관점에서 뚫어보고 그 결과를 근거로 보고해야 한다.

🎯 AI 특화 점검 포인트

✓구현된 가드레일·필터의 실제 차단률을 레드티밍으로 검증했는가
✓정렬(Alignment)만으로는 잔여 위험이 존재함을 전제로 입력 필터링·출력 검증을 함께 구현했는가

🛡️ 대응 방안

▸보호대책 이행계획 수립 위험평가 결과에 따라 계층별 보호대책을 선정하고 일정·담당·예산을 포함한 이행계획을 수립한다.
▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.
▸AI 거버넌스 보고 체계 수립 AI 도입·변경, 위험평가 결과, 고위험 작업 승인 등을 경영진 보고·의사결정 안건으로 정의하고 절차를 문서화한다.

👥 준수 사항 (역할별)

•구현한 가드레일의 실제 차단률을 레드티밍으로 검증한다
•정렬만으로 잔여 위험이 남는다는 전제로 입력 필터링과 출력 검증을 함께 구현한다

📋 증거자료 예시

▫보호대책 이행 결과 보고서
▫가드레일 적용 설정 화면
▫레드티밍 기반 차단 검증 결과

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.7 23 / 75

AI 서비스에 대한 보호대책을 관련 부서와 담당자에게 적절하게 공유하고, 지속적으로 운영될 수 있는 체계를 마련하고 있는가?

ISMS-P 1.3.2 보호대책 공유 관련 위협— (직접 위협 없음)

AI 보안 통제는 대부분 개발자와 운영자의 손을 거쳐야 실제로 작동한다. 보안팀만 알고 있는 가드레일 정책은 다음 배포에서 사라진다. 레드티밍에서 나온 결과가 개발 조직으로 돌아가는 경로도 함께 만들어야 한다.

🎯 AI 특화 점검 포인트

✓AI·ML 개발자, IT 운영자, 도메인 담당자 등 역할별로 필요한 보호대책을 구분해 공유하는가
✓레드티밍 결과와 개선 조치 사항을 개발·운영 부서에 환류하는 체계가 있는가

🛡️ 대응 방안

▸보호대책 공유·환류 보호대책과 레드티밍 결과를 개발·운영 부서에 공유하고 후속 조치가 반영되도록 관리한다.
▸AI 보안 교육 계획 수립 AI·ML 개발자, IT 운영자, 도메인 담당자 등 역할별로 난이도를 구분한 연간 교육 계획을 수립하고 이수 현황을 관리한다.

👥 준수 사항 (역할별)

•보호대책과 레드티밍 결과를 개발·운영 부서에 공유하고 반영 여부를 추적한다
•AI 이용 수칙을 임직원이 상시 확인할 수 있는 곳에 게시한다
•공유된 AI 보안 수칙과 변경 사항을 확인하고 업무에 반영한다

📋 증거자료 예시

▫보호대책 공유 내역(메일·게시판·설명회)
▫부서별 교육·전달 자료
▫레드티밍 결과 환류 및 조치 기록

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.8 24 / 75

AI 서비스와 관련된 법적 요구사항을 정책에 반영하고 법적 요구사항의 최신성 및 준수 여부를 지속적으로 검토하고 있는가?

ISMS-P 1.4.1 법적 요구사항 준수 검토 관련 위협D03M01

AI 관련 법과 지침은 지금도 계속 만들어지고 있다. 공개된 개인정보 처리 안내서처럼 실무에 직접 영향을 주는 문서가 수시로 갱신된다. 최신성을 점검하는 절차가 없으면 작년 기준으로 서비스를 운영하게 된다.

🎯 AI 특화 점검 포인트

✓AI 기본법상 고영향 AI 의무(사람의 관리·감독), 개인정보 보호법, 저작권 관련 요구사항을 정책에 반영했는가
✓공개된 개인정보 처리 안내서 등 감독기관 발간 지침의 최신성을 주기적으로 검토하는가

🛡️ 대응 방안

▸법적 요구사항 최신성 검토 AI 관련 법·고시·감독기관 안내서의 제·개정 사항을 주기적으로 확인하고 정책 반영 여부를 점검한다.
▸AI 관련 법규 식별·반영 AI 기본법 고영향 AI 의무, 개인정보 보호법, 국외 규범의 적용 여부를 검토해 정책에 반영한다.
▸개인정보 보호 및 법규 준수 데이터 수집·처리·저장·활용 과정에서 개인정보가 적법하게 보호되도록 관리한다.

👥 준수 사항 (역할별)

•AI 관련 법·고시·감독기관 안내서의 제·개정 사항을 주기적으로 확인한다
•법적 요구사항의 정책 반영 여부와 준수 여부를 점검하고 기록한다
•AI 생성물 활용 시 저작권·개인정보 등 관련 법규 위반 여부를 확인한다

📋 증거자료 예시

▫AI 관련 법적 요구사항 목록 및 검토 결과
▫준수 여부 점검표
▫감독기관 지침 최신성 확인 기록

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.9 25 / 75

AI 서비스에 대한 조직의 정책이 적절하게 운영되고 있음을 보장하기 위해 독립성과 전문성이 확보된 인력이 연 1회 이상 점검하고 관련 내용을 경영진에게 보고하고 있는가?

ISMS-P 1.4.3 관리체계 개선 관련 위협— (직접 위협 없음)

AI 통제가 실제로 작동하는지는 문서 검토만으로는 확인되지 않는다. 실제 프롬프트를 넣어보고 뚫리는지 봐야 한다. 이 점검을 만든 사람이 직접 하면 의미가 없으므로 독립성과 전문성이 요건이 된다.

🎯 AI 특화 점검 포인트

✓AI 보안 점검(레드티밍 포함)을 독립성·전문성이 확보된 인력이 수행하는가
✓점검 주기와 방법론(자동/수동, 화이트박스/블랙박스)을 사전에 정의했는가
✓점검 결과와 개선 계획을 경영진에 보고하고 후속 조치를 추적하는가

🛡️ 대응 방안

▸관리체계 점검·개선 독립성과 전문성을 갖춘 인력이 정기적으로 점검하고 결과를 경영진에 보고해 개선으로 연결한다.
▸AI 검증 조직 구성 개발·운영 조직과 독립된 AI 레드팀 또는 검증 인력을 구성하고 결과 보고 경로를 분리한다.
▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.

👥 준수 사항 (역할별)

•독립성과 전문성을 갖춘 인력이 연 1회 이상 AI 보안 점검을 수행한다
•점검 방법론(자동/수동, 화이트박스/블랙박스)을 사전에 정의한다
•점검 결과와 개선 계획을 경영진에 보고하고 이행을 추적한다
•보안 점검이나 설문 요청 시 실제 사용 현황을 사실대로 응답한다

📋 증거자료 예시

▫AI 보안 점검 계획서 및 결과 보고서
▫점검 인력 독립성·전문성 확인 자료
▫개선 조치 이행 대장

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.10 26 / 75

AI 관련 시스템 도입 또는 개발 시 관련 법적 요구사항을 포함한 보안 요구사항을 정의하고 관련 절차를 수립하여 이행하고 있는가?

ISMS-P 2.8.1 보안 요구사항 정의 관련 위협S03S04M07

모델 출력이 쿼리나 화면에 그대로 들어가는 구조는 설계 단계에서 정해지면 나중에 바꾸기 어렵다. 입력 검증, 출력 후처리, 권한 분리는 처음부터 요구사항에 있어야 한다. 제안요청서와 인수 기준에 넣어야 공급자에게 요구할 수 있다.

🎯 AI 특화 점검 포인트

✓설계 단계부터 입력 검증, 출력 후처리, 권한 분리, 로깅을 보안 요구사항으로 정의했는가
✓모델 출력이 시스템 명령·쿼리·화면에 직접 삽입되지 않도록 안전 요구사항을 명시했는가
✓RFP·구매계약서에 AI 보안 요구사항을 반영하고 인수 기준으로 활용하는가

🛡️ 대응 방안

▸도입·개발 보안 요구사항 정의 입력 검증, 출력 후처리, 권한 분리, 로깅 등 AI 보안 요구사항을 설계 단계에 정의하고 인수 기준으로 활용한다.
▸모델 출력 보안 처리 모델 출력이 웹 화면, 파일, 코드, 외부 시스템 등에서 안전하지 않게 해석되거나 실행되지 않도록 사전 검증과 이스케이프 처리를 적용한다.
▸가드레일 도입 모델 입력･출력 과정에서 유해 요청, 정책 위반, 부적절한 응답을 제한하는 보호 장치를 적용한다.

👥 준수 사항 (역할별)

•입력 검증·출력 후처리·권한 분리·로깅을 설계 단계 보안 요구사항으로 정의한다
•모델 출력이 시스템 명령·쿼리·화면에 검증 없이 삽입되지 않도록 요구사항에 명시한다
•제안요청서와 구매계약서에 AI 보안 요구사항을 반영하고 인수 기준으로 활용한다

📋 증거자료 예시

▫AI 보안 요구사항 정의서
▫제안요청서(RFP)·구매계약서
▫설계서(입력 검증·출력 후처리 반영)
▫인수 기준 및 인수 결과서

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.11 27 / 75

AI 서비스에 대한 오픈소스 라이브러리 등 공급망 취약점을 대응하기 위한 보안 요구사항을 정의하고 있는가?

ISMS-P 2.8.1 보안 요구사항 정의 관련 위협S01S02S03S04

AI 서비스는 오픈소스 라이브러리와 추론 엔진 위에 얹혀 있고, 이들의 취약점은 그대로 우리 공격 표면이 된다. 플러그인이나 MCP 서버는 검증 없이 붙이기 쉽다. 무엇을 어떤 기준으로 받아들일지 미리 정해두어야 한다.

🎯 AI 특화 점검 포인트

✓추론 엔진·런타임·라이브러리의 알려진 취약점 존재 여부를 정기 점검하는가
✓에이전트 확장요소(플러그인, MCP 서버)의 검증·승인 절차가 있는가
✓SBOM 등으로 AI 구성요소 의존성을 관리하는가

🛡️ 대응 방안

▸도입·개발 보안 요구사항 정의 입력 검증, 출력 후처리, 권한 분리, 로깅 등 AI 보안 요구사항을 설계 단계에 정의하고 인수 기준으로 활용한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.

👥 준수 사항 (역할별)

•사용 중인 오픈소스 소프트웨어를 식별·관리하고 승인된 것만 사용하도록 절차를 둔다
•추론 엔진·라이브러리·플러그인의 알려진 취약점을 정기 점검한다
•구성요소 의존성(SBOM)을 관리한다
•검증되지 않은 플러그인·확장 프로그램을 임의로 설치하지 않는다

📋 증거자료 예시

▫승인된 오픈소스 소프트웨어 목록
▫구성요소 의존성 목록(SBOM)
▫라이브러리·추론 엔진 취약점 점검 결과
▫확장요소 승인 절차서

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.12 28 / 75

AI 모델 관련 취약점을 보안 요구사항에 정의하고 도입 및 개발 시 적용하고 있는가?

ISMS-P 2.8.1 보안 요구사항 정의 관련 위협M01M03M04M06M07

탈옥, 시스템 프롬프트 유출, 학습 데이터 추출, 모델 추출은 전통적인 취약점 목록에 없던 항목이다. 도입할 모델이 이런 공격에 어느 정도 견디는지는 모델 카드와 안전성 리포트로 확인해야 한다. 요구사항에 없으면 검증 대상도 되지 않는다.

🎯 AI 특화 점검 포인트

✓탈옥, 시스템 프롬프트 유출, 학습 데이터 추출, 모델 추출을 보안 요구사항에 명시했는가
✓도입 대상 모델의 안전성 평가 결과(모델 카드, 안전성 리포트)를 검토하는가

🛡️ 대응 방안

▸도입·개발 보안 요구사항 정의 입력 검증, 출력 후처리, 권한 분리, 로깅 등 AI 보안 요구사항을 설계 단계에 정의하고 인수 기준으로 활용한다.
▸모델 정렬 모델이 서비스 목적과 안전 정책에 부합하는 응답을 생성하도록 추가 학습과 정렬(Alignment)을 수행한다.
▸가드레일 도입 모델 입력･출력 과정에서 유해 요청, 정책 위반, 부적절한 응답을 제한하는 보호 장치를 적용한다.
▸시스템 프롬프트 강화 시스템 프롬프트와 내부 지침이 사용자 요청에 의해 노출되거나 우회되지 않도록 보호한다.

👥 준수 사항 (역할별)

•탈옥·시스템 프롬프트 유출·학습 데이터 추출·모델 추출을 보안 요구사항에 명시한다
•도입 대상 모델의 모델 카드와 안전성 평가 결과를 검토한다

📋 증거자료 예시

▫AI 모델 보안 요구사항 정의서
▫도입 모델의 모델 카드·안전성 평가 리포트
▫모델 도입 검토서

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.13 29 / 75

AI 생애주기 전반에 사용되는 데이터의 출처를 기록하고 검증할 수 있는 절차를 수립하여 이행하고 있는가?

ISMS-P 2.8.2 보안 요구사항 검토 및 시험 관련 위협S01D02

학습이나 RAG에 들어간 데이터의 출처를 모르면 오염 여부를 판단할 방법이 없다. 나중에 문제가 생겨도 어느 데이터 때문인지 추적할 수 없다. 출처와 변경 이력 기록은 저작권과 적법성 대응의 근거이기도 하다.

🎯 AI 특화 점검 포인트

✓학습·미세조정·평가·RAG에 사용되는 데이터의 출처, 수집 근거, 라이선스를 기록하는가
✓데이터 변경 이력과 검수 결과를 기록하고 주기적으로 무결성을 검증하는가
✓외부 데이터·사용자 피드백을 학습·RAG에 반영하기 전 영향 분석을 수행하는가

🛡️ 대응 방안

▸학습 데이터 출처 기록 학습 데이터마다 출처·수집 근거·수집 목적·라이선스를 기록해 적법성과 추적성을 확보한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.
▸RAG 삽입 데이터 검증 RAG에 활용되는 외부 문서와 데이터의 신뢰성, 무결성, 민감정보 포함 여부를 사전에 검증한다.

👥 준수 사항 (역할별)

•학습·미세조정·평가·RAG에 사용하는 데이터의 출처·수집 근거·라이선스를 기록한다
•학습데이터 출처에 대한 신뢰성 평가 기준을 수립해 이행한다
•학습데이터 업데이트 이력을 관리한다
•AI에 입력하거나 학습에 제공하는 자료의 출처와 활용 가능 여부를 확인한다

📋 증거자료 예시

▫학습 데이터 출처 대장(수집 근거·라이선스 포함)
▫데이터 출처 신뢰성 평가 기준
▫학습 데이터 업데이트 이력

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.14 30 / 75

공급망 취약점 관련 보안 요구사항에 따라 문제점이 신속하게 조치될 수 있도록 조치계획 수립, 이행점검 등의 절차를 이행하고 있는가?

ISMS-P 2.8.2 보안 요구사항 검토 및 시험 관련 위협S02S03S04

외부에서 받은 모델 파일은 직렬화 형식(pickle 계열 등)에 따라 불러오는 순간 내부 코드가 실행될 수 있다. 해시를 원본과 대조하지 않으면 바꿔치기를 알아챌 수 없다. 취약점을 알고도 패치까지 오래 걸리면 아는 것 자체가 소용없다.

🎯 AI 특화 점검 포인트

✓외부 모델·가중치 파일 내 악성 요소(직렬화 파일 내 코드 등) 스캔 절차가 있는가
✓원본 모델 해시값과 배포 모델 해시값을 비교 검증하는가
✓취약점 발견부터 패치 적용까지의 리드타임을 관리하는가

🛡️ 대응 방안

▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.
▸백도어 및 데이터 오염 탐지 외부 데이터셋, 모델, 체크포인트 등에 포함될 수 있는 악성 요소나 오염 데이터를 탐지하고 차단한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.

👥 준수 사항 (역할별)

•외부 모델·가중치 파일의 악성 요소를 스캔하고 원본 해시와 대조한다
•AI 모델·학습데이터 등 주요 파일의 위변조 탐지 또는 무결성 검증 방안을 마련한다
•취약점 발견부터 패치 적용까지의 리드타임을 관리한다

📋 증거자료 예시

▫모델 파일 악성코드 스캔 결과
▫원본 대비 모델 해시 검증 기록
▫공급망 취약점 조치계획 및 이행점검 결과

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.15 31 / 75

AI 서비스에서 사용하는 AI 모델 취약점에 대한 시험 방법과 절차를 수립하여 이행하고 있는가?

ISMS-P 2.8.2 보안 요구사항 검토 및 시험 관련 위협M06M03M01A02

AI 취약점은 스캐너로 자동 검출되지 않고 실제 대화를 통해서만 드러난다. 무엇을 통과로 볼지 판정 기준이 없으면 시험 결과가 사람마다 달라진다. 같은 입력에도 출력이 달라지므로 반복 시행이 전제되어야 한다.

🎯 AI 특화 점검 포인트

✓탈옥·프롬프트 인젝션·시스템 프롬프트 유출에 대한 시험 시나리오와 판정 기준(양호/취약)을 정의했는가
✓레드티밍을 준비-이행-보고의 3단계 절차로 수행하고 기록을 관리하는가
✓확률적 비결정성을 고려해 동일 시나리오를 반복 시행하고 결과를 통계적으로 판단하는가

🛡️ 대응 방안

▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.
▸AI 검증 조직 구성 개발·운영 조직과 독립된 AI 레드팀 또는 검증 인력을 구성하고 결과 보고 경로를 분리한다.
▸모델 및 프롬프트 버전 관리 모델, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하여 안정성과 추적성을 확보한다.

👥 준수 사항 (역할별)

•탈옥·프롬프트 인젝션·프롬프트 유출 시험 시나리오와 양호/취약 판정 기준을 정의한다
•레드티밍을 준비-이행-보고 3단계로 수행하고 기록을 관리한다
•서비스 오픈 전 보안점검을 실시하고 결과를 조치한다
•AI 서비스에서 정책을 우회하는 응답을 발견하면 악용하지 않고 즉시 신고한다

📋 증거자료 예시

▫레드티밍 계획서 및 결과 보고서
▫시험 시나리오와 양호/취약 판정 기준
▫서비스 오픈 전 보안점검 결과
▫취약점 조치 결과

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.16 32 / 75

AI 코딩 도구, 클라우드 서비스 등을 이용할 경우 중요 정보 유출 등에 대한 통제 방안을 마련하여 관리하고 있는가?

ISMS-P 2.8.5 소스 프로그램 관리 관련 위협M01D03

AI 코딩 도구에 사내 소스를 붙여넣는 순간 그 코드는 이미 외부로 나간 것이다. 외부 모델 API에 넣은 데이터가 학습에 쓰이는지는 설정과 계약에 달려 있다. 통제 방안이 없으면 판단이 개인에게 맡겨진다.

🎯 AI 특화 점검 포인트

✓AI 코딩 도구·외부 LLM 서비스 사용 시 내부 소스코드·고객 데이터 입력 금지 정책을 수립·통제하는가
✓외부 모델 API 이용 시 입력 데이터가 공급자의 학습에 활용되지 않도록 옵트아웃·계약으로 통제하는가

🛡️ 대응 방안

▸내부정보 유출 통제 AI 코딩 도구·외부 LLM 서비스로 소스코드와 고객 데이터가 전송되지 않도록 단말·네트워크 단에서 통제한다.
▸계약 시 AI 보안 요건 반영 학습 활용 여부, 무결성 검증 결과 제출, 사고 통지 의무 등을 계약서와 SLA에 명시한다.
▸개인정보 관련 감사 로깅 개인정보 처리 이력과 접근 기록을 남겨 사후 점검과 책임 추적이 가능하도록 한다.

👥 준수 사항 (역할별)

•AI 코딩 도구·외부 LLM 서비스에 사내 소스코드와 고객 데이터 입력을 금지하고 통제한다
•외부 모델 API 이용 시 입력 데이터가 학습에 활용되지 않도록 설정·계약으로 차단한다
•업무용 AI 서비스는 승인된 목록으로 한정해 운영한다
•AI 코딩 도구나 외부 생성형 AI에 사내 소스코드·고객 데이터를 입력하지 않는다

📋 증거자료 예시

▫AI 도구 사용 통제 정책
▫승인된 AI 서비스 목록
▫DLP 정책 및 탐지 로그
▫외부 모델 API 학습 활용 옵트아웃 설정 내역

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.17 33 / 75

AI 서비스 관련 소스 프로그램 및 데이터 등 중요 정보의 변경, 백업에 대한 통제 절차를 수립하여 이행하고 있는가?

ISMS-P 2.8.5 소스 프로그램 관리 관련 위협S01S02M03

AI 서비스에서 되돌려야 할 대상은 코드만이 아니라 모델, 프롬프트, 벡터 DB다. 이들이 형상관리 밖에 있으면 사고가 났을 때 복구할 기준점이 없다. 저장소 접근 권한이 넓으면 변경 통제 자체가 무의미해진다.

🎯 AI 특화 점검 포인트

✓학습 데이터셋, 모델 가중치, 시스템 프롬프트, 벡터 DB에 대한 백업 및 변경 통제 절차가 있는가
✓프롬프트·모델 형상관리 저장소의 접근 권한을 최소화했는가

🛡️ 대응 방안

▸모델 및 프롬프트 버전 관리 모델, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하여 안정성과 추적성을 확보한다.
▸백업 및 복구 체계 모델·프롬프트·학습 데이터·벡터 DB의 백업과 복구 기준점을 확보하고 변경 통제 절차와 연계한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.

👥 준수 사항 (역할별)

•모델·프롬프트·학습 데이터·벡터 DB의 변경과 백업 절차를 수립한다
•형상관리 저장소 접근 권한을 최소화하고 변경 이력을 기록한다

📋 증거자료 예시

▫모델·프롬프트·데이터 형상관리 이력
▫백업 정책 및 백업 수행 기록
▫형상관리 저장소 접근 권한 목록

이행 점검

02 · AI 위험관리체계 수립 및 운영 | 관리체계

REQ 2.18 34 / 75

AI 서비스에 대한 운영환경 이관 시 접근통제와 인증절차를 안전하게 구현하고, 예기지 않은 입력이나 오류 상황에서 시스템의 안정성을 보장할 수 있는 예외 처리 및 복구 절차를 수립하고 있는가?

ISMS-P 2.8.6 운영환경 이관 관련 위협M07A01H02

모델과 프롬프트 배포는 코드 배포와 달리 승인 절차 없이 이뤄지는 경우가 많다. 예기치 않은 입력에서 안전하게 실패하도록 설계하지 않으면 오류가 그대로 이용자에게 노출된다. 에이전트가 한 일을 되돌릴 수 없다면 이관 절차는 미완성이다.

🎯 AI 특화 점검 포인트

✓모델·프롬프트 배포 시 승인 절차와 롤백 절차를 갖추었는가
✓예기치 않은 입력이나 모델 오류 상황에서의 예외 처리(안전 실패, 기본 거부)를 구현했는가
✓에이전트 실행 결과를 이전 상태로 되돌릴 수 있는 롤백 기능이 있는가

🛡️ 대응 방안

▸모델 및 프롬프트 버전 관리 모델, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하여 안정성과 추적성을 확보한다.
▸중단 가능성 확보 에이전트 폭주 등 자원 과도 소모 시 즉각 권한·세션을 강제 종료하는 비상 정지(Kill-Switch)와 실행 결과를 이전 상태로 되돌리는 롤백 절차를 확보한다.
▸모델 출력 보안 처리 모델 출력이 웹 화면, 파일, 코드, 외부 시스템 등에서 안전하지 않게 해석되거나 실행되지 않도록 사전 검증과 이스케이프 처리를 적용한다.

👥 준수 사항 (역할별)

•모델·프롬프트 배포에 승인 절차와 롤백 절차를 적용한다
•예기치 않은 입력과 모델 오류 상황에서 안전하게 실패하도록 예외 처리를 구현한다
•에이전트 실행 결과를 이전 상태로 되돌리는 복구 절차를 마련한다

📋 증거자료 예시

▫배포 승인 요청서 및 승인 내역
▫운영환경 이관 절차서
▫롤백 시험 결과
▫예외 처리·안전 실패 설계서

이행 점검

03 · AI 교육 및 훈련 | 보호대책

REQ 3.1 35 / 75

AI 서비스 관련 인력에 대해 필요한 교육 계획을 수립하고, 이에 따라 교육이 이루어지고 있는가?

ISMS-P 2.2.4 인식제고 및 교육훈련 관련 위협H01M06A02

AI가 만든 피싱 메일은 어색한 문장으로 걸러내던 기존 방식이 통하지 않는다. 개발자는 프롬프트 인젝션을, 운영자는 에이전트 폭주를 알아야 대응할 수 있다. 역할마다 알아야 할 내용이 다르므로 교육도 나누어 설계해야 한다.

🎯 AI 특화 점검 포인트

✓AI·ML 개발자, IT 운영자, 도메인 담당자 등 역할별로 난이도를 구분한 교육 계획을 수립했는가
✓AI가 생성한 고도화된 사회공학적 공격(피싱·스미싱)을 임직원이 식별할 수 있도록 실전형 모의 훈련을 수행하는가
✓프롬프트 인젝션·탈옥 등 AI 고유 위협에 대한 실무자 교육을 포함했는가

🛡️ 대응 방안

▸AI 보안 교육 계획 수립 AI·ML 개발자, IT 운영자, 도메인 담당자 등 역할별로 난이도를 구분한 연간 교육 계획을 수립하고 이수 현황을 관리한다.
▸AI 위협 실무 교육 프롬프트 인젝션, 탈옥, 에이전트 오남용 등 AI 고유 위협과 대응 방법을 실무자 교육 과정에 포함한다.
▸실전형 모의 훈련 AI가 생성한 고도화된 피싱·스미싱을 임직원이 식별할 수 있도록 실전형 모의 훈련을 주기적으로 수행한다.
▸보호대책 공유·환류 보호대책과 레드티밍 결과를 개발·운영 부서에 공유하고 후속 조치가 반영되도록 관리한다.

👥 준수 사항 (역할별)

•AI·ML 개발자, IT 운영자, 도메인 담당자로 역할을 구분한 연간 교육 계획을 수립하고 이수 현황을 관리한다
•프롬프트 인젝션·탈옥·에이전트 오남용 등 AI 고유 위협을 실무자 교육 과정에 포함한다
•AI가 생성한 피싱·스미싱을 식별하는 실전형 모의 훈련을 주기적으로 수행한다
•생성형 AI 이용 수칙을 신규 입사자 교육과 정기 보안교육에 포함한다

📋 증거자료 예시

▫연간 AI 보안 교육계획서
▫교육 이수 현황 및 미이수자 관리 내역
▫교육 교재·커리큘럼(역할별)
▫AI 생성 피싱 모의훈련 결과 보고서

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.1 36 / 75

AI 서비스 관련 정보시스템의 중요도, 용도, 특성 등을 고려하여 배치하고, 실제 물리적 위치를 손쉽게 확인할 수 있는 방안을 마련하고 있는가?

ISMS-P 2.4.3 정보시스템 보호 관련 위협M04S03

모델 서빙 서버와 GPU 노드는 고가 자산이자 모델 가중치가 올라가 있는 곳이다. 클라우드에서는 물리적 위치 대신 리전과 가용영역이 그 역할을 한다. 어디에 무엇이 있는지 모르면 사고가 났을 때 격리도 하지 못한다.

🎯 AI 특화 점검 포인트

✓모델 서빙 서버·GPU 노드·벡터 DB의 물리적/논리적 위치를 식별·관리하는가
✓클라우드 사용 시 리전·가용영역 등 배치 정보를 자산 정보로 관리하는가

🛡️ 대응 방안

▸AI 시스템 배치·위치 관리 모델 서빙 서버·GPU 노드의 물리적 위치 또는 클라우드 리전·가용영역을 식별하고 자산 정보와 연계해 관리한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.

👥 준수 사항 (역할별)

•모델 서빙 서버·GPU 노드의 물리적 위치 또는 클라우드 리전·가용영역을 식별해 관리한다
•AI 서비스 정보처리 시스템의 중요도 평가를 수행한다

📋 증거자료 예시

▫AI 시스템 배치도
▫클라우드 리전·가용영역 현황
▫AI 정보처리 시스템 중요도 평가 결과

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.2 37 / 75

AI 서비스에서 사용하는 에이전트 등에 최소 계정 및 적절한 권한이 부여될 수 있는 내부 절차가 수립되어 있는가?

ISMS-P 2.5.1 사용자 계정 관리 관련 위협A01A02H02

에이전트는 사람이 아니지만 사람처럼 권한을 갖고 시스템을 조작한다. 사람 계정과 섞여 있으면 누가 한 일인지 구분되지 않는다. 도구별로 필요한 최소 권한만 주는 것이 사고 범위를 줄이는 가장 확실한 방법이다.

🎯 AI 특화 점검 포인트

✓사용자·역할·권한 수준에 따라 에이전트가 사용할 수 있는 도구·기능·실행 권한을 최소한으로 제한하는가
✓에이전트에 부여된 계정이 사람 계정과 구분되어 식별·추적 가능한가
✓다중 에이전트 환경에서 각 에이전트의 역할과 권한을 개별 최소화했는가

🛡️ 대응 방안

▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.
▸에이전트 계정 식별·분리 에이전트·서비스 계정을 사람 계정과 구분해 식별하고 행위를 추적 가능하도록 관리한다.
▸에이전트 가드레일 설계 에이전트의 목표, 수행 범위, 금지 행위, 도구 사용 조건을 정의하여 의도하지 않은 작업을 방지한다.

👥 준수 사항 (역할별)

•에이전트·서비스 계정을 사람 계정과 구분해 생성하고 행위를 추적 가능하게 한다
•사용자·역할·권한 수준에 따라 에이전트가 사용할 도구와 실행 권한을 최소한으로 제한한다
•다중 에이전트 환경에서 에이전트별 역할과 권한을 개별 최소화한다
•부여받은 권한 범위 내에서만 AI 기능을 사용하고 권한 확대가 필요하면 정식 절차로 신청한다

📋 증거자료 예시

▫에이전트·서비스 계정 목록
▫계정 및 권한 신청·승인 이력
▫도구별 접근권한 분류표

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.3 38 / 75

AI 서비스에 중대한 영향을 미칠 수 있는 정보시스템을 대상으로 강화된 인증 방식(OTP 등)을 적용하고 있는가?

ISMS-P 2.5.3 사용자 인증 관련 위협M04A01

모델 배포 파이프라인이나 학습 인프라는 한 번 뚫리면 서비스 전체가 바뀐다. 에이전트가 외부 송금이나 데이터 삭제를 하기 직전에는 사람의 확인이 필요하다. 대상의 중요도에 따라 인증 강도를 달리해야 하는 이유다.

🎯 AI 특화 점검 포인트

✓모델 배포 파이프라인, 학습 인프라, 벡터 DB 관리 콘솔에 OTP 등 강화된 인증을 적용했는가
✓에이전트의 고위험 도구 호출 전 사람의 명시적 승인(Human-in-the-Loop)을 요구하는가

🛡️ 대응 방안

▸강화된 인증 적용 모델 배포 파이프라인, 학습 인프라, 벡터 DB 관리 콘솔 등 중요 시스템에 OTP 등 추가 인증수단을 적용한다.
▸Human-in-the-Loop 적용 중요 작업이나 고위험 도구 호출 전에 사람의 확인 또는 승인을 거치도록 한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.

👥 준수 사항 (역할별)

•모델 배포 파이프라인·학습 인프라·벡터 DB 콘솔에 OTP 등 강화된 인증을 적용한다
•에이전트의 고위험 도구 호출 전 관리자의 명시적 승인을 강제한다
•관리자 화면 접근 시 요구되는 추가 인증을 우회하지 않는다

📋 증거자료 예시

▫인증 정책 및 적용 대상 목록
▫강화된 인증 설정 화면
▫고위험 작업 사람 승인(HITL) 로그

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.4 39 / 75

AI 서비스 주요 직무자에 대한 시스템 접근권한과 수행업무를 주기적으로 검토하고 있는가?

ISMS-P 2.5.6 접근권한 검토 관련 위협A01M04

에이전트에 한 번 부여한 도구 권한은 회수 시점이 명확하지 않아 계속 남는다. 프로젝트가 끝나도 학습 데이터 접근 권한이 유지되는 경우가 흔하다. 주기적으로 들여다보지 않으면 권한은 늘어나기만 한다.

🎯 AI 특화 점검 포인트

✓에이전트·서비스 계정에 부여된 도구 권한을 주기적으로 검토·회수하는가
✓모델 가중치·학습 데이터 접근 권한 보유자 목록을 정기 검토하는가

🛡️ 대응 방안

▸접근권한 정기 검토 에이전트 도구 권한과 AI 자산 접근권한 보유자를 주기적으로 검토하고 불필요한 권한을 회수한다.
▸AI 주요 직무자 지정·관리 학습 데이터 취급자, 모델 가중치 접근자, 프롬프트 편집자, 도구 권한 부여자를 주요 직무자로 지정하고 관리한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.

👥 준수 사항 (역할별)

•AI 모델 파일·소스코드·학습 데이터에 대한 접근통제 정책의 등록·변경·삭제 내역을 기록한다
•에이전트 도구 권한과 AI 자산 접근권한을 주기적으로 검토하고 불필요한 권한을 회수한다
•직무 변경이나 프로젝트 종료 시 더 이상 필요 없는 AI 접근 권한의 회수를 요청한다

📋 증거자료 예시

▫접근권한 검토 계획 및 결과서
▫불필요 권한 회수 내역
▫접근통제 정책 등록·변경·삭제 이력

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.5 40 / 75

AI 서비스 관련 중요 정보시스템(AI 모듈, 학습데이터 처리 등)을 정의하고 네트워크 영역 구성, 서버 접근통제 등 네트워크 통제 방안을 적용하고 있는가?

ISMS-P 2.6.1 네트워크 접근 관련 위협M04S03

학습 환경과 서빙 환경이 같은 네트워크에 있으면 한쪽의 사고가 다른 쪽으로 번진다. 모델 가중치가 인터넷에서 닿는 곳에 있으면 반복 질의만으로 복제될 수 있다. 에이전트가 아무 곳으로나 나갈 수 있으면 유출 경로가 무한해진다.

🎯 AI 특화 점검 포인트

✓학습 환경, 모델 서빙 환경, 벡터 DB를 네트워크 영역으로 분리했는가
✓모델 가중치 파일에 내부 네트워크에서만 접근 가능하도록 통제하는가
✓에이전트의 외부 아웃바운드 통신 대상을 허용 목록으로 제한하는가

🛡️ 대응 방안

▸시험과 운영 환경 분리 학습·시험 환경과 운영 환경을 분리해 데이터 오염과 모델 임의 변경이 운영으로 전이되지 않도록 한다.
▸AI 시스템 배치·위치 관리 모델 서빙 서버·GPU 노드의 물리적 위치 또는 클라우드 리전·가용영역을 식별하고 자산 정보와 연계해 관리한다.
▸실시간 모니터링 모델 요청·응답과 이상 사용 패턴을 지속적으로 관찰하여 보안 위협을 조기에 탐지한다.

👥 준수 사항 (역할별)

•학습 환경·서빙 환경·벡터 DB를 네트워크 영역으로 분리한다
•모델 가중치를 내부 네트워크에서만 접근 가능하도록 통제한다
•에이전트의 외부 아웃바운드 통신 대상을 허용목록으로 제한한다

📋 증거자료 예시

▫네트워크 구성도(학습·서빙·벡터 DB 영역 분리)
▫방화벽·접근통제 정책
▫에이전트 아웃바운드 허용목록 설정

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.6 41 / 75

AI 서비스 운영을 위해 필요한 관리용 어플리케이션, 중요 정보시스템 등에 대한 추가 인증수단을 적용하고 있는가?

ISMS-P 2.6.2 정보시스템 접근 관련 위협M04M03

시스템 프롬프트를 볼 수 있는 사람은 서비스의 안전 정책을 전부 아는 셈이다. 관리 화면 하나로 모델과 데이터셋을 모두 만질 수 있는 구성이 많다. 조회 권한과 수정 권한을 나누고 이력을 남겨야 한다.

🎯 AI 특화 점검 포인트

✓모델 관리·프롬프트 편집·데이터셋 관리 화면에 추가 인증수단을 적용했는가
✓시스템 프롬프트 조회·수정 권한을 분리하고 이력을 남기는가

🛡️ 대응 방안

▸강화된 인증 적용 모델 배포 파이프라인, 학습 인프라, 벡터 DB 관리 콘솔 등 중요 시스템에 OTP 등 추가 인증수단을 적용한다.
▸시스템 프롬프트 강화 시스템 프롬프트와 내부 지침이 사용자 요청에 의해 노출되거나 우회되지 않도록 보호한다.
▸모델 및 프롬프트 버전 관리 모델, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하여 안정성과 추적성을 확보한다.

👥 준수 사항 (역할별)

•모델 관리·프롬프트 편집·데이터셋 관리 화면에 추가 인증수단을 적용한다
•시스템 프롬프트의 조회 권한과 수정 권한을 분리하고 이력을 남긴다
•AI 관리 화면 접근 권한을 부여받은 경우 타인과 계정을 공유하지 않는다

📋 증거자료 예시

▫관리 화면 접근 권한 목록
▫시스템 프롬프트 조회·수정 이력
▫추가 인증 적용 화면

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.7 42 / 75

AI 서비스와 연동되는 내/외부 응용프로그램을 식별하고, 최소 접근 권한 부여 등 통제 방안을 수립하여 적용하고 있는가?

ISMS-P 2.6.3 응용프로그램 접근 관련 위협A01M07

에이전트가 쓰는 도구 하나하나가 외부로 통하는 문이다. 도구에 넘기는 값이 검증되지 않으면 조작된 입력이 그대로 실행된다. 실행 결과에 민감정보가 섞여 나오는 것도 자주 놓치는 지점이다.

🎯 AI 특화 점검 포인트

✓AI 서비스와 연동되는 내·외부 도구(API, 플러그인, MCP 서버)를 식별하고 최소 권한을 부여했는가
✓도구 호출 입력값에 대해 형식·범위·권한 검증을 수행하는가
✓도구 실행 결과에 민감정보·오류 정보가 포함되지 않도록 필터링하는가

🛡️ 대응 방안

▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.
▸에이전트 가드레일 설계 에이전트의 목표, 수행 범위, 금지 행위, 도구 사용 조건을 정의하여 의도하지 않은 작업을 방지한다.
▸실행 권한 정보 분리 관리 API 키, 인증 토큰 등 민감정보를 LLM 컨텍스트와 분리하고, 도구 호출 시 필요한 권한 정보는 미들웨어나 비밀 관리 시스템을 통해 실행 단계에서만 참조되도록 관리한다.
▸에이전트 실시간 모니터링 에이전트의 도구 호출, 작업 흐름을 지속적으로 추적하여 권한 오남용과 의도하지 않은 동작을 조기에 탐지한다.

👥 준수 사항 (역할별)

•연동되는 내·외부 도구(API·플러그인·MCP 서버)를 식별하고 최소 권한을 부여한다
•도구 호출 입력값의 형식·범위·권한을 검증한다
•도구 실행 결과에 민감정보·오류 정보가 포함되지 않도록 필터링한다
•사용하지 않는 API를 식별해 제거하고 API 이상행위를 모니터링한다

📋 증거자료 예시

▫연동 도구·API 목록
▫도구별 권한 정의서
▫도구 입력값 검증 설계·시험 결과
▫API 이상행위 모니터링 내역

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.8 43 / 75

AI 서비스와 관련된 데이터 무결성에 영향을 줄 수 있는 위험을 식별하고 접근통제 등의 보안대책을 적용하고 있는가?

ISMS-P 2.6.4 데이터베이스 접근 관련 위협M02A04S01

벡터 DB는 사내 문서 전체가 검색 가능한 형태로 들어가 있는 저장소다. 사용자 권한을 반영하지 않으면 검색만으로 볼 수 없어야 할 문서가 답변에 섞여 나온다. 에이전트 장기 메모리도 같은 이유에서 통제 대상이다.

🎯 AI 특화 점검 포인트

✓벡터 DB·임베딩 저장소에 대한 접근 권한을 통제하는가
✓RAG 검색 결과가 사용자 권한을 넘어서는 문서를 반환하지 않도록 사용자별 검색 범위를 분리했는가
✓에이전트 장기 메모리(RAG DB, 파일)에 인증·권한 제어를 적용하고 주기적으로 무결성을 검토하는가

🛡️ 대응 방안

▸RAG 사용자별 접근 권한 설정 사용자 권한에 따라 검색 가능한 문서와 지식 범위를 제한하여 민감정보 노출을 방지한다.
▸RAG 삽입 데이터 검증 RAG에 활용되는 외부 문서와 데이터의 신뢰성, 무결성, 민감정보 포함 여부를 사전에 검증한다.
▸에이전트 메모리 관리 신뢰할 수 없는 입력이나 일시적인 작업 지시가 장기 메모리에 저장되지 않도록 저장 기준, 검증 절차, 삭제･갱신 절차를 관리한다.

👥 준수 사항 (역할별)

•벡터 DB·임베딩 저장소·발화 원문 DB에 대한 접근 권한을 통제한다
•RAG 검색 결과가 사용자 권한을 넘는 문서를 반환하지 않도록 검색 범위를 분리한다
•에이전트 장기 메모리에 인증·권한 제어를 적용하고 무결성을 주기 검토한다
•AI 검색 결과에 본인 권한을 벗어난 문서가 나오면 열람하지 않고 즉시 신고한다

📋 증거자료 예시

▫벡터 DB·임베딩 저장소 접근 권한 목록
▫RAG 사용자별 검색 범위 분리 설정
▫에이전트 장기 메모리 무결성 점검 결과

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.9 44 / 75

외부에서 원격으로 AI 관련 시스템에 접근하여 부정적 영향을 줄 수 있는 경우를 식별하고, 부득이하게 원격 접속을 허용하는 경우 정보보호 책임자의 승인을 득하고 있는가?

ISMS-P 2.6.6 원격접근 통제 관련 위협M04A01

학습 인프라와 모델 서빙 환경에 외부에서 붙을 수 있다면 그 경로가 곧 공격 경로다. 편의를 위해 열어둔 원격 접속이 가장 흔한 침투 지점이다. 부득이하게 허용한다면 승인과 안전한 접속·인증 수단이 전제되어야 한다.

🎯 AI 특화 점검 포인트

✓학습 인프라·모델 서빙 환경에 대한 원격 접속을 최소화하고 승인 절차를 거치는가
✓원격 접속 시 가상사설망(VPN) 등 안전한 접속수단과 인증수단을 적용하는가

🛡️ 대응 방안

▸원격접근 승인·보호 AI 인프라에 대한 원격 접속을 최소화하고 책임자 승인, 가상사설망(VPN) 등 안전한 접속·인증 수단을 적용한다.
▸강화된 인증 적용 모델 배포 파이프라인, 학습 인프라, 벡터 DB 관리 콘솔 등 중요 시스템에 OTP 등 추가 인증수단을 적용한다.
▸최소 권한･역할 기반 접근 제어 에이전트와 도구에 필요한 최소 권한만 부여하고 역할에 따라 접근 범위를 제한한다.

👥 준수 사항 (역할별)

•내부망 이외에 위치한 AI 관리자 시스템에 대한 원격 접속을 원칙적으로 금지한다
•불가피한 경우 책임자 승인, 추가 인증, 접속 IP 제한, 중요정보 노출 최소화를 적용한다
•외부에서 AI 시스템에 접속할 때 승인된 VPN 등 안전한 경로만 사용한다

📋 증거자료 예시

▫원격접속 승인 내역
▫VPN 등 안전한 접속수단 적용 정책
▫원격 접속 로그

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.10 45 / 75

AI 서비스 내부 사용자 및 정보시스템에서 민감 데이터, 개인정보 유출 등을 통제하기 위한 인터넷접속 통제 절차가 수립되어 있는가?

ISMS-P 2.6.7 인터넷 접속 통제 관련 위협M01D03A02

직원이 외부 AI 서비스에 고객 데이터를 붙여넣는 것과 에이전트가 악성 문서를 읽는 것은 방향만 다른 같은 문제다. 에이전트는 사람과 달리 내용을 의심하지 않는다. 나가는 쪽과 들어오는 쪽 모두가 통제 대상이다.

🎯 AI 특화 점검 포인트

✓내부 사용자가 외부 생성형 AI 서비스에 민감정보·개인정보를 입력하지 못하도록 통제하는가
✓에이전트가 신뢰할 수 없는 외부 사이트에 접근해 악성 프롬프트를 참조하지 않도록 접근 대상을 제한하는가

🛡️ 대응 방안

▸내부정보 유출 통제 AI 코딩 도구·외부 LLM 서비스로 소스코드와 고객 데이터가 전송되지 않도록 단말·네트워크 단에서 통제한다.
▸에이전트 가드레일 설계 에이전트의 목표, 수행 범위, 금지 행위, 도구 사용 조건을 정의하여 의도하지 않은 작업을 방지한다.
▸개인정보 관련 감사 로깅 개인정보 처리 이력과 접근 기록을 남겨 사후 점검과 책임 추적이 가능하도록 한다.

👥 준수 사항 (역할별)

•내부 사용자가 외부 AI 서비스에 민감정보·개인정보를 입력하지 못하도록 통제한다
•에이전트가 접근 가능한 외부 데이터 소스를 사전 승인된 허용목록으로 제한한다
•외부 AI 서비스에 고객정보·내부 자료를 입력하지 않는다
•출처가 불분명한 문서나 링크를 AI에 그대로 읽히지 않는다

📋 증거자료 예시

▫외부 AI 서비스 접속 통제 정책
▫DLP 탐지·차단 로그
▫에이전트 접근 허용 데이터 소스 목록

이행 점검

04 · AI 접근통제 | 보호대책

REQ 4.11 46 / 75

외부와 연결된 API, 클라우드 서비스 등을 통해 AI 관련 시스템을 이용하는 경우 인증 및 통제 방안을 수립하여 이행하고 있는가?

ISMS-P 2.10.3 공개서버 보안 관련 위협A01M08S04

외부에 열린 추론 API는 인증이 없으면 누구나 대량 질의를 던질 수 있다. 반복 질의는 모델 복제와 비용 고갈로 곧장 이어진다. 인증과 요청 제한이 없으면 공개하는 순간부터 남용된다.

🎯 AI 특화 점검 포인트

✓외부에 공개된 AI 서비스 엔드포인트·API에 인증과 요청 빈도 제한을 적용했는가
✓추론 API에 대한 비정상적 호출 패턴·빈도를 제한하고 탐지하는가
✓외부 도구·MCP 서버 연동 시 인증과 통신 구간 보호를 적용하는가

🛡️ 대응 방안

▸요청 트래픽 제어 설정 요청 크기, 빈도, 동시성, 토큰 사용량을 제한하여 모델 DoS와 과도한 자원 사용을 방지한다.
▸강화된 인증 적용 모델 배포 파이프라인, 학습 인프라, 벡터 DB 관리 콘솔 등 중요 시스템에 OTP 등 추가 인증수단을 적용한다.
▸실시간 모니터링 모델 요청·응답과 이상 사용 패턴을 지속적으로 관찰하여 보안 위협을 조기에 탐지한다.

👥 준수 사항 (역할별)

•외부 공개 AI 엔드포인트·API에 인증과 요청 빈도 제한을 적용한다
•추론 API의 비정상 호출 패턴과 빈도를 탐지·차단한다
•클라우드 접근에 필요한 키를 안전한 장소에 보관하고 접근권한을 최소화한다
•공식 사이트와 정식 배포된 앱을 통해서만 AI 서비스에 접속한다

📋 증거자료 예시

▫공개 API 인증 설정 내역
▫요청 빈도·크기 제한(Rate limit) 설정
▫비정상 호출 탐지 및 차단 내역
▫클라우드 접근 키 보관·권한 현황

이행 점검

05 · 학습 데이터 품질 및 보안성 확보 | 보호대책

REQ 5.1 47 / 75

AI 서비스 개발, 변경 시 학습 데이터의 오염과 알고리즘의 임의 변경 등을 방지하기 위한 적절한 시스템 분리가 이루어지고 있는가?

ISMS-P 2.8.3 시험과 운영 환경 분리 관련 위협S01S02

시험 환경에서 만들어진 오염 데이터가 운영 모델로 넘어가면 되돌리기 어렵다. 모델 가중치나 하이퍼파라미터가 승인 없이 바뀌면 서비스 동작이 조용히 달라진다. 환경 분리는 이 전이를 구조적으로 막는 수단이다.

🎯 AI 특화 점검 포인트

✓학습·시험 환경과 운영 환경을 분리해 학습 데이터 오염이 운영 모델로 전이되지 않도록 통제하는가
✓모델 가중치·하이퍼파라미터의 임의 변경을 방지하는 접근통제와 승인 절차가 있는가

🛡️ 대응 방안

▸시험과 운영 환경 분리 학습·시험 환경과 운영 환경을 분리해 데이터 오염과 모델 임의 변경이 운영으로 전이되지 않도록 한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.
▸모델 및 프롬프트 버전 관리 모델, 시스템 프롬프트, 정책 프롬프트의 변경 이력을 관리하여 안정성과 추적성을 확보한다.

👥 준수 사항 (역할별)

•학습·시험 환경과 운영 환경을 분리해 데이터 오염과 모델 변경의 전이를 차단한다
•모델 가중치·하이퍼파라미터의 임의 변경을 막는 접근통제와 승인 절차를 적용한다

📋 증거자료 예시

▫학습·시험·운영 환경 구성도
▫환경별 접근 권한 분리 내역
▫모델 가중치·하이퍼파라미터 변경 승인 이력

이행 점검

05 · 학습 데이터 품질 및 보안성 확보 | 보호대책

REQ 5.2 48 / 75

시험 환경에서 AI 학습 데이터의 출처를 식별하고, 운영 데이터와 분리하여 데이터의 오염을 방지할 수 있는 환경을 구축하고 있는가?

ISMS-P 2.8.4 시험 데이터 보안 관련 위협S01D02D03

학습에 쓸 데이터의 출처를 모르면 오염된 데이터가 섞여도 알아챌 수 없다. 운영 데이터를 그대로 시험에 쓰면 개인정보가 통제 밖으로 나간다. 출처 식별과 환경 분리는 함께 가야 의미가 있다.

🎯 AI 특화 점검 포인트

✓시험 환경에서 사용하는 학습 데이터의 출처를 식별하고 운영 데이터와 분리해 관리하는가
✓운영 데이터를 시험 환경에 사용할 경우 개인정보 비식별화·마스킹을 적용하는가

🛡️ 대응 방안

▸시험과 운영 환경 분리 학습·시험 환경과 운영 환경을 분리해 데이터 오염과 모델 임의 변경이 운영으로 전이되지 않도록 한다.
▸학습 데이터 출처 기록 학습 데이터마다 출처·수집 근거·수집 목적·라이선스를 기록해 적법성과 추적성을 확보한다.
▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.

👥 준수 사항 (역할별)

•시험 환경에서 사용하는 학습 데이터의 출처를 식별하고 운영 데이터와 분리 관리한다
•운영 데이터를 시험에 사용할 경우 비식별화·마스킹을 적용한다
•학습데이터 오염 공격에 대한 보호대책을 마련한다
•학습·시험용으로 자료를 제공할 때 실제 고객 데이터가 포함되지 않았는지 확인한다

📋 증거자료 예시

▫시험 데이터 출처 목록
▫운영 데이터 비식별 처리 결과
▫시험·운영 환경 분리 확인 자료

이행 점검

05 · 학습 데이터 품질 및 보안성 확보 | 보호대책

REQ 5.3 49 / 75

AI 관련 시험 데이터(학습 데이터, 생성 데이터 등)에 대한 보관 및 삭제 기준을 수립하여 이행하고 있는가?

ISMS-P 2.8.4 시험 데이터 보안 관련 위협D03M01

학습 데이터와 생성 데이터는 목적을 다 쓰고도 그냥 남아 있는 경우가 많다. 원본과 비식별 데이터가 같은 곳에 있으면 비식별 처리의 의미가 없다. 언제까지 두고 어떻게 지울지 기준이 있어야 한다.

🎯 AI 특화 점검 포인트

✓학습 데이터, 생성 데이터, 프롬프트·응답 로그의 보관 기간과 삭제 기준을 수립했는가
✓원본 데이터와 비식별 데이터를 분리 저장하고 접근 권한을 구분해 통제하는가

🛡️ 대응 방안

▸시험 데이터 보관·삭제 기준 학습 데이터·생성 데이터의 보관 기간과 삭제 기준을 수립하고 원본과 비식별 데이터를 분리 저장한다.
▸개인정보 파기 절차 학습 데이터, 프롬프트 로그, 임베딩, 에이전트 메모리를 포함한 파기 대상과 절차를 정의하고 이력을 기록한다.
▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.

👥 준수 사항 (역할별)

•학습 데이터·생성 데이터·프롬프트 로그의 보관 기간과 삭제 기준을 수립한다
•원본 데이터와 비식별 데이터를 분리 저장하고 접근 권한을 구분한다
•AI에 업로드한 자료 중 보관이 불필요한 것은 제공자가 안내한 방법으로 삭제한다

📋 증거자료 예시

▫시험 데이터 보관·삭제 기준
▫삭제 수행 이력
▫원본·비식별 데이터 분리 저장 현황

이행 점검

05 · 학습 데이터 품질 및 보안성 확보 | 보호대책

REQ 5.4 50 / 75

AI 서비스를 클라우드로 운영할 경우 클라우드 서비스 형태(IaaS, PaaS, SaaS 등)에 따른 책임과 역할을 정의하고 이를 계약서(SLA 등)에 반영하고 있는가?

ISMS-P 2.10.2 클라우드 보안 관련 위협S03S04M04

관리형 AI 서비스를 쓰면 어디까지가 우리 책임인지 경계가 흐려진다. 입력 데이터가 학습에 쓰이는지, 로그가 얼마나 남는지는 계약으로만 확인된다. 계약서에 명시하지 않으면 사고가 났을 때 다툼이 된다.

🎯 AI 특화 점검 포인트

✓클라우드 서비스 형태(IaaS/PaaS/SaaS)와 모델 API 이용 형태에 따른 책임 공유 범위를 계약(SLA)에 반영했는가
✓관리형 AI 서비스 이용 시 데이터 보관 위치, 학습 활용 여부, 로그 보존 기간을 계약으로 확인했는가

🛡️ 대응 방안

▸클라우드 책임 범위 계약 반영 클라우드·모델 API 이용 형태에 따른 책임 공유 범위, 데이터 보관 위치, 학습 활용 여부를 계약(SLA)에 명시한다.
▸외부자 현황 식별·관리 모델 공급자, 라벨링 위탁사, 플러그인·MCP 공급자 등 AI 관련 외부자를 목록화하고 최신 상태로 유지한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.

👥 준수 사항 (역할별)

•클라우드·모델 API 이용 형태에 따른 책임 공유 범위를 계약(SLA)에 반영한다
•데이터 보관 위치, 학습 활용 여부, 로그 보존 기간을 계약으로 확인한다
•동일 플랫폼을 외부기관과 공유하는 경우 네트워크 접근통제를 실시한다

📋 증거자료 예시

▫클라우드 계약서·SLA(책임 공유 범위 명시)
▫데이터 보관 위치·학습 활용 여부 확인 자료
▫클라우드 정보처리 시스템 중요도 평가 결과

이행 점검

05 · 학습 데이터 품질 및 보안성 확보 | 보호대책

REQ 5.5 51 / 75

AI 서비스에서 사용하는 확장 프로그램, 오픈소스 등에 대한 버전 관리와 패치 적용 기준을 수립하여 이행하고 있는가?

ISMS-P 2.10.8 패치관리 관련 위협S03S04

추론 엔진과 서빙 프레임워크는 업데이트가 잦고 취약점도 자주 공개된다. 오픈소스 모델과 라이브러리는 담당자가 챙기지 않으면 그대로 방치된다. 버전 목록이 없으면 취약점 공지가 떠도 우리가 해당되는지 알 수 없다.

🎯 AI 특화 점검 포인트

✓추론 엔진·서빙 프레임워크·에이전트 확장요소의 버전을 목록화하고 패치 기준을 수립했는가
✓보안 패치가 적용되지 않은 구버전 추론 엔진을 사용하고 있지 않은가
✓오픈소스 모델·라이브러리의 신규 취약점 공개를 모니터링하는 경로가 있는가

🛡️ 대응 방안

▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.
▸외부 구성요소 출처 및 무결성 검증 외부 모델, 라이브러리, 추론 엔진 등의 출처와 변조 여부를 확인하여 신뢰할 수 있는 구성요소만 사용한다.

👥 준수 사항 (역할별)

•추론 엔진·서빙 프레임워크·확장요소의 버전을 목록화하고 패치 기준을 수립한다
•인터넷 직접 접속을 통한 패치를 제한하는 등 안전한 패치 경로를 정한다
•오픈소스 모델·라이브러리의 신규 취약점 공개를 모니터링한다
•사용 중인 AI 확장 프로그램의 업데이트 알림을 활성화하고 사용하지 않는 것은 제거한다

📋 증거자료 예시

▫추론 엔진·라이브러리·확장요소 버전 목록
▫패치 적용 이력
▫취약점 공지 모니터링 기록

이행 점검

05 · 학습 데이터 품질 및 보안성 확보 | 보호대책

REQ 5.6 52 / 75

AI 관련 최신 취약점을 확인하기 위한 방법을 마련하고 주기적으로 취약점 점검을 수행(반기 1회 이상)하여 그 결과를 경영진에게 보고하고 있는가?

ISMS-P 2.11.2 취약점 점검 및 조치 관련 위협S03S04M06H01

AI 취약점은 일반 스캐너로는 나오지 않고 프롬프트를 넣어봐야 드러난다. 모델 파일 안의 악성 코드나 의존성 취약점도 별도의 도구가 필요하다. 점검 방법을 정해두지 않으면 반기 점검이 형식적인 절차가 된다.

🎯 AI 특화 점검 포인트

✓AI 고유 취약점(탈옥, 프롬프트 인젝션, 모델 스캐닝)에 대한 점검 방법을 정의하고 반기 1회 이상 수행하는가
✓모델 파일 악성코드 스캔, 의존성 취약점 점검을 점검 항목에 포함했는가
✓점검 결과를 경영진에 보고하고 조치 이행을 추적하는가

🛡️ 대응 방안

▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.
▸자산 목록화 및 정기적 보안 업데이트 AI 시스템 구성요소를 식별･관리하고 취약점 점검과 보안 업데이트를 주기적으로 수행한다.
▸관리체계 점검·개선 독립성과 전문성을 갖춘 인력이 정기적으로 점검하고 결과를 경영진에 보고해 개선으로 연결한다.

👥 준수 사항 (역할별)

•탈옥·프롬프트 인젝션·모델 스캐닝 등 AI 고유 점검 방법을 정의해 반기 1회 이상 수행한다
•모델 파일 악성코드 스캔과 의존성 취약점 점검을 점검 항목에 포함한다
•점검 결과를 경영진에 보고하고 조치 이행을 추적한다

📋 증거자료 예시

▫취약점 점검 계획서 및 결과 보고서
▫모델 파일 스캔·의존성 점검 결과
▫조치 이행 내역
▫경영진 보고 문서

이행 점검

06 · 자동화된 결과 검증 및 신뢰성 확보 | 보호대책

REQ 6.1 53 / 75

AI 서비스에서 요구되는 성능과 장애 관리를 위해 지속적으로 모니터링 할 수 있는 방법과 절차를 수립하여 이행하고 있는가?

ISMS-P 2.9.2 성능 및 장애관리 관련 위협M08A03

AI 서비스의 장애는 서버가 죽는 형태가 아니라 토큰과 비용이 고갈되는 형태로 온다. 에이전트가 무한 루프에 빠지면 몇 분 만에 큰 비용이 발생한다. 무엇을 볼지와 언제 멈출지가 미리 정해져 있어야 한다.

🎯 AI 특화 점검 포인트

✓토큰 사용량, 응답 지연, 도구 호출 횟수 등 AI 고유 성능 지표를 모니터링하는가
✓에이전트 무한 루프·과도한 API 호출을 탐지하고 자동 중단하는 기능이 있는가
✓에이전트 작업 실행 시간과 동시 실행 수에 제한을 설정했는가

🛡️ 대응 방안

▸요청 트래픽 제어 설정 요청 크기, 빈도, 동시성, 토큰 사용량을 제한하여 모델 DoS와 과도한 자원 사용을 방지한다.
▸에이전트 실시간 모니터링 에이전트의 도구 호출, 작업 흐름을 지속적으로 추적하여 권한 오남용과 의도하지 않은 동작을 조기에 탐지한다.
▸중단 가능성 확보 에이전트 폭주 등 자원 과도 소모 시 즉각 권한·세션을 강제 종료하는 비상 정지(Kill-Switch)와 실행 결과를 이전 상태로 되돌리는 롤백 절차를 확보한다.

👥 준수 사항 (역할별)

•토큰 사용량·응답 지연·도구 호출 횟수 등 AI 고유 지표를 모니터링 대상에 포함한다
•에이전트 작업 실행 시간, 최대 실행 횟수, 동시 실행 수에 제한을 설정한다
•무한 루프·과다 호출을 탐지해 자동 중단하는 기능을 구현한다
•대량 요청이나 반복 작업이 필요한 경우 사전에 담당 부서와 협의한다

📋 증거자료 예시

▫AI 서비스 모니터링 대시보드 화면
▫토큰·비용·실행 시간 임계치 설정 내역
▫에이전트 실행 제한 설정
▫장애 대응 이력

이행 점검

06 · 자동화된 결과 검증 및 신뢰성 확보 | 보호대책

REQ 6.2 54 / 75

AI 서비스 품질에 대한 성능과 제한 기준을 이용자가 알 수 있도록 고지하고, 내부적으로 서비스 품질을 보장하기 위한 구체적인 지표를 설정하여 관리하고 있는가?

ISMS-P 2.9.2 성능 및 장애관리 관련 위협M05

AI는 틀린 답을 확신 있게 말하는 특성이 있고, 이는 완전히 없앨 수 없다. 이용자가 이를 모르면 답변을 그대로 믿고 판단에 사용한다. 한계를 알리는 것 자체가 통제이며, 내부적으로는 지표로 관리해야 한다.

🎯 AI 특화 점검 포인트

✓AI 답변에 오류나 환각이 포함될 수 있음을 이용자에게 명확히 고지하는가
✓모델의 성능 한계와 적용 범위(사용 금지 용도 포함)를 이용자가 알 수 있도록 안내하는가
✓환각률, 거부율, 정확도 등 품질 지표를 내부적으로 설정해 관리하는가

🛡️ 대응 방안

▸서비스 품질 지표 관리 환각률, 거부율, 정확도 등 AI 서비스 품질 지표를 설정해 관리하고 성능·제한 기준을 이용자에게 고지한다.
▸AI 이용 고지·표시 AI가 응답한다는 사실과 개인정보 이용 범위·목적, 프롬프트의 학습 활용 여부를 이용자에게 고지한다.
▸데이터 품질 관리 학습･활용 데이터의 정확성, 대표성, 최신성을 확보하여 부정확한 모델 동작을 예방한다.

👥 준수 사항 (역할별)

•환각률·거부율·정확도 등 서비스 품질 지표를 설정해 관리한다
•AI 답변에 오류가 포함될 수 있음과 서비스의 성능·제한 기준을 이용자에게 고지한다
•AI 답변에 오류가 포함될 수 있음을 전제로 중요한 판단에는 근거를 재확인한다

📋 증거자료 예시

▫AI 한계·오류 가능성 이용자 고지 화면
▫품질 지표(환각률·거부율 등) 관리 대장
▫서비스 성능·제한 기준 안내문

이행 점검

06 · 자동화된 결과 검증 및 신뢰성 확보 | 보호대책

REQ 6.3 55 / 75

AI 서비스의 결과물에 대해 중요정보 노출, 데이터 편향 등 위험 요소가 발생하는지 주기적으로 점검하기 위한 방법과 절차를 수립하여 이행하고 있는가?

ISMS-P 2.9.5 로그 및 접속기록 점검 관련 위협D01M05M07M01

모델은 학습할 때 본 정보나 시스템 프롬프트를 응답에 흘릴 수 있다. 특정 집단에 대한 편향은 사용자가 항의하기 전까지 드러나지 않는다. 출력을 정기적으로 들여다보는 절차가 없으면 문제를 사후에야 알게 된다.

🎯 AI 특화 점검 포인트

✓모델 출력에 개인정보·시스템 프롬프트·내부 정보가 포함되는지 주기적으로 점검하는가
✓성별·인종·연령 등에 따른 응답 편향을 통계적으로 평가하는 절차가 있는가
✓중요한 답변에 대해 출처 확인·근거 제시 등 검증 절차를 수행하는가
✓모델 출력을 시스템에 반영하기 전 필터링·이스케이핑 등 안전 검증을 수행하는가

🛡️ 대응 방안

▸결과물 정기 점검 모델 출력의 민감정보 노출과 집단별 응답 편향을 주기적으로 점검하고 조치 결과를 기록한다.
▸모델 출력 보안 처리 모델 출력이 웹 화면, 파일, 코드, 외부 시스템 등에서 안전하지 않게 해석되거나 실행되지 않도록 사전 검증과 이스케이프 처리를 적용한다.
▸데이터 품질 관리 학습･활용 데이터의 정확성, 대표성, 최신성을 확보하여 부정확한 모델 동작을 예방한다.
▸가드레일 도입 모델 입력･출력 과정에서 유해 요청, 정책 위반, 부적절한 응답을 제한하는 보호 장치를 적용한다.

👥 준수 사항 (역할별)

•모델 출력에 개인정보·시스템 프롬프트·내부 정보가 포함되는지 주기적으로 점검한다
•성별·인종·연령 등 집단별 응답 편향을 통계적으로 평가한다
•모델 출력을 시스템에 반영하기 전 필터링·이스케이핑 등 안전 검증을 수행한다
•AI 생성물의 정확성·윤리성·적합성을 검토한 뒤 활용한다

📋 증거자료 예시

▫결과물 점검 계획 및 점검 결과서
▫집단별 응답 편향 평가 보고서
▫민감정보 노출 점검 내역 및 조치 결과

이행 점검

07 · AI 시스템 로그 및 모니터링 | 보호대책

REQ 7.1 56 / 75

AI 생애주기 및 운영관리 환경 내 로그 관리 기준과 절차를 수립하고, 필요한 로그를 생성하여 관리하고 있는가?

ISMS-P 2.9.4 로그 및 접속기록 관리 관련 위협A01D03H02

AI 서비스에서 남겨야 할 것은 접속 기록만이 아니라 프롬프트, 응답, 도구 호출 이력이다. 에이전트가 왜 그 도구를 골랐는지 남지 않으면 사후 조사가 불가능하다. 다만 프롬프트에는 개인정보가 섞이므로 원문 그대로 남겨서는 안 된다.

🎯 AI 특화 점검 포인트

✓프롬프트·응답, 도구 호출 이력, 모델·프롬프트 버전, 세션 ID를 로그로 남기는가
✓에이전트의 도구 선택 사유와 다단계 추론 과정을 기록해 사후 감사가 가능한가
✓개인정보가 포함된 프롬프트는 원문 대신 해시·마스킹 형태로 기록하는가

🛡️ 대응 방안

▸AI 로그 관리 기준 수립 프롬프트·응답, 도구 호출 이력, 모델·프롬프트 버전 등 AI 고유 로그의 생성·보관 기준을 수립한다.
▸개인정보 관련 감사 로깅 개인정보 처리 이력과 접근 기록을 남겨 사후 점검과 책임 추적이 가능하도록 한다.
▸에이전트 실시간 모니터링 에이전트의 도구 호출, 작업 흐름을 지속적으로 추적하여 권한 오남용과 의도하지 않은 동작을 조기에 탐지한다.

👥 준수 사항 (역할별)

•프롬프트·응답, 도구 호출 이력, 모델·프롬프트 버전, 세션 ID를 로그로 남긴다
•에이전트의 도구 선택 사유와 다단계 추론 과정을 기록해 사후 감사가 가능하게 한다
•개인정보가 포함된 프롬프트는 원문 대신 해시·마스킹 형태로 기록한다
•프롬프트와 대화 내역이 감사 목적으로 기록될 수 있음을 인지하고 업무 목적으로만 사용한다

📋 증거자료 예시

▫AI 로그 관리 기준 및 로그 항목 정의서
▫프롬프트·도구 호출 로그 샘플(마스킹 적용)
▫로그 보존 기간 설정 내역

이행 점검

07 · AI 시스템 로그 및 모니터링 | 보호대책

REQ 7.2 57 / 75

AI 서비스에서 발생할 수 있는 이상징후 인지를 위해 로그 검토 대상, 방법, 주기 등을 포함한 로그 검토 및 모니터링 절차를 수립하고 이행하고 있는가?

ISMS-P 2.9.5 로그 및 접속기록 점검 관련 위협M06M01A02

탈옥 시도는 대개 여러 번의 실패한 프롬프트로 나타난다. 학습 데이터를 캐내려는 반복 질의도 패턴으로 보인다. 무엇을 이상으로 볼지 정하지 않으면 로그는 쌓이기만 하고 읽히지 않는다.

🎯 AI 특화 점검 포인트

✓탈옥 시도, 반복적 데이터 추출 질의, 시스템 프롬프트 요청 등 이상 프롬프트 패턴을 검토 대상으로 정의했는가
✓로그 검토 주기와 담당자, 임계치 기반 알림 기준을 수립했는가

🛡️ 대응 방안

▸이상징후 검토 기준 수립 탈옥 시도, 반복적 데이터 추출 질의 등 AI 고유 이상 패턴의 검토 대상·방법·주기와 임계치를 정의한다.
▸실시간 모니터링 모델 요청·응답과 이상 사용 패턴을 지속적으로 관찰하여 보안 위협을 조기에 탐지한다.
▸가드레일 도입 모델 입력･출력 과정에서 유해 요청, 정책 위반, 부적절한 응답을 제한하는 보호 장치를 적용한다.

👥 준수 사항 (역할별)

•탈옥 시도, 반복적 데이터 추출 질의, 프롬프트 유출 요청을 검토 대상으로 정의한다
•로그 검토 주기와 담당자, 임계치 기반 알림 기준을 수립한다

📋 증거자료 예시

▫로그 검토 대상·방법·주기 정의서
▫로그 검토 수행 기록
▫이상징후 알림 임계치 설정
▫이상징후 조치 내역

이행 점검

07 · AI 시스템 로그 및 모니터링 | 보호대책

REQ 7.3 58 / 75

AI 서비스에 대한 비정상적 접근 등을 차단하기 위해 필요한 보안시스템을 설치하여 운영하고 있는가?

ISMS-P 2.10.1 보안시스템 운영 관련 위협M06M07M08

AI 서비스에서 방화벽에 해당하는 것이 입력 필터와 출력 검증, 곧 가드레일이다. 이 장치가 없으면 모델의 판단이 그대로 이용자에게 전달된다. 가드레일도 우회되므로 주기적으로 뚫어보고 정책을 갱신해야 한다.

🎯 AI 특화 점검 포인트

✓입력 프롬프트 필터링과 출력 검증을 수행하는 가드레일을 도입·운영하는가
✓가드레일이 우회되는지 주기적으로 검증하고 정책을 갱신하는가
✓정책 위반·유해 콘텐츠가 사용자에게 전달되기 전에 차단되는가

🛡️ 대응 방안

▸가드레일 도입 모델 입력･출력 과정에서 유해 요청, 정책 위반, 부적절한 응답을 제한하는 보호 장치를 적용한다.
▸모델 출력 보안 처리 모델 출력이 웹 화면, 파일, 코드, 외부 시스템 등에서 안전하지 않게 해석되거나 실행되지 않도록 사전 검증과 이스케이프 처리를 적용한다.
▸요청 트래픽 제어 설정 요청 크기, 빈도, 동시성, 토큰 사용량을 제한하여 모델 DoS와 과도한 자원 사용을 방지한다.
▸주기적인 레드팀 훈련 프롬프트 인젝션, 도구 오남용, 권한 우회 등 취약성을 주기적으로 점검한다.

👥 준수 사항 (역할별)

•입력 프롬프트 필터링과 출력 검증을 수행하는 가드레일을 도입해 운영한다
•정책 위반·유해 콘텐츠가 이용자에게 전달되기 전에 차단되도록 구성한다
•챗봇 시스템 해킹 방지를 위한 정보보호시스템을 설치·운영하고 악성코드 대책을 마련한다
•가드레일이 차단한 응답을 우회하려 시도하지 않는다

📋 증거자료 예시

▫가드레일 정책 설정 내역
▫유해·정책 위반 응답 차단 로그
▫가드레일 우회 시험 결과
▫보안시스템 운영 현황

이행 점검

07 · AI 시스템 로그 및 모니터링 | 보호대책

REQ 7.4 59 / 75

AI 모듈 오용, 비인가 접근, 자동화 공격 등 이상행위를 탐지할 수 있도록 AI 관련 시스템에서 발생하는 각종 로그 등을 수집하여 분석 및 모니터링하고 있는가?

ISMS-P 2.11.3 이상행위 분석 및 모니터링 관련 위협A02A03M08H01H02

에이전트 하이재킹은 정상 요청과 겉모습이 같아서 단건으로는 구분되지 않는다. 도구 호출 패턴을 봐야 이상이 드러난다. AI를 악용한 자동화 공격도 기존 탐지 규칙에는 잡히지 않는다.

🎯 AI 특화 점검 포인트

✓에이전트 하이재킹, 도구 오용, 비인가 도구 호출 등 이상행위를 탐지하는가
✓AI를 악용한 공격 의심 행위(자동화된 취약점 탐색 등)에 대한 이상징후 탐지·경보 절차가 있는가
✓모델이 표면적으로만 지침을 준수하고 실제로는 통제를 벗어나려 하는 징후를 모니터링하는가

🛡️ 대응 방안

▸에이전트 실시간 모니터링 에이전트의 도구 호출, 작업 흐름을 지속적으로 추적하여 권한 오남용과 의도하지 않은 동작을 조기에 탐지한다.
▸이상징후 검토 기준 수립 탈옥 시도, 반복적 데이터 추출 질의 등 AI 고유 이상 패턴의 검토 대상·방법·주기와 임계치를 정의한다.
▸실시간 모니터링 모델 요청·응답과 이상 사용 패턴을 지속적으로 관찰하여 보안 위협을 조기에 탐지한다.

👥 준수 사항 (역할별)

•에이전트 하이재킹·도구 오용·비인가 도구 호출 등 이상행위 탐지 규칙을 수립한다
•AI를 악용한 공격 의심 행위에 대한 이상징후 탐지·경보·분석 절차를 마련한다
•모델이 표면적으로만 지침을 준수하는 징후를 모니터링한다
•평소와 다른 AI 동작이나 의심스러운 계정 활동을 발견하면 즉시 신고한다

📋 증거자료 예시

▫이상행위 탐지 규칙 목록
▫경보 발생 내역
▫이상행위 분석·조치 보고서

이행 점검

08 · AI 시스템 백업 및 복구 | 보호대책

REQ 8.1 60 / 75

AI 서비스 운영 과정에서 발생할 수 있는 사고를 사전에 예방하고, 사고 발생 시 신속하고 효과적으로 대응하기 위한 대내외 체계와 절차를 수립하고 있는가?

ISMS-P 2.11.1 사고 예방 및 대응체계 구축 관련 위협H02A03S02

AI 사고는 서버가 멈추는 형태가 아니라 모델이 잘못된 답을 대량으로 내보내거나 에이전트가 폭주하는 형태로 온다. 이런 유형이 사고 정의에 없으면 대응 절차도 발동되지 않는다. 즉시 멈추고 되돌릴 수단을 미리 만들어두어야 한다.

🎯 AI 특화 점검 포인트

✓AI 고유 사고 유형(모델 오작동, 대규모 환각, 개인정보 노출, 에이전트 폭주)을 사고 유형에 정의했는가
✓에이전트 폭주 시 권한·세션을 즉시 강제 종료하는 비상 정지(Kill-Switch) 절차가 있는가
✓모델·프롬프트·벡터 DB를 사고 이전 상태로 복구할 수 있는 백업과 롤백 체계를 갖추었는가
✓AI 사고 발생 시 대외 통지 대상과 절차(감독기관, 이용자)를 정의했는가

🛡️ 대응 방안

▸AI 사고 대응 절차 수립 모델 오작동, 대규모 환각, 개인정보 노출, 에이전트 폭주를 사고 유형에 정의하고 대내외 대응 절차를 수립한다.
▸중단 가능성 확보 에이전트 폭주 등 자원 과도 소모 시 즉각 권한·세션을 강제 종료하는 비상 정지(Kill-Switch)와 실행 결과를 이전 상태로 되돌리는 롤백 절차를 확보한다.
▸백업 및 복구 체계 모델·프롬프트·학습 데이터·벡터 DB의 백업과 복구 기준점을 확보하고 변경 통제 절차와 연계한다.

👥 준수 사항 (역할별)

•모델 오작동·대규모 환각·개인정보 노출·에이전트 폭주를 사고 유형으로 정의한다
•권한과 세션을 즉시 강제 종료하는 비상 정지 절차를 마련한다
•모델·프롬프트·벡터 DB의 백업 및 복구 절차를 수립해 이행한다
•AI 서비스 관련 침해사고 대응 절차를 수립하고 훈련한다

📋 증거자료 예시

▫AI 사고 유형이 포함된 사고 대응 절차서
▫비상 정지(Kill-Switch) 절차 및 시험 결과
▫백업·복구 절차 및 복구 시험 결과
▫사고 대응 훈련 결과 보고서

이행 점검

09 · 개인정보 AI 처리 최소화 및 가명처리 적용 | 개인정보

REQ 9.1 61 / 75

AI 서비스에서 민감정보 및 고유식별정보가 추론되지 않도록 조치하고 있는가?

ISMS-P 3.1.4 민감정보 및 고유식별정보의 처리 제한 관련 위협D03M01M02

모델은 학습한 내용을 기억했다가 특정 질문에 되뱉을 수 있다. 개별 항목은 민감하지 않아도 조합하면 민감정보가 추론되는 경우도 있다. 반복 질의로 캐내려는 시도를 차단하는 것이 실질적인 통제다.

🎯 AI 특화 점검 포인트

✓모델이 학습 데이터로부터 민감정보·고유식별정보를 복원하거나 추론하지 못하도록 조치했는가
✓반복적·유사한 악성 입력을 통한 데이터 추출 시도를 차단하는가
✓RAG 검색 결과에 포함된 민감정보가 모델 출력에 노출되지 않도록 관리하는가

🛡️ 대응 방안

▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.
▸가드레일 도입 모델 입력･출력 과정에서 유해 요청, 정책 위반, 부적절한 응답을 제한하는 보호 장치를 적용한다.
▸RAG 사용자별 접근 권한 설정 사용자 권한에 따라 검색 가능한 문서와 지식 범위를 제한하여 민감정보 노출을 방지한다.

👥 준수 사항 (역할별)

•모델이 학습 데이터의 민감정보·고유식별정보를 복원하지 못하도록 조치한다
•반복적·유사한 악성 입력을 통한 데이터 추출 시도를 차단한다
•RAG 검색 결과의 민감정보가 모델 출력에 노출되지 않도록 관리한다
•대화창에 주민등록번호·건강·신용 정보 등 민감한 개인정보를 입력하지 않는다

📋 증거자료 예시

▫민감정보·고유식별정보 추론 방지 조치 내역
▫출력 단계 차단·마스킹 설정
▫반복 질의 차단 로그

이행 점검

09 · 개인정보 AI 처리 최소화 및 가명처리 적용 | 개인정보

REQ 9.2 62 / 75

AI 서비스를 위해 공개된 개인정보를 수집하는 경우 정당한 이익과 상당한 관련성 및 합리성이 인정되는 범위 내에서만 수집･이용하고 있는가?

ISMS-P 3.1.5 개인정보 간접수집 관련 위협D03S01

웹에 공개된 개인정보라도 마음대로 학습에 쓸 수 있는 것은 아니다. 정당한 이익이 인정되는 범위인지 판단하고 그 근거를 남겨야 한다. 감독기관이 별도 안내서를 낸 만큼 기준이 구체적으로 제시되어 있다.

🎯 AI 특화 점검 포인트

✓공개된 개인정보를 학습에 활용할 때 「인공지능(AI) 개발·서비스를 위한 공개된 개인정보 처리 안내서」를 준수하는가
✓웹 크롤링 수집 데이터의 수집 근거·범위·정당한 이익 판단 결과를 기록·보관하는가

🛡️ 대응 방안

▸공개된 개인정보 처리 기준 공개된 개인정보 수집 시 정당한 이익 요건을 검토하고 감독기관 안내서에 따라 근거를 기록한다.
▸학습 데이터 출처 기록 학습 데이터마다 출처·수집 근거·수집 목적·라이선스를 기록해 적법성과 추적성을 확보한다.
▸개인정보 보호 및 법규 준수 데이터 수집·처리·저장·활용 과정에서 개인정보가 적법하게 보호되도록 관리한다.

👥 준수 사항 (역할별)

•공개된 개인정보 수집 시 정당한 이익 요건을 검토하고 판단 근거를 기록한다
•감독기관이 발간한 공개된 개인정보 처리 안내서를 준수한다
•인터넷에서 수집한 개인정보를 임의로 AI 학습이나 분석에 사용하지 않는다

📋 증거자료 예시

▫공개된 개인정보 수집 시 정당한 이익 검토서
▫수집 근거·범위 기록
▫공개된 개인정보 처리 안내서 준수 확인 자료

이행 점검

09 · 개인정보 AI 처리 최소화 및 가명처리 적용 | 개인정보

REQ 9.3 63 / 75

비정형 데이터(영상정보, 비디오, 음성 등) 및 멀티모달 데이터에 대한 재식별 금지 등 가명정보 처리 기준을 수립하여 이행하고 있는가?

ISMS-P 3.2.5 가명정보 처리 관련 위협D03M02

얼굴이나 음성 같은 비정형 데이터는 마스킹만으로 재식별을 막기 어렵다. 멀티모달 데이터는 여러 정보가 결합되어 식별 위험이 더 커진다. 기준 없이 처리하면 가명처리를 했다고 보기 어렵다.

🎯 AI 특화 점검 포인트

✓영상·음성 등 비정형 및 멀티모달 데이터에 대한 가명처리 기준과 재식별 금지 원칙을 수립했는가
✓비정형 개인정보는 개체명 인식 모델 등을 활용해 식별·마스킹하는가
✓가명정보와 추가 정보를 분리 보관하고 접근권한을 분리했는가

🛡️ 대응 방안

▸가명처리 기준 수립 비정형·멀티모달 데이터의 가명처리 방법과 재식별 금지 원칙을 정하고 추가 정보를 분리 보관한다.
▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.
▸개인정보 관련 감사 로깅 개인정보 처리 이력과 접근 기록을 남겨 사후 점검과 책임 추적이 가능하도록 한다.

👥 준수 사항 (역할별)

•영상·음성 등 비정형 및 멀티모달 데이터의 가명처리 기준과 재식별 금지 원칙을 수립한다
•비정형 개인정보는 개체명 인식 모델 등으로 식별해 마스킹한다
•가명정보와 추가 정보를 분리 보관하고 접근권한을 분리한다
•얼굴·음성이 포함된 영상·녹음 파일을 AI에 올릴 때 사전 승인 여부를 확인한다

📋 증거자료 예시

▫비정형·멀티모달 데이터 가명처리 기준
▫가명처리 수행 결과 및 적정성 검토 자료
▫추가 정보 분리 보관 현황
▫가명정보 처리 기록

이행 점검

09 · 개인정보 AI 처리 최소화 및 가명처리 적용 | 개인정보

REQ 9.4 64 / 75

AI 서비스에서 수집 및 이용하는 개인정보의 보유기간 및 파기와 관련된 내부 정책을 수립하고 있는가?

ISMS-P 3.4.1 개인정보 파기 관련 위협D03M01

AI 서비스는 학습 데이터, 프롬프트 로그, 벡터 DB, 에이전트 메모리 등 개인정보가 남는 곳이 여러 군데다. 한 곳만 지우면 나머지에 그대로 남는다. 어디에 얼마나 두고 어떻게 지울지 정책이 먼저 있어야 한다.

🎯 AI 특화 점검 포인트

✓학습 데이터, 프롬프트·응답 로그, 벡터 DB에 저장된 개인정보의 보유기간과 파기 기준을 정책에 명시했는가
✓에이전트 장기 메모리에 저장된 개인정보의 삭제·갱신 절차가 있는가

🛡️ 대응 방안

▸개인정보 파기 절차 학습 데이터, 프롬프트 로그, 임베딩, 에이전트 메모리를 포함한 파기 대상과 절차를 정의하고 이력을 기록한다.
▸시험 데이터 보관·삭제 기준 학습 데이터·생성 데이터의 보관 기간과 삭제 기준을 수립하고 원본과 비식별 데이터를 분리 저장한다.
▸AI 로그 관리 기준 수립 프롬프트·응답, 도구 호출 이력, 모델·프롬프트 버전 등 AI 고유 로그의 생성·보관 기준을 수립한다.

👥 준수 사항 (역할별)

•학습 데이터·프롬프트 로그·벡터 DB·에이전트 메모리별 보유기간과 파기 기준을 정책에 명시한다
•서비스 제공자의 데이터 보관·삭제 정책을 확인하고 계약에 반영한다
•보유 기간이 지난 자료를 AI 서비스에 남겨두지 않고 삭제한다

📋 증거자료 예시

▫개인정보 보유기간·파기 기준(저장 위치별)
▫AI 관련 개인정보 저장 위치 목록

이행 점검

09 · 개인정보 AI 처리 최소화 및 가명처리 적용 | 개인정보

REQ 9.5 65 / 75

AI 학습 데이터에 포함된 개인정보가 처리 목적을 달성할 경우 지체없이 파기하고 있는가?

ISMS-P 3.4.1 개인정보 파기 관련 위협D03M01M02

학습 데이터를 지워도 이미 학습을 마친 모델 안에는 흔적이 남는다. 벡터 DB에서도 원문만 지우고 임베딩을 놔두면 복원될 가능성이 있다. 파생된 것까지 함께 처리해야 파기가 완결된다.

🎯 AI 특화 점검 포인트

✓목적 달성 후 학습 데이터를 파기하되, 이미 학습된 모델에 잔존하는 정보에 대한 조치(머신 언러닝, 재학습 등)를 검토했는가
✓벡터 DB·임베딩 저장소에서 해당 개인정보가 파생된 벡터까지 삭제하는가
✓파기 이력을 기록·보관하는가

🛡️ 대응 방안

▸개인정보 파기 절차 학습 데이터, 프롬프트 로그, 임베딩, 에이전트 메모리를 포함한 파기 대상과 절차를 정의하고 이력을 기록한다.
▸모델 잔존 정보 조치 학습이 완료된 모델에 남은 개인정보에 대해 재학습, 머신 언러닝 등 조치 방안을 검토·적용한다.
▸에이전트 메모리 관리 신뢰할 수 없는 입력이나 일시적인 작업 지시가 장기 메모리에 저장되지 않도록 저장 기준, 검증 절차, 삭제･갱신 절차를 관리한다.

👥 준수 사항 (역할별)

•목적 달성 후 학습 데이터를 파기하고 파기 이력을 기록한다
•이미 학습된 모델의 잔존 정보에 대해 재학습·머신 언러닝 등 조치를 검토한다
•벡터 DB에서 원문과 함께 파생 임베딩까지 삭제되었는지 확인한다
•개인정보가 포함된 자료를 AI에 제공한 경우 담당 부서에 알려 파기 대상에 포함시킨다

📋 증거자료 예시

▫학습 데이터 파기 수행 기록
▫벡터 DB 파생 임베딩 삭제 확인 자료
▫모델 잔존 정보 조치 검토서

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.1 66 / 75

학습 데이터 수집/이용 시 출처를 검토･관리하여 적법성을 확보하고 있는가?

ISMS-P 3.1.1 개인정보 수집·이용 관련 위협S01D02D03

🎯 AI 특화 점검 포인트

✓수집된 학습 데이터마다 출처·수집 근거·수집 목적·라이선스를 기록하는가
✓합성데이터 생성·활용 시 관련 지침을 준수하는가

🛡️ 대응 방안

▸학습 데이터 출처 기록 학습 데이터마다 출처·수집 근거·수집 목적·라이선스를 기록해 적법성과 추적성을 확보한다.
▸개인정보 보호 및 법규 준수 데이터 수집·처리·저장·활용 과정에서 개인정보가 적법하게 보호되도록 관리한다.
▸데이터 품질 관리 학습･활용 데이터의 정확성, 대표성, 최신성을 확보하여 부정확한 모델 동작을 예방한다.

👥 준수 사항 (역할별)

•학습 데이터마다 출처·수집 근거·수집 목적·라이선스를 기록한다
•합성데이터 생성·활용 시 관련 지침을 준수한다
•출처가 불명확한 자료를 AI 학습용으로 제출하지 않는다

📋 증거자료 예시

▫학습 데이터 출처·수집 근거·라이선스 대장

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.2 67 / 75

AI 학습을 위해 개인정보 처리 동의를 받는 경우 적법한 방법에 따라 개인정보 이용 범위와 목적 등을 구체적으로 정보주체에게 고지하고 있는가?

ISMS-P 3.1.1 개인정보 수집·이용 관련 위협D03

서비스 제공을 위한 동의와 AI 학습 이용을 위한 동의는 목적이 다르다. 뭉뚱그려 받으면 동의를 받았다고 보기 어렵다. 학습 이용을 거부하더라도 서비스는 이용할 수 있어야 한다.

🎯 AI 특화 점검 포인트

✓AI 학습·모델 개선 목적의 개인정보 이용을 별도 항목으로 구분해 동의를 받는가
✓동의 거부 시에도 서비스 이용이 가능하도록 필수·선택 동의를 구분했는가

🛡️ 대응 방안

▸동의 획득 절차 정비 AI 학습 이용을 별도 동의 항목으로 구분하고 고지 사항과 거부 시 처리 방안을 명확히 한다.
▸AI 이용 고지·표시 AI가 응답한다는 사실과 개인정보 이용 범위·목적, 프롬프트의 학습 활용 여부를 이용자에게 고지한다.

👥 준수 사항 (역할별)

•AI 학습·모델 개선 목적의 개인정보 이용을 별도 동의 항목으로 구분한다
•동의 거부 시에도 서비스를 이용할 수 있도록 필수·선택 동의를 구분한다
•고객 개인정보를 AI 학습에 사용하려면 동의 범위에 포함되는지 담당 부서에 확인한다

📋 증거자료 예시

▫AI 학습 이용이 구분된 동의 양식
▫동의 획득 기록
▫필수·선택 동의 구분 화면

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.3 68 / 75

AI 서비스 투명성 확보를 위한 개인정보 이용범위･목적 등을 명확하게 고지하고 있는가?

ISMS-P 3.1.1 개인정보 수집·이용 관련 위협D03M05

이용자는 자기가 입력한 내용이 학습에 쓰이는지 알 권리가 있다. AI가 응답하고 있다는 사실 자체도 알려야 한다. 고지가 두루뭉술하면 투명성 요건을 충족하지 못한다.

🎯 AI 특화 점검 포인트

✓AI 서비스임을 이용자가 인지할 수 있도록 표시하고, 개인정보 이용 범위·목적을 명확히 고지하는가
✓입력한 프롬프트가 학습에 활용되는지 여부를 고지하는가

🛡️ 대응 방안

▸AI 이용 고지·표시 AI가 응답한다는 사실과 개인정보 이용 범위·목적, 프롬프트의 학습 활용 여부를 이용자에게 고지한다.
▸개인정보 처리방침 공개 AI 학습 활용, 자동화된 결정 여부와 기준 등 AI 관련 처리 사항을 개인정보 처리방침에 포함해 공개한다.

👥 준수 사항 (역할별)

•AI가 응답한다는 사실을 이용자가 인지할 수 있도록 표시한다
•개인정보 이용 범위·목적과 프롬프트의 학습 활용 여부를 고지한다
•고객 응대에 AI를 사용할 때 AI가 응답한다는 사실을 안내한다

📋 증거자료 예시

▫AI 이용 고지·표시 화면
▫개인정보 처리방침(이용 범위·목적 기재)
▫프롬프트 학습 활용 여부 안내문

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.4 69 / 75

AI 서비스 개발, 운영을 위해 정보주체의 동의 없이 개인정보를 수집･이용할 경우 이익침해여부를 확인하여 조치하고 있는가?

ISMS-P 3.1.1 개인정보 수집·이용 관련 위협D03

동의 없이 개인정보를 학습에 쓰려면 정당한 이익 요건을 스스로 입증해야 한다. 판단 과정을 남기지 않으면 심사나 조사에서 근거를 댈 수 없다. 정보주체가 예상하기 어려운 처리라면 별도 안내와 거부 수단이 필요하다.

🎯 AI 특화 점검 포인트

✓동의 없이 개인정보를 학습에 이용하는 경우 정당한 이익 요건과 이익침해 여부를 검토·기록했는가
✓정보주체가 예측하기 어려운 처리에 대해 사전 안내·거부 수단을 제공하는가

🛡️ 대응 방안

▸정당한 이익 판단 기록 동의 없이 개인정보를 처리하는 경우 정당한 이익 요건과 이익침해 여부 검토 결과를 문서로 남긴다.
▸공개된 개인정보 처리 기준 공개된 개인정보 수집 시 정당한 이익 요건을 검토하고 감독기관 안내서에 따라 근거를 기록한다.
▸AI 이용 고지·표시 AI가 응답한다는 사실과 개인정보 이용 범위·목적, 프롬프트의 학습 활용 여부를 이용자에게 고지한다.

👥 준수 사항 (역할별)

•동의 없이 개인정보를 학습에 이용하는 경우 정당한 이익 요건과 이익침해 여부를 검토·기록한다
•정보주체가 예측하기 어려운 처리에 대해 사전 안내와 거부 수단을 제공한다

📋 증거자료 예시

▫정당한 이익 판단 문서
▫이익침해 여부 검토 결과
▫정보주체 사전 안내 및 거부 수단 제공 화면

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.5 70 / 75

AI 학습 데이터의 항목, 보유량, 처리 목적 및 방법 등을 정기적으로 관리하고 최신성을 유지하고 있는가?

ISMS-P 3.2.1 개인정보 현황관리 관련 위협D01D02S01

학습 데이터는 계속 늘고 바뀌는데 목록은 처음 만들고 방치되기 쉽다. 어떤 데이터로 학습했는지 모르면 편향 대응도 파기도 되지 않는다. 최신성을 유지하는 것이 곧 통제 가능성을 유지하는 일이다.

🎯 AI 특화 점검 포인트

✓학습 데이터의 항목·보유량·처리 목적·처리 방법을 목록으로 관리하고 최신성을 유지하는가
✓데이터셋의 편중(출처·언어·집단) 여부를 정기 검토하고 완화 조치 결과를 기록하는가
✓법규·사회적 변화에 따라 데이터셋을 주기적으로 갱신하는가

🛡️ 대응 방안

▸학습 데이터 현황관리 학습 데이터의 항목·보유량·처리 목적·방법을 목록으로 관리하고 정기적으로 최신성을 유지한다.
▸데이터 품질 관리 학습･활용 데이터의 정확성, 대표성, 최신성을 확보하여 부정확한 모델 동작을 예방한다.
▸AI 흐름분석 문서화·현행화 AI 생애주기와 정보·개인정보 처리 흐름을 흐름표·흐름도로 문서화하고 변경 시 갱신한다.

👥 준수 사항 (역할별)

•학습 데이터의 항목·보유량·처리 목적·처리 방법을 목록으로 관리한다
•데이터셋의 출처·언어·집단 편중 여부를 정기 검토하고 완화 조치를 기록한다
•법규·사회적 변화에 따라 데이터셋을 주기적으로 갱신한다
•AI에 제공한 자료의 목록과 용도를 기록해 두고 요청 시 제출한다

📋 증거자료 예시

▫AI 학습 데이터 현황표(항목·보유량·목적·방법)
▫정기 검토 수행 기록
▫데이터 편중 검토 및 완화 조치 결과

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.6 71 / 75

AI 개발･운영에서 수집된 개인정보를 제3자에게 제공하는 경우 정보주체 동의, 법령상 의무준수 등 적법 요건을 식별하여 준수하는가?

ISMS-P 3.3.1 개인정보 제3자 제공 관련 위협D03M02

외부 모델 공급자에게 데이터를 넘기는 것이 제공인지 위탁인지에 따라 요건이 달라진다. 구분 없이 운영하면 어느 쪽 의무도 지키지 못한다. 제공 대상에 외부 API 제공자가 포함되는지부터 따져야 한다.

🎯 AI 특화 점검 포인트

✓AI 개발·운영 과정에서 수집한 개인정보를 모델 공급자 등 제3자에게 제공하는 경우 적법 요건을 식별했는가
✓제공 대상에 외부 모델 API 제공자가 포함되는지 검토했는가

🛡️ 대응 방안

▸제3자 제공 적법요건 확보 외부 모델 공급자 등에 대한 데이터 전달이 제공인지 위탁인지 구분하고 각각의 적법 요건을 준수한다.
▸외부자 현황 식별·관리 모델 공급자, 라벨링 위탁사, 플러그인·MCP 공급자 등 AI 관련 외부자를 목록화하고 최신 상태로 유지한다.
▸개인정보 처리방침 공개 AI 학습 활용, 자동화된 결정 여부와 기준 등 AI 관련 처리 사항을 개인정보 처리방침에 포함해 공개한다.

👥 준수 사항 (역할별)

•외부 모델 공급자 등에 대한 데이터 전달이 제공인지 위탁인지 구분해 적법 요건을 적용한다
•제3자 제공 시 정보주체 동의 또는 법령상 근거를 확보한다
•고객 정보를 외부 AI 서비스나 협력사에 전달하기 전 담당 부서의 확인을 받는다

📋 증거자료 예시

▫개인정보 제3자 제공 현황표
▫제공 동의 기록 또는 법령상 근거
▫제공 계약서

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.7 72 / 75

외부 API 등을 연계하는 경우 개인정보가 유출될 수 있는 상황(개인정보가 포함된 입력 프롬프트 등)을 식별하여 조치하고 있는가?

ISMS-P 3.3.2 개인정보 처리 업무 위탁 관련 위협D03A01M01

이용자가 프롬프트에 주민등록번호를 적는 일은 실제로 일어난다. 그 프롬프트가 외부 모델 API로 가면 개인정보가 조직 밖으로 나간 것이다. 탐지해서 가리거나 위탁 요건을 갖추거나 둘 중 하나는 해야 한다.

🎯 AI 특화 점검 포인트

✓입력 프롬프트에 포함되는 개인정보가 외부 API·모델 공급자로 전송되는 경로를 식별했는가
✓개인정보 입력 시 자동 탐지·마스킹 또는 경고 메시지를 표시하는가
✓외부 API 연계를 위탁으로 보아야 하는지 검토하고 위탁 계약·공개 의무를 이행하는가

🛡️ 대응 방안

▸위탁 관리·감독 외부 API 연계를 위탁으로 판단한 경우 계약 체결, 수탁자 관리·감독, 위탁 사실 공개를 이행한다.
▸개인정보 최소 수집·비식별 수집 목적을 제한하고 학습 파이프라인 초입에서 개인정보 탐지·마스킹·가명처리를 수행한다.
▸실행 권한 정보 분리 관리 API 키, 인증 토큰 등 민감정보를 LLM 컨텍스트와 분리하고, 도구 호출 시 필요한 권한 정보는 미들웨어나 비밀 관리 시스템을 통해 실행 단계에서만 참조되도록 관리한다.

👥 준수 사항 (역할별)

•프롬프트에 포함된 개인정보가 외부 API로 전송되는 경로를 식별한다
•개인정보 입력 시 자동 탐지·마스킹하거나 경고 메시지를 표시한다
•외부 API 연계가 위탁에 해당하는지 검토하고 계약·공개 의무를 이행한다
•프롬프트에 고객 이름·연락처 등 개인정보를 넣지 않고 필요한 경우 가명으로 대체한다

📋 증거자료 예시

▫개인정보 처리 위탁 계약서
▫수탁자 관리·감독 점검 기록
▫위탁 사실 공개 화면
▫프롬프트 개인정보 탐지·마스킹 설정

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.8 73 / 75

AI 개발･운영 과정에서 개인정보의 국외 이전 발생여부를 식별하고, 적법한 법적요건 준수 여부를 확인하고 있는가?

ISMS-P 3.3.4 개인정보 국외이전 관련 위협D03M02

개인정보가 포함된 프롬프트를 해외 리전의 모델 API로 보내면 그 순간 국외 이전이 성립한다. 클라우드 리전 설정 한 줄 차이로 이전 여부가 갈린다. 인지하지 못한 상태에서 이뤄지는 국외 이전이 가장 흔한 위반 유형이다.

🎯 AI 특화 점검 포인트

✓외부 모델 API·클라우드 이용으로 개인정보가 국외로 이전되는지 식별했는가
✓국외 이전에 대한 고지·동의 또는 적법 요건 준수 여부를 확인했는가
✓국외 처리위탁·보관 사실을 개인정보 처리방침에 공개했는가

🛡️ 대응 방안

▸국외이전 적법요건 확보 모델 API·클라우드 이용에 따른 국외 이전 여부를 식별하고 고지·동의 등 적법 요건과 공개 의무를 이행한다.
▸클라우드 책임 범위 계약 반영 클라우드·모델 API 이용 형태에 따른 책임 공유 범위, 데이터 보관 위치, 학습 활용 여부를 계약(SLA)에 명시한다.
▸개인정보 처리방침 공개 AI 학습 활용, 자동화된 결정 여부와 기준 등 AI 관련 처리 사항을 개인정보 처리방침에 포함해 공개한다.

👥 준수 사항 (역할별)

•외부 모델 API·클라우드 이용으로 개인정보가 국외로 이전되는지 식별한다
•국외 이전에 대한 고지·동의 또는 적법 요건 준수 여부를 확인한다
•국외 처리위탁·보관 사실을 개인정보 처리방침에 공개한다
•해외 사업자의 AI 서비스에 개인정보를 입력하기 전 담당 부서에 확인한다

📋 증거자료 예시

▫개인정보 국외이전 현황표
▫국외이전 고지·동의 기록
▫개인정보 처리방침 국외 처리 공개 내역
▫클라우드 리전 설정 확인 자료

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.9 74 / 75

AI 생애주기 전반에 개인정보 처리에 관한 구체적 사항을 정보주체가 쉽게 알 수 있도록 개인정보처리방침에 포함하여 공개하고 있는가?

ISMS-P 3.5.1 개인정보 처리방침 공개 관련 위협D03M05

AI 학습에 개인정보를 사용한다면 처리방침에 그 사실이 있어야 한다. 자동화된 결정을 한다면 그 기준도 공개 대상이다. 처리방침은 정보주체가 확인할 수 있는 유일한 통로다.

🎯 AI 특화 점검 포인트

✓AI 학습 활용 여부, 자동화된 결정 여부와 그 기준을 개인정보 처리방침에 포함해 공개했는가
✓AI 생애주기 전반의 개인정보 처리 사항을 정보주체가 쉽게 알 수 있도록 기술했는가

🛡️ 대응 방안

▸개인정보 처리방침 공개 AI 학습 활용, 자동화된 결정 여부와 기준 등 AI 관련 처리 사항을 개인정보 처리방침에 포함해 공개한다.
▸AI 이용 고지·표시 AI가 응답한다는 사실과 개인정보 이용 범위·목적, 프롬프트의 학습 활용 여부를 이용자에게 고지한다.
▸AI 흐름분석 문서화·현행화 AI 생애주기와 정보·개인정보 처리 흐름을 흐름표·흐름도로 문서화하고 변경 시 갱신한다.

👥 준수 사항 (역할별)

•AI 학습 활용 여부와 자동화된 결정 여부·기준을 개인정보 처리방침에 포함해 공개한다
•AI 생애주기 전반의 개인정보 처리 사항을 이해하기 쉽게 기술한다
•개인정보 처리방침에 안내된 AI 활용 범위를 벗어나 개인정보를 사용하지 않는다

📋 증거자료 예시

▫AI 관련 사항이 포함된 개인정보 처리방침
▫처리방침 공개 화면
▫처리방침 개정 이력

이행 점검

10 · AI 모델 설명가능성 및 투명성 확보 | 개인정보

REQ 10.10 75 / 75

자동화된 결정에 대한 정보주체의 거부･설명 등 요구에 따른 개인정보 처리자의 조치 절차를 마련하여 수립하여 이행하고 있는가?

ISMS-P 3.5.2 정보주체 권리보장 관련 위협M05H02D01

AI가 대출 심사나 채용 판단을 하면 정보주체는 그 결정을 거부하고 설명을 요구할 수 있다. 왜 그런 결정이 나왔는지 기록해두지 않으면 설명할 수 없다. 고영향 AI라면 사람이 개입하는 구조 자체가 의무다.

🎯 AI 특화 점검 포인트

✓자동화된 결정에 대한 정보주체의 거부·설명 요구를 접수·처리하는 절차를 마련했는가
✓설명 요구 시 판단 기준과 주요 요소를 제시할 수 있도록 추론 근거를 기록·보존하는가
✓고영향 AI에 해당하는 경우 사람의 관리·감독(Human-in-the-Loop)을 보장하는가

🛡️ 대응 방안

▸정보주체 권리 보장 절차 자동화된 결정에 대한 거부·설명 요구를 접수·처리하는 절차를 마련하고 판단 근거를 기록·보존한다.
▸Human-in-the-Loop 적용 중요 작업이나 고위험 도구 호출 전에 사람의 확인 또는 승인을 거치도록 한다.
▸AI 로그 관리 기준 수립 프롬프트·응답, 도구 호출 이력, 모델·프롬프트 버전 등 AI 고유 로그의 생성·보관 기준을 수립한다.

👥 준수 사항 (역할별)

•자동화된 결정에 대한 거부·설명 요구를 접수·처리하는 절차를 마련한다
•설명 요구에 대비해 판단 기준과 추론 근거를 기록·보존한다
•고영향 AI에 해당하는 경우 사람의 관리·감독 절차를 보장한다
•AI가 제시한 결과를 고객에게 전달할 때 사람의 검토를 거치고 설명 요구에 대비해 근거를 남긴다

📋 증거자료 예시

▫자동화된 결정 거부·설명 요구 처리 절차서
▫요구 접수·처리 대장
▫추론 근거 기록·보존 내역
▫사람의 검토·개입 이력

이행 점검

AI 보안 요구사항 안내가이드75개 요구사항 × 21종 위협 완전 정복

강의 슬라이드 구성

왜 요구사항 안내가이드인가

안내가이드 개요

10개 카테고리 구조

요구사항 카드 구성

요구사항 × AI 보안 위협 매핑표

관리체계 — 거버넌스의 토대

보호대책 ① — 인적 보안 · 접근통제

보호대책 ② — 데이터 · 결과 신뢰성

보호대책 ③ — 관찰 · 복원력

개인정보 — AI 시대의 최전선

위협 분류 체계 — D / M / A / S / H

현업에서 가장 자주 마주치는 위협

AI 레드티밍 절차 & 정보 흐름표

75개 요구사항, 3단계로 이행한다

요구사항 하나당 슬라이드 1장

AI 서비스에 대한 정보보호 관리체계 수립 및 운영 활동 전반에 경영진의 참여가 이루어질 수 있도록 보고 및 의사결정 등의 책임과 역할을 문서화하고 있는가?

AI 서비스 보호를 위한 최고책임자를 지정하고 적절한 책임과 권한을 부여하고 있는가?

AI 서비스의 안전한 개발 및 운영을 위한 관련 조직 또는 인력을 구성하고, 해당 인력이 의사결정에 참여하고 있는가?

AI 생애주기와 신뢰성 확보 대상 등 AI 서비스에 영향을 줄 수 있는 핵심자산을 포함하여 관리체계 범위를 설정하고 있는가?

AI 서비스와 관련된 법률이나 가이드라인 등을 검토하여 정책을 수립하고 있는가?

AI 서비스 안전성 확보 및 이용자 보호를 위해 필요한 예산과 인력을 지원하고 있는가?

AI 서비스에 대한 대내외 환경을 검토하고, 이를 조직의 정책에 반영하고 있는가?

AI 서비스의 핵심 영역(위험관리, 개발, 개인정보, 데이터 품질 등)과 관련한 주요 직무자 기준을 정의하고 있는가?

AI 서비스 관련된 주요 인력, 외부 공급업체에 AI와 관련된 별도의 서약서를 받고 있는가?

AI 생애주기 및 운영관리 과정에서 발생하는 업무 위탁, 외부 시설 및 서비스 등에서 외부자 현황을 식별하고 있는가?

외부 공급, 협업 등 외부 계약으로 처리되는 AI 서비스에 대한 보안 검증 역할과 책임을 계약 시 검토하고 있는가?

AI 서비스 사용자, 이용자에게 중요도에 따른 추가 인증 방식을 제공하거나 안전한 비밀번호 작성 규칙을 안내하고 있는가?

AI 서비스에서 처리되는 정보에 대한 암호화 기준을 수립하여 이행하고 있는가?

AI 서비스를 위해 외부 API를 사용할 경우 API 호출에 필요한 키를 안전하게 보관하여 관리하는가?

AI 서비스 관련 정보시스템, 학습 데이터, 관련 데이터베이스 등 중요 자산에 대한 변경 절차를 수립하여 이행하고 있는가?

AI 관련 중요 시스템과 직접 접근이 가능한 단말기를 식별하고 이에 대한 보호대책을 수립하여 이행하고 있는가?

AI 서비스와 관련된 주요 자산의 분류 기준을 수립하고 목록화하여 관리하고 있는가?

AI 생애주기, 데이터 처리의 흐름 등을 파악하여 문서화하고 있는가?

AI 서비스에서 발생할 수 있는 위험 요인을 평가하기 위한 기준과 절차를 정의하고 이행하고 있는가?

AI 서비스 관련 시스템 도입 시 위험평가를 실시(연 1회 이상)하고, 그 결과를 경영진에게 보고하고 있는가?

AI 서비스에 대한 위험평가 결과를 반영하여 조직에 적합한 보호대책을 선정하고 이행계획을 수립하고 있는가?

AI 서비스에 대한 보호대책을 이행계획에 따라 구현하고 그 결과를 경영진에게 보고하고 있는가?

AI 서비스에 대한 보호대책을 관련 부서와 담당자에게 적절하게 공유하고, 지속적으로 운영될 수 있는 체계를 마련하고 있는가?

AI 서비스와 관련된 법적 요구사항을 정책에 반영하고 법적 요구사항의 최신성 및 준수 여부를 지속적으로 검토하고 있는가?

AI 서비스에 대한 조직의 정책이 적절하게 운영되고 있음을 보장하기 위해 독립성과 전문성이 확보된 인력이 연 1회 이상 점검하고 관련 내용을 경영진에게 보고하고 있는가?

AI 관련 시스템 도입 또는 개발 시 관련 법적 요구사항을 포함한 보안 요구사항을 정의하고 관련 절차를 수립하여 이행하고 있는가?

AI 서비스에 대한 오픈소스 라이브러리 등 공급망 취약점을 대응하기 위한 보안 요구사항을 정의하고 있는가?

AI 모델 관련 취약점을 보안 요구사항에 정의하고 도입 및 개발 시 적용하고 있는가?

AI 생애주기 전반에 사용되는 데이터의 출처를 기록하고 검증할 수 있는 절차를 수립하여 이행하고 있는가?

공급망 취약점 관련 보안 요구사항에 따라 문제점이 신속하게 조치될 수 있도록 조치계획 수립, 이행점검 등의 절차를 이행하고 있는가?

AI 서비스에서 사용하는 AI 모델 취약점에 대한 시험 방법과 절차를 수립하여 이행하고 있는가?

AI 코딩 도구, 클라우드 서비스 등을 이용할 경우 중요 정보 유출 등에 대한 통제 방안을 마련하여 관리하고 있는가?

AI 서비스 관련 소스 프로그램 및 데이터 등 중요 정보의 변경, 백업에 대한 통제 절차를 수립하여 이행하고 있는가?

AI 서비스에 대한 운영환경 이관 시 접근통제와 인증절차를 안전하게 구현하고, 예기지 않은 입력이나 오류 상황에서 시스템의 안정성을 보장할 수 있는 예외 처리 및 복구 절차를 수립하고 있는가?

AI 서비스 관련 인력에 대해 필요한 교육 계획을 수립하고, 이에 따라 교육이 이루어지고 있는가?

AI 서비스 관련 정보시스템의 중요도, 용도, 특성 등을 고려하여 배치하고, 실제 물리적 위치를 손쉽게 확인할 수 있는 방안을 마련하고 있는가?

AI 서비스에서 사용하는 에이전트 등에 최소 계정 및 적절한 권한이 부여될 수 있는 내부 절차가 수립되어 있는가?

AI 서비스에 중대한 영향을 미칠 수 있는 정보시스템을 대상으로 강화된 인증 방식(OTP 등)을 적용하고 있는가?

AI 서비스 주요 직무자에 대한 시스템 접근권한과 수행업무를 주기적으로 검토하고 있는가?

AI 서비스 관련 중요 정보시스템(AI 모듈, 학습데이터 처리 등)을 정의하고 네트워크 영역 구성, 서버 접근통제 등 네트워크 통제 방안을 적용하고 있는가?

AI 서비스 운영을 위해 필요한 관리용 어플리케이션, 중요 정보시스템 등에 대한 추가 인증수단을 적용하고 있는가?

AI 서비스와 연동되는 내/외부 응용프로그램을 식별하고, 최소 접근 권한 부여 등 통제 방안을 수립하여 적용하고 있는가?

AI 서비스와 관련된 데이터 무결성에 영향을 줄 수 있는 위험을 식별하고 접근통제 등의 보안대책을 적용하고 있는가?

외부에서 원격으로 AI 관련 시스템에 접근하여 부정적 영향을 줄 수 있는 경우를 식별하고, 부득이하게 원격 접속을 허용하는 경우 정보보호 책임자의 승인을 득하고 있는가?

AI 서비스 내부 사용자 및 정보시스템에서 민감 데이터, 개인정보 유출 등을 통제하기 위한 인터넷접속 통제 절차가 수립되어 있는가?

외부와 연결된 API, 클라우드 서비스 등을 통해 AI 관련 시스템을 이용하는 경우 인증 및 통제 방안을 수립하여 이행하고 있는가?

AI 서비스 개발, 변경 시 학습 데이터의 오염과 알고리즘의 임의 변경 등을 방지하기 위한 적절한 시스템 분리가 이루어지고 있는가?

시험 환경에서 AI 학습 데이터의 출처를 식별하고, 운영 데이터와 분리하여 데이터의 오염을 방지할 수 있는 환경을 구축하고 있는가?

AI 관련 시험 데이터(학습 데이터, 생성 데이터 등)에 대한 보관 및 삭제 기준을 수립하여 이행하고 있는가?

AI 서비스를 클라우드로 운영할 경우 클라우드 서비스 형태(IaaS, PaaS, SaaS 등)에 따른 책임과 역할을 정의하고 이를 계약서(SLA 등)에 반영하고 있는가?

AI 서비스에서 사용하는 확장 프로그램, 오픈소스 등에 대한 버전 관리와 패치 적용 기준을 수립하여 이행하고 있는가?

AI 관련 최신 취약점을 확인하기 위한 방법을 마련하고 주기적으로 취약점 점검을 수행(반기 1회 이상)하여 그 결과를 경영진에게 보고하고 있는가?

AI 서비스에서 요구되는 성능과 장애 관리를 위해 지속적으로 모니터링 할 수 있는 방법과 절차를 수립하여 이행하고 있는가?

AI 서비스 품질에 대한 성능과 제한 기준을 이용자가 알 수 있도록 고지하고, 내부적으로 서비스 품질을 보장하기 위한 구체적인 지표를 설정하여 관리하고 있는가?

AI 서비스의 결과물에 대해 중요정보 노출, 데이터 편향 등 위험 요소가 발생하는지 주기적으로 점검하기 위한 방법과 절차를 수립하여 이행하고 있는가?

AI 생애주기 및 운영관리 환경 내 로그 관리 기준과 절차를 수립하고, 필요한 로그를 생성하여 관리하고 있는가?

AI 서비스에서 발생할 수 있는 이상징후 인지를 위해 로그 검토 대상, 방법, 주기 등을 포함한 로그 검토 및 모니터링 절차를 수립하고 이행하고 있는가?

AI 서비스에 대한 비정상적 접근 등을 차단하기 위해 필요한 보안시스템을 설치하여 운영하고 있는가?

AI 모듈 오용, 비인가 접근, 자동화 공격 등 이상행위를 탐지할 수 있도록 AI 관련 시스템에서 발생하는 각종 로그 등을 수집하여 분석 및 모니터링하고 있는가?

AI 서비스 운영 과정에서 발생할 수 있는 사고를 사전에 예방하고, 사고 발생 시 신속하고 효과적으로 대응하기 위한 대내외 체계와 절차를 수립하고 있는가?

AI 서비스에서 민감정보 및 고유식별정보가 추론되지 않도록 조치하고 있는가?

AI 서비스를 위해 공개된 개인정보를 수집하는 경우 정당한 이익과 상당한 관련성 및 합리성이 인정되는 범위 내에서만 수집･이용하고 있는가?

비정형 데이터(영상정보, 비디오, 음성 등) 및 멀티모달 데이터에 대한 재식별 금지 등 가명정보 처리 기준을 수립하여 이행하고 있는가?

AI 보안 요구사항 안내가이드
75개 요구사항 × 21종 위협 완전 정복