AI 보안 거버넌스 전략 — Session 7: LLM 보안 위협 대응전략

SELF-DIAGNOSIS CHECKLIST · 한눈에 보기

LLM 보안 위협 자가 진단 체크리스트

5대 분류 · 21개 항목 — Y/N 진단 → 세부 페이지에서 기준·대응·사례·뉴스 학습

분류	ID	위협 항목	핵심 진단 기준	상세
데이터 위협	D01	불균형 데이터	불균형 데이터 학습 데이터셋이 특정 출처, 플랫폼, 국가, 언어, 산업 분야, 사용자군 등에 …	▼
데이터 위협	D02	부정확한 데이터	부정확한 데이터 학습 데이터 내 사실적 오류, 논리적 모순, 불완전한 정보, 잘못된 레이블 등…	▼
데이터 위협	D03	개인정보 비식별화 미흡	개인정보 비식별화 미흡 학습 데이터에 개인정보 비식별화(가명･익명 처리 등) 조치를 적용하는가…	▼
모델 위협	M01	학습 데이터 유출	학습 데이터 유출 모델이 고의적, 반복적 질의에도 학습 데이터 복원(에 가까운) 응답을 하지 …	▼
모델 위협	M02	벡터 DB･임베딩 유출	벡터 DB･ 임베딩 유출 벡터 DB 및 임베딩 저장소에 대한 접근 권한을 통제하는가…	▼
모델 위협	M03	시스템 프롬프트 유출	시스템 프롬프트 유출 시스템 프롬프트 공개 요청에 대해 응답을 제한하는가…	▼
모델 위협	M04	모델 유출	모델 유출 모델 가중치 및 파일을 내부 네트워크에서만 접근 가능하도록 보호하는가…	▼
모델 위협	M05	환각	환각 모델이 거짓 정보(환각)나 허위 근거를 생성할 가능성을 정기적으로 평가하는가…	▼
모델 위협	M06	탈옥	탈옥 보안 정책 우회나 역할 변경을 유도하는 악의적 요청을 탐지･ 차단하는가…	▼
모델 위협	M07	부적절한 출력 처리	부적절한 출력 처리 모델 출력을 시스템에 반영하기 전 안전 검증(필터링, 이스케이핑 등)을 수…	▼
모델 위협	M08	모델 DoS	모델 DoS 모델 서비스 가용성을 저하시킬 수 있는 과도한 요청 유형을 식별하고 평가하는가…	▼
에이전트 위협	A01	부적절한 도구 설계	부적절한 도구 설계 사용자, 역할, 권한 수준에 따라 에이전트가 사용할 수 있는 도구･기능･ …	▼
에이전트 위협	A02	에이전트 하이재킹	에이전트 하이재킹 수집된 데이터에서 악성 지침이나 숨겨진 명령어를 탐지하고 제거하는가…	▼
에이전트 위협	A03	에이전트 DoS	에이전트 DoS 에이전트 작업 실행 시간에 대한 적절한 제한을 설정하는가…	▼
에이전트 위협	A04	에이전트 메모리 오염	에이전트 메모리 오염 에이전트 장기 메모리(RAG DB, 파일 등)에 인증 및 권한 제어를 적…	▼
공급망 위협	S01	데이터 포이즈닝	데이터 포이즈닝 학습 데이터 또는 외부 연계 데이터에 악의적으로 조작된 데이터가 포함될 가능성…	▼
공급망 위협	S02	모델 포이즈닝	모델 포이즈닝 외부 모델 또는 가중치 파일 내 악의적인 파일 포함 여부를 점검하는가…	▼
공급망 위협	S03	취약한 버전의 추론 엔진 사용	취약한 버전의 추론 엔진 사용 사용 중인 추론 엔진 또는 런타임에 알려진 보안 취약점이 존재하…	▼
공급망 위협	S04	취약한 버전의 에이전트 확장요소 사용	취약한 버전의 에이전트 확장요소 사용 사용 중인 에이전트 확장요소에 알려진 보안 취약점이 존재…	▼
고성능 모델 위협	H01	고도화된 사이버 공격 지원	제1장 개요 _ 21 분류 항목 기준 Y N 고성능 모델 위협 고성능 모델 위협 H01 고도화…	▼
고성능 모델 위협	H02	자율성으로 인한 통제 상실	제1장 개요 _ 21 분류 항목 기준 Y N 고성능 모델 위협 고성능 모델 위협 H01 고도화…	▼

✅ 진단 방법: 항목별 페이지의 기준을 Y/N로 체크 → N 3개 이상이면 고위험 · 가드레일 우선 적용 | ※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21

THREAT CLASSIFICATION · 매뉴얼 제2장

데이터 및 모델 위협 (11개 항목)

LLM 기반 서비스의 위협은 크게 학습 데이터에서 비롯되는 데이터 위협과 모델 자체에서 비롯되는 모델 위협으로 구분할 수 있다. LLM은 대규모 데이터를 기반으로 학습되며, 학습된 모델은 사용자 입력에 따라 응답을 생성하고 의사결정이나 업무 자동화 과정에 활용된다. 따라서 학습 데이터의 품질, 대표성, 개인정보 처리 수준과 모델의 응답 특성, 한계, 민감정보 노출 가능성은 서비스의 안전성·신뢰성·프라이버시에 직접적인 영향을 미친다. 데이터 위협은 주로 학습 및 활용 데이터의 품질과 관리 미흡에서 발생한다. 편향된 데이터가 사용될 경우 특정 집단이나 상황에 대해 차별적이거나 불균형한 결과가 생성될 수 있으며, 부정확하거나 최신성이 떨어지는 데이터는 잘못된 응답과 의사결정으로 이어질 수 있다. 또한 개인정보나 민감정보가 충분히 비식별화되지 않은 상태로 학습 또는 처리될 경우, 모델 응답을 통해 정

📋 포함 항목

D01 · 불균형 데이터D02 · 부정확한 데이터D03 · 개인정보 비식별화 미흡M01 · 학습 데이터 유출M02 · 벡터 DB･임베딩 유출M03 · 시스템 프롬프트 유출M04 · 모델 유출M05 · 환각M06 · 탈옥M07 · 부적절한 출력 처리M08 · 모델 DoS

※ 참조 : AI 보안 위협 대응 매뉴얼 제2장 (p.27~51)

데이터 위협

D01

[D01] 불균형 데이터

✅ 자가 진단 기준

☐불균형 데이터 학습 데이터셋이 특정 출처, 플랫폼, 국가, 언어, 산업 분야, 사용자군 등에 편중이 없는지 검토하는가

☐불균형이 확인된 데이터에 대해 재수집, 제외 등 완화 조치를 수행하는가

☐불균형 데이터 식별 및 완화 조치 결과를 기록하고 관리하는 승인 절차가 있는가

📌 정의

특정 속성이나 클래스에 편중된 데이터로 인해 LLM이 부정확한 결과를 학습하고 출력하는 위협이다.

⚠️ 발생 원인

학습 데이터 수집･라벨링 과정에서 특정 클래스에 해당하는 데이터가 과도하게 포함되거나 일부 데이터가 충분히 확보되지 않아 발생할 수 있다. 특히 수집 가능한 데이터에 편중되거나 예외사항 혹은 소수 사례가 반영되지 않는 경우 데이터 대표성이 저하될 수 있다.

💥 영향

모델이 다수 데이터에 치우친 패턴을 학습하고 소수 집단이나 희소 사례에 대해 부정확하게 판단하여 서비스에 영향을 미칠 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.1 데이터 품질 관리 — 편향 탐지·완화 (매뉴얼 p.131)

• 데이터 분포를 성별·연령·지역·직군 등 속성 기준으로 분석해 특정 집단 과대 대표·소외 확인

• 국내외 검증된 공정성 지표로 편향 수준 정량 평가 → 리샘플링·가중치 재조정·데이터 증강 적용

• 지속적 품질 모니터링으로 운영 중 편향 재발 차단

🕐 ① 예방 — 사전 통제

• ① 데이터셋 분포 사전 분석 (출처·집단·언어 편중 검토)

🔍 ② 탐지 — 운영 점검

• ② 균형 데이터 수집·재샘플링 절차 수립

⚡ ③ 대응·개선 — 사후 조치

• ③ 편향 검증 기준(성별·연령·인종)과 승인 절차 정의

🎬 예상 시나리오 (발생 가능 흐름)

① 채용·대출 심사 AI가 과거 데이터(특정 성별·연령 편중)로 학습 → ② 소수 집단 지원자·신청자에게 부당한 결과 자동 생성 → ③ 차별 민원·규제 위반으로 서비스 중단 위기

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

Google Gemini 이미지 생성 편향 논란 (2024)

2024년 구글 Gemini의 이미지 생성 기능이 인종·성별·역사적 맥락에서 편향된 결과를 생성해 논란이 되었고, 구글은 생성 기능을 일시 중단했다. 학습 데이터의 불균형이 실제 서비스 중단으로 이어진 대표 사례다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

데이터 위협

D02

[D02] 부정확한 데이터

✅ 자가 진단 기준

☐부정확한 데이터 학습 데이터 내 사실적 오류, 논리적 모순, 불완전한 정보, 잘못된 레이블 등이 포함되어 있는지

☐학습 데이터셋의 사실성, 정확성, 일관성을 검증하기 위한 기준이 있는가

☐부정확한 데이터가 확인된 경우 수정, 제외, 재수집 등 정정 조치를 수행하는가

☐데이터 정정 이력, 검수 결과, 승인 내역 등을 체계적으로 기록하고 관리하는가

📌 정의

사실적 오류, 논리적 모순, 잘못된 레이블 등이 포함된 데이터를 사용하여 LLM이 부정확한 정보를 학습하고 출력하는 위협이다.

⚠️ 발생 원인

오래된 문서의 미갱신, 검증되지 않은 외부 자료의 활용, 데이터 등록･관리 절차 미흡 등으로 인해 발생할 수 있다. 예를 들어 변경 전 법령, 오래된 제품 매뉴얼, 오류가 포함된 문서가 학습･ 추론에 활용될 경우 모델이 이를 근거로 잘못된 응답을 생성할 수 있다.

💥 영향

부정확한 데이터가 사용될 경우 AI 모델이 사실과 다른 정보나 현재 기준에 맞지 않는 응답을 생성할 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.1 데이터 품질 관리 — 데이터셋 신뢰성 확보 (매뉴얼 p.131)

• 학습 데이터는 공식 DB·공신력 있는 기관·검증된 공급망에서만 확보 (출처 불분명 데이터 금지)

• 정제 과정에서 중복 레코드·불완전 데이터·노이즈 제거로 학습 품질 저하 방지

• 데이터 오류 발견 시 수정·제외·재수집 절차와 검수 결과·승인 내역 기록 관리

🕐 ① 예방 — 사전 통제

• ① 신뢰할 수 있는 검증된 출처에서 데이터 수집

🔍 ② 탐지 — 운영 점검

• ② 전처리로 오타·논리 모순·사실 오류 제거

⚡ ③ 대응·개선 — 사후 조치

• ③ 어노테이션 2인 이상 검수 체계·가이드라인 교육

🎬 예상 시나리오 (발생 가능 흐름)

① 변경 전 법령·오래된 매뉴얼이 학습 데이터에 포함 → ② 고객 상담 챗봇이 구법령 기준으로 답변 생성 → ③ 잘못된 정보로 법적 분쟁·신뢰도 하락

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

법률 챗봇의 미갱신 정보 인용 사고

미갱신 법령·오래된 문서를 학습한 법률 챗봇이 현재 기준과 다른 답변을 제공해 계약·소송 검토에 잘못된 근거가 사용된 사례가 잇따라 보도됐다. 데이터 최신성·정확성 관리 실패가 신뢰성 문제로 이어졌다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

데이터 위협

D03

[D03] 개인정보 비식별화 미흡

✅ 자가 진단 기준

☐개인정보 비식별화 미흡 학습 데이터에 개인정보 비식별화(가명･익명 처리 등) 조치를 적용하는가

☐원본 데이터와 비식별 데이터를 분리하고, 접근 권한을 철저히 구분하여 통제하는가

☐모델 및 AI 시스템을 대상으로 개인정보 영향평가를 수행하는가

📌 정의

데이터 내 식별 정보(이름, 주민등록번호 등)가 제대로 제거되지 않아 민감한 개인정보가 노출되는 위협이다.

⚠️ 발생 원인

학습 단계에서는 데이터 수집･정제 과정에서 개인정보 탐지 및 제거 절차가 충분히 수행되지 않은 경우 발생할 수 있다. 추론 단계에서는 개인화 응답, 업무 자동화 등을 위해 개인정보가 사용될 수 있으나, 처리 목적에 필요한 범위를 초과한 정보가 권한 검증 없이 참조될 경우 문제가 발생할 수 있다.

💥 영향

개인정보나 민감정보가 적절히 비식별화되지 않거나 통제되지 않을 경우 모델이 학습 데이터에 포함된 정보를 재현하거나, 추론 과정에서 권한 없는 사용자에게 개인정보가 노출될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.2 개인정보 보호 및 법규 준수 (매뉴얼 p.132)

• 학습 데이터 내 개인정보 스캐닝(이름·전화·이메일·계정 ID 등) 후 비식별화·제거

• 개인정보처리 법규(개인정보보호법 등) 준수 체계와 처리 목적별 최소 범위 통제

• 웹 크롤링 수집 데이터·합성 데이터 활용 시 출처와 적법성 검증

🕐 ① 예방 — 사전 통제

• ① 학습 데이터 개인정보 탐지·제거 절차 수행

🔍 ② 탐지 — 운영 점검

• ② 가명·익명 처리 후 원본/비식별 데이터 분리 통제

⚡ ③ 대응·개선 — 사후 조치

• ③ 처리 목적별 최소 범위 권한 부여·개인정보 영향평가

🎬 예상 시나리오 (발생 가능 흐름)

① 고객 데이터가 비식별화 없이 학습 데이터로 유입 → ② 유도 질의로 모델이 개인정보 재현 → ③ 개인정보 유출 사고·과징금 부과

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

삼성전자 ChatGPT 입력으로 반도체 정보 유출 (2023)

삼성전자 직원들이 회의 내용·반도체 수율 등 영업비밀을 ChatGPT에 입력한 것이 적발되어 전사적 사용 제한 조치가 내려졌다. 개인정보·기밀정보의 비식별화 없는 LLM 사용 위험을 보여준 사건이다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M01

[M01] 학습 데이터 유출

✅ 자가 진단 기준

☐학습 데이터 유출 모델이 고의적, 반복적 질의에도 학습 데이터 복원(에 가까운) 응답을 하지 않는지 확인하는가

☐데이터 추출을 노린 반복적이거나 유사한 악성 입력을 차단하는가

📌 정의

악의적인 질의를 통해 LLM이 학습했던 원본 데이터가 복원되거나 유출되는 위협이다.

⚠️ 발생 원인

모델이 학습 데이터의 일부를 과도하게 암기한 경우 발생할 수 있다. 특히 고유한 문장, 반복적으로 포함된 데이터 등이 학습에 사용된 경우 모델이 해당 내용을 재현할 가능성이 높아질 수 있다.

💥 영향

학습 데이터 추출이 가능할 경우 모델이 학습 데이터에 포함된 개인정보, 기밀 정보, 내부 문서, 소스코드, 저작권 보호 자료 등을 재현할 수 있다. 이로 인해 모델을 통해 공개되지 않아야 할 학습 데이터의 일부가 외부에 유출될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.1 데이터 품질 관리 — 데이터 정제 (매뉴얼 p.131)

• 학습 전 중복 레코드·노이즈·민감 정보 포함 데이터 제거로 유출 경로 차단

• 출처 검증된 데이터만 학습에 사용 — 데이터 포이즈닝·저품질 데이터 유입 방지

• 데이터 변경 이력·사용 이력 로깅으로 추적성 확보

🕐 ① 예방 — 사전 통제

• ① 학습 데이터 내 개인정보·기밀정보 사전 필터링

🔍 ② 탐지 — 운영 점검

• ② 민감 데이터 학습 제외·중복 샘플 제거

⚡ ③ 대응·개선 — 사후 조치

• ③ 모델 접근 권한·API 통제 정책 수립

🎬 예상 시나리오 (발생 가능 흐름)

① 공격자가 반복·유사 질의로 학습 데이터 암기 부분 탐색 → ② 개인 이메일·주소·기밀 문구 일부 복원 → ③ 학습 데이터 유출로 정보보호법 위반

📁 사례 (산업별 시나리오)

▸ 제조 공정에서 사용되는 AI를 통한 생산 기밀 정보 유출 (p.94)

🌍 세계 속 뉴스

GPT-2 학습 데이터 복원 연구 (2020)

카를리니(Carlini) 연구팀이 GPT-2에 반복 질의를 넣어 개인 이메일·주소 등 학습 데이터의 일부를 복원하는 데 성공해 논문으로 발표했다. 모델이 학습 데이터를 암기하고 재현할 수 있음을 증명했다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M02

[M02] 벡터 DB･임베딩 유출

✅ 자가 진단 기준

☐벡터 DB･ 임베딩 유출 벡터 DB 및 임베딩 저장소에 대한 접근 권한을 통제하는가

☐벡터 DB 또는 RAG 검색 결과에 포함된 민감정보가 모델 출력에 노출되지 않도록 관리하는가

📌 정의

RAG 등 검색에 사용되는 벡터 DB에서 임베딩 벡터나 원문 데이터가 외부로 유출되는 위협이다.

⚠️ 발생 원인

벡터 DB 내 임베딩･문서 청크･메타데이터에 대한 접근 권한 통제가 미흡하여 사용자별 데이터 접근 범위가 적절하지 않은 경우 발생할 수 있다.

💥 영향

벡터 DB나 임베딩이 유출될 경우 내부 문서, 업무 자료, 개인정보, 기밀 메타데이터 등이 외부에 노출될 수 있다. 또한 임베딩은 원문 데이터가 아니지만, 유사도 분석, 반복 질의, 역추론 기법 등을 통해 원문과 관련된 민감한 정보가 추론될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 3.3 RAG 사용자별 접근 권한 설정 (매뉴얼 p.140)

• RAG 검색 결과를 사용자 권한·부서·테넌트별로 분리하여 접근 통제

• 사용자별 접근 가능 문서 범위를 명확히 정의하고 세션 간 격리 보장

📘 3.4 RAG 삽입 데이터 검증 (매뉴얼 p.140)

• 벡터 DB 삽입 전 문서·데이터 신뢰성·무결성 검증 절차 수행

• 외부에서 유입되는 문서의 악성 프롬프트·조작 여부 스캐닝

🕐 ① 예방 — 사전 통제

• ① 벡터 DB·임베딩 저장소 접근 권한 통제

🔍 ② 탐지 — 운영 점검

• ② RAG 검색 결과 민감정보 필터링·권한별 결과 분리

⚡ ③ 대응·개선 — 사후 조치

• ③ 벡터 DB 암호화·감사 로그 기록

🎬 예상 시나리오 (발생 가능 흐름)

① RAG 챗봇에 권한 밖 질의 전송 → ② 벡터 DB 검색 결과로 내부 문서 노출 → ③ 기밀정보 유출·접근 통제 감사 지적

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

RAG 기반 기업 챗봇의 내부 문서 노출

RAG(검색 증강 생성)를 적용한 기업 챗봇에서 벡터 DB의 접근 통제 미흡으로 내부 문서·민감정보가 검색 결과로 노출된 사례가 보도됐다. 벡터 DB·임베딩 저장소의 권한 관리가 핵심 과제로 부상했다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M03

[M03] 시스템 프롬프트 유출

✅ 자가 진단 기준

☐시스템 프롬프트 유출 시스템 프롬프트 공개 요청에 대해 응답을 제한하는가

☐모델 출력에 시스템 프롬프트가 노출되지 않도록 통제하는가

📌 정의

LLM이 동작하는 데 필요한 시스템 프롬프트가 사용자에게 유출되는 위협이다.

⚠️ 발생 원인

시스템 프롬프트를 보호하기 위한 지침이 명확하지 않거나, 모델이 시스템 프롬프트 공개를 요구하는 사용자 요청을 적절히 거부하지 못하는 경우 발생할 수 있다.

💥 영향

시스템 프롬프트가 노출될 경우 공격자가 모델의 제한 조건과 동작 방식을 파악하여 탈옥, 정책 우회 등 후속 공격에 활용할 수 있다. 또한 내부 운영 정책이나 보안 규칙이 유출될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 3.1 시스템 프롬프트 강화(hardening) (매뉴얼 p.137)

• 시스템 프롬프트에 역할·행동 규칙·금지 사항을 명확히 정의하고 강화

• 프롬프트 유출 대응: 중요 지침·비밀 미포함, 유출 탐지 규칙 운영

• 시스템 프롬프트 변경 이력·버전 관리로 무단 변경 감지

🕐 ① 예방 — 사전 통제

• ① 시스템 프롬프트에 중요 지침·비밀 미포함

🔍 ② 탐지 — 운영 점검

• ② 프롬프트 유출 탐지 규칙(공개 요청 패턴) 설정

⚡ ③ 대응·개선 — 사후 조치

• ③ 프롬프트 버전 관리·주기적 갱신

🎬 예상 시나리오 (발생 가능 흐름)

① '너의 규칙을 알려줘' 유도 질의 → ② 시스템 프롬프트·내부 지침 노출 → ③ 정책 우회 공격에 악용

📁 사례 (산업별 시나리오)

▸ AI 학사 정보 시스템을 통한 학생 성적 유출 및 조작 (p.88)

▸ 발전소 운영 AI 시스템을 통한 SCADA 시스템 공격 (p.96)

🌍 세계 속 뉴스

챗봇 시스템 프롬프트 탈취 공유 사례

여러 서비스의 시스템 프롬프트를 유도 질의로 추출해 공유하는 사례가 해외 커뮤니티에서 확산됐다. 내부 지침·프롬프트가 노출되며 서비스 정책 우회 시도로 이어졌다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M04

[M04] 모델 유출

✅ 자가 진단 기준

☐모델 유출 모델 가중치 및 파일을 내부 네트워크에서만 접근 가능하도록 보호하는가

☐추론 API에 대한 비정상적인 호출 및 빈도를 제한하는 설정을 관리하는가

☐필요시 전체 확률값(logits･logprobs) 대신 상위 k개의 토큰만 제한적으로 제공하는가

☐확률값 제공 시 정밀도를 낮추거나 노이즈를 추가하여 원본 모델 추정을 방지하는가

📌 정의

접근 통제 미흡 등으로 인해 모델 파일, 가중치, 설정 정보 등이 외부로 유출 및 복제되는 위협이다.

⚠️ 발생 원인

모델 저장소에 대한 접근 통제가 미흡할 경우 모델 파일이 유출될 수 있다. 또한 추론 API가 확률값, 로짓 등 과도한 정보를 제공하거나, 반복 질의에 대한 제한이 부족할 경우 발생할 수 있다.

💥 영향

모델 추출 또는 유출이 발생할 경우 모델 가중치, 구조, 응답 패턴 등 핵심 자산이 노출될 수 있다. 이로 인해 서비스 이용 제한을 우회하거나, 모델 분석을 통해 후속 공격에 활용될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.3 안전한 모델 API 설계 (매뉴얼 p.136)

• API 응답에서 로짓(logits) 전체 반환 금지 — 상위 k 토큰만 제한 제공

• 모델 가중치·내부 파라미터에 대한 접근 통제 및 화이트박스 접근 제한

• 비정상 반복 쿼리(모델 추출 공격 패턴) 탐지·차단

🕐 ① 예방 — 사전 통제

• ① 모델 가중치 내부 네트워크 한정 접근

🔍 ② 탐지 — 운영 점검

• ② 추론 API 비정상 호출 빈도 제한

⚡ ③ 대응·개선 — 사후 조치

• ③ 로짓(logits) 전체 제공 금지·상위 k 토큰만 제한

🎬 예상 시나리오 (발생 가능 흐름)

① API에 반복 쿼리로 출력 분포 수집 → ② 모델 내부 동작·파라미터 추정 시도 → ③ 지식재산 유출·모델 복제 위험

📁 사례 (산업별 시나리오)

▸ AI 모델 추출 (p.120)

🌍 세계 속 뉴스

LLM API 모델 추출 공격 연구

연구자들이 LLM API에 반복 질의를 보내 모델의 내부 파라미터를 추정하는 '모델 추출 공격' 가능성을 입증했다. 고도화된 모델일수록 추출 위험이 커질 수 있다는 분석이 나왔다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M05

[M05] 환각

✅ 자가 진단 기준

☐환각 모델이 거짓 정보(환각)나 허위 근거를 생성할 가능성을 정기적으로 평가하는가

☐중요한 답변에 대해 출처 확인 및 근거를 제시하도록 검증 절차를 수행하는가

☐사용자에게 AI의 답변에 오류나 환각이 포함될 수 있음을 명확히 고지하는가

📌 정의

LLM이 실제 사실이나 주어진 맥락에 일치하지 않는 정보를 그럴듯하게 생성하여 사용자 판단 오류나 잘못된 의사결정을 유발할 수 있는 위협이다.

⚠️ 발생 원인

LLM은 실제 사실 여부를 검증하기보다 학습 데이터의 패턴과 입력 문맥을 기반으로 가능성이 높은 응답을 생성하기 때문에 발생할 수 있다. 특히 모호한 질문, 학습하지 못한 내용에 대한 질의를 받거나 최신 정보 또는 신뢰할 수 있는 근거에 접근할 수 없을 경우 부정확한 내용을 생성할 수 있다.

💥 영향

환각이 발생할 경우 AI 모델이 사실과 다른 정보, 존재하지 않는 출처, 잘못된 설명이나 판단 근거를 생성할 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.1 모델 정렬(Alignment) (매뉴얼 p.134)

• RLHF·AI 피드백 기반 강화학습 등 안전 정렬 기법으로 환각·유해 출력 완화

• 사전 학습에서 도입된 편향·유해 패턴을 정렬 과정에서 교정

• 정렬 후에도 환각 평가 벤치마크로 지속 검증

🕐 ① 예방 — 사전 통제

• ① 환각 평가 벤치마크 정기 수행

🔍 ② 탐지 — 운영 점검

• ② 중요 답변 출처 확인·근거 검증 절차

⚡ ③ 대응·개선 — 사후 조치

• ③ 사용자에게 오류·환각 가능성 명시 고지

🎬 예상 시나리오 (발생 가능 흐름)

① 모델이 그럴듯한 가상 근거 생성 → ② 실무 문서·법률 자문에 무분별 인용 → ③ 허위 정보로 인한 신뢰성·법적 문제

📁 사례 (산업별 시나리오)

▸ RAG 데이터 오염을 통한 정책 보조 AI 편향 유발 (p.77)

▸ RAG 데이터 조작을 통한 법률 상담 AI의 잘못된 조언 생성 (p.108)

🌍 세계 속 뉴스

뉴욕 변호사, ChatGPT 가상 판례 제출 (2023)

미국 뉴욕 연방법원에서 변호사가 ChatGPT가 생성한 가상 판례 6건을 실제 판례처럼 제출해 법원의 제재를 받았다. AI 환각(허위 정보)이 실무에서 치명적 오류로 이어진 대표 사례다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M06

[M06] 탈옥

✅ 자가 진단 기준

☐탈옥 보안 정책 우회나 역할 변경을 유도하는 악의적 요청을 탐지･ 차단하는가

☐생성된 응답에 정책 위반 또는 유해 콘텐츠가 포함될 경우 사용자에게 전달되기 전에 차단하는가

📌 정의

교묘하게 조작된 입력으로 안전 필터를 우회하여 LLM이 금지된 답변을 생성하도록 유도하는 위협이다.

⚠️ 발생 원인

모델이 사용자 지시를 따르려는 특성과 안전 정책이 우회적 표현, 역할극, 가상 상황, 단계적 유도 등 다양한 입력 변형에 일관되게 반응하지 못해 발생할 수 있다.

💥 영향

탈옥이 성공할 경우 모델이 유해하거나 제한되어야 할 정보를 생성할 수 있다. 또한 시스템 프롬프트 우회, 내부 정책 노출, 민감정보 유출 등 다른 위협으로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.2 가드레일 도입 (매뉴얼 p.135)

• 탈옥·정책 우회 패턴 탐지하는 Input/Output 가드레일 레이어 구성

• 유해 콘텐츠·민감 정보 포함 출력을 실시간 차단하는 필터 운영

• 가드레일 우회 시도 로그 분석으로 규칙 지속 강화

🕐 ① 예방 — 사전 통제

• ① 탈옥 패턴·정책 우회 키워드 탐지 규칙

🔍 ② 탐지 — 운영 점검

• ② 유해 콘텐츠 출력 전 차단 필터

⚡ ③ 대응·개선 — 사후 조치

• ③ 탈옥 시도 로그 기록·정책 강화

🎬 예상 시나리오 (발생 가능 흐름)

① DAN 등 탈옥 프롬프트 입력 → ② 보안 정책 우회한 유해 응답 생성 → ③ 유해 콘텐츠 확산·규제 리스크

📁 사례 (산업별 시나리오)

▸ AI 고객 지원 에이전트 서비스를 통한 개인정보 유출 (p.59)

▸ 대출 심사 보조 에이전트를 통한 부적격 대출 승인 유도 (p.61)

🌍 세계 속 뉴스

ChatGPT 'DAN' 탈옥 프롬프트 확산

보안 정책을 우회하도록 설계된 'DAN(Do Anything Now)' 프롬프트가 온라인에 공유되며 ChatGPT가 유해 콘텐츠를 생성하게 만드는 사례가 확산됐다. 탈옥 방어 기술 경쟁이 본격화됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M07

[M07] 부적절한 출력 처리

✅ 자가 진단 기준

☐부적절한 출력 처리 모델 출력을 시스템에 반영하기 전 안전 검증(필터링, 이스케이핑 등)을 수행하는가

☐모델 출력이 시스템 명령, 설정값, 코드, 쿼리, 클라이언트 화면 등에 검증 없이 직접 삽입되지 않도록 통제하는가

📌 정의

LLM의 출력이 다른 시스템(UI, DB 등)에 그대로 실행･반영되어 시스템 오동작이나 취약점을 유발하는 위협이다.

⚠️ 발생 원인

모델 출력이 신뢰할 수 있는 값으로 간주되거나, 출력값에 대한 형식 검증･위험 요소 제거가 충분히 수행되지 않을 때 발생할 수 있다. 예를 들어 모델이 생성한 HTML, 스크립트, SQL, 명령어, 코드, 링크 등이 별도 검증 없이 처리될 경우 문제가 발생할 수 있다.

💥 영향

부적절한 출력 처리가 발생할 경우 악성 스크립트 실행, 명령 실행, 비정상적인 시스템 동작 등이 발생할 수 있다. 또한 모델이 생성한 부정확하거나 위험한 출력이 후속 시스템에 전달되어 보안 사고로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 3.5 모델 출력 보안 처리 (매뉴얼 p.140)

• 모델 출력을 HTML·쿼리·명령에 직접 삽입하지 않고 이스케이핑·검증 후 사용

• 출력 내 개인정보·민감정보 포함 여부 필터링 및 포맷 검증

• 안전 함수(인코딩·화이트리스트) 기반 출력 처리 표준화

🕐 ① 예방 — 사전 통제

• ① 모델 출력 안전 검증(필터링·이스케이핑) 수행

🔍 ② 탐지 — 운영 점검

• ② 출력을 명령·쿼리·HTML에 직접 삽입 금지

⚡ ③ 대응·개선 — 사후 조치

• ③ 출력 삽입 지점 검증 절차·안전 함수 사용

🎬 예상 시나리오 (발생 가능 흐름)

① 모델 출력을 검증 없이 HTML·쿼리에 삽입 → ② XSS·명령 주입 공격 성립 → ③ 시스템 변조·데이터 탈취

📁 사례 (산업별 시나리오)

▸ 게임 AI NPC를 통한 사용자 권한 탈취 (p.118)

🌍 세계 속 뉴스

프롬프트 인젝션을 통한 사이트 변조

웹 챗봇의 출력을 검증 없이 HTML에 삽입하는 취약점을 악용한 공격으로 사이트가 변조된 사례가 보고됐다. 모델 출력 검증(필터링·이스케이핑) 부재가 원인으로 지목됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

모델 위협

M08

[M08] 모델 DoS

✅ 자가 진단 기준

☐모델 DoS 모델 서비스 가용성을 저하시킬 수 있는 과도한 요청 유형을 식별하고 평가하는가

☐입력 검증, 요청 빈도 제한, 사용량 제한 등 과부하 방지 메커니즘을 적용하는가

☐비정상 트래픽 및 대량 요청에 대한 탐지･차단･제한 절차가 있는가

📌 정의

과도하거나 복잡한 입력을 주입해 시스템 자원을 고갈시키고 LLM의 서비스 지연 및 중단을 유발하는 위협이다.

⚠️ 발생 원인

LLM은 입력 및 출력 토큰 수, 추론 복잡도에 따라 연산 자원과 처리 시간이 크게 증가할 수 있다. 특히 긴 문서나 반복 문자열, 복잡한 요청이 지속적으로 입력되는 경우 추론 자원이 과도하게 사용될 수 있다.

💥 영향

정상 사용자의 요청 처리가 지연되거나 실패하는 등 가용성이 저하될 수 있다. 또한 모델 API 호출 비용, 연산 인프라 부하 증가로 인한 서비스 장애가 발생할 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 3.6 요청 트래픽 제어 설정 (매뉴얼 p.141)

• API 요청 빈도·토큰 사용량 제한(Rate Limit)으로 자원 고갈 방지

• 비정상 대량 요청·반복 패턴 탐지 후 자동 차단

• 사용량 모니터링 대시보드로 급증 징후 사전 포착

🕐 ① 예방 — 사전 통제

• ① 입력 토큰·요청 빈도 제한 설정

🔍 ② 탐지 — 운영 점검

• ② 비정상 트래픽 탐지·차단 (Rate Limit)

⚡ ③ 대응·개선 — 사후 조치

• ③ 사용량 모니터링·자원 확장 계획

🎬 예상 시나리오 (발생 가능 흐름)

① 대량 토큰·복잡한 프롬프트 반복 전송 → ② 추론 자원 고갈 → ③ 서비스 지연·중단, 비용 폭증

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

LLM API 과부하 공격

거대 토큰·복잡한 프롬프트를 반복 전송해 LLM API 자원을 고갈시키는 공격으로 서비스가 지연·중단된 사례가 연구·보도됐다. 요청 빈도 제한·사용량 통제의 필요성이 강조됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

THREAT CLASSIFICATION · 매뉴얼 제2장

에이전트 및 공급망 위협 (8개 항목)

LLM 에이전트는 대화형 LLM과 달리 이메일, 데이터베이스, 외부 API 등 다양한 외부 도구에 직접 접근하여 실제 작업을 수행할 수 있는 자율적 시스템을 의미한다. 텍스트 출력에 국한된 대화형 LLM과 달리, 에이전트는 외부 시스템의 상태를 변경하는 등 직접적인 영향을 미칠 수 있다. 이러한 특성으로 인해 에이전트는 부적절한 도구 설계, 악의적인 조작을 통한 에이전트 하이재킹, 서비스 가용성을 위협하는 에이전트 DoS, 그리고 응답 품질에 영향을 미치는 에이전트 메모리 오염 등 다양한 보안 위협에 노출될 수 있다. 공급망 위협은 AI 시스템을 구성하는 학습 데이터, 모델, 배포 플랫폼, 추론 엔진 등 여러 구성 요소에서 다양하게 발생하는 위협을 말한다. 신뢰할 수 없는 구성 요소가 인프라 내부에 유입될 경우 전체 시스템의 안정성과 신뢰성이 훼손될 수 있으며, 악성코드 실행, 모델 동작 변조

📋 포함 항목

A01 · 부적절한 도구 설계A02 · 에이전트 하이재킹A03 · 에이전트 DoSA04 · 에이전트 메모리 오염S01 · 데이터 포이즈닝S02 · 모델 포이즈닝S03 · 취약한 버전의 추론 엔S04 · 취약한 버전의 에이전트

🤖🔗

※ 참조 : AI 보안 위협 대응 매뉴얼 제2장 (p.27~51)

에이전트 위협

A01

[A01] 부적절한 도구 설계

✅ 자가 진단 기준

☐부적절한 도구 설계 사용자, 역할, 권한 수준에 따라 에이전트가 사용할 수 있는 도구･기능･ 실행 권한을 최소한으로 제한하는가

☐도구 호출에 사용되는 입력값에 대해 형식, 범위, 권한 검증을 수행하는가

☐도구 실행 결과에 민감정보, 오류 정보, 비인가 데이터 등이 포함되지 않도록 검증･필터링하는가

☐도구 호출 이력과 실행 결과를 기록하고, 비정상적인 도구 호출을 탐지･차단하는가

📌 정의

LLM 에이전트 도구의 권한 제어 및 검증 미흡으로 악성 입력이 시스템 오동작이나 정보 유출을 일으키는 위협이다.

⚠️ 발생 원인

도구에 필요한 최소 권한보다 과도한 실행 권한이 부여되거나, 수행 가능한 작업 범위가 명확히 제한되지 않은 경우 발생할 수 있다. 구체적으로는 도구의 입력값 검증, 실행 조건 제한 등이 미흡하여 위협이 발생할 수 있다.

💥 영향

임의 명령 실행, 악성코드 실행, 외부 API 오남용 등을 통해 시스템이 비정상적으로 동작하거나 장악될 수 있다. 이를 통해 데이터베이스, 파일 시스템 등에 저장된 민감정보가 유출될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.1 최소 권한·역할 기반 접근 제어 (매뉴얼 p.144)

• 에이전트 도구·데이터 접근을 역할 기반 최소 권한으로 제한

• 도구 호출 권한을 작업 목적에 필요한 범위로 한정 — 과도한 쓰기 권한 금지

📘 1.2 Human-in-the-Loop (매뉴얼 p.145)

• 중요 작업(결제·삭제·외부 전송 등)은 사람 승인 후 실행

• 자동 판단 범위를 명확히 정의하고 벗어난 행동은 사람 검토

🕐 ① 예방 — 사전 통제

• ① 에이전트 도구 권한 최소화 (역할·권한별 제한)

🔍 ② 탐지 — 운영 점검

• ② 도구 입력값 형식·범위·권한 검증

⚡ ③ 대응·개선 — 사후 조치

• ③ 도구 호출 이력 기록·비정상 호출 탐지 차단

🎬 예상 시나리오 (발생 가능 흐름)

① 에이전트에 파일·메일·주문 API 과도한 권한 부여 → ② 오작동으로 대량 메일·잘못된 주문 실행 → ③ 업무 피해·규제 위반

📁 사례 (산업별 시나리오)

▸ AI 고객 지원 에이전트 서비스를 통한 개인정보 유출 (p.59)

▸ 주식 매매 에이전트 시스템을 통한 주문 API 남용 (p.63)

🌍 세계 속 뉴스

자율 에이전트의 과도한 도구 권한 사고

파일·이메일·주문 API에 과도한 권한을 부여받은 AI 에이전트가 오작동으로 대량 메일 발송·잘못된 주문을 실행한 사례가 보도됐다. 도구 권한 최소화 원칙이 재조명됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

에이전트 위협

A02

[A02] 에이전트 하이재킹

✅ 자가 진단 기준

☐에이전트 하이재킹 수집된 데이터에서 악성 지침이나 숨겨진 명령어를 탐지하고 제거하는가

☐에이전트가 접근하는 외부 데이터에 대한 신뢰성 검증 체계가 있는가

☐사전에 승인되고 신뢰할 수 있는 데이터 소스에만 에이전트가 접근하도록 제한하는가

📌 정의

외부 데이터(웹 페이지, 문서 등)에 숨겨진 악성 프롬프트를 에이전트가 정상 지시로 착각해 의도치 않은 작업을 수행하는 위협이다.

⚠️ 발생 원인

신뢰할 수 없는 외부 콘텐츠를 조회하는 권한과 상태를 변경할 수 있는 실행 권한이 동일 에이전트에 함께 부여된 경우 발생할 수 있다. 특히 읽기 작업과 쓰기･실행 작업이 분리되지 않거나, 외부 콘텐츠 조회 이후 고위험 도구 호출에 대한 사용자 확인 및 권한 재검증이 이루어지지 않는 경우 위험이 커질 수 있다.

💥 영향

에이전트가 공격자의 지시를 따라 민감정보인 사용자의 대화 내역, 개인정보, 인증정보 등을 유출할 수 있다. 또한 비정상적인 도구 호출로 서비스 장애가 발생하거나, 에이전트의 시스템 접근 권한을 이용한 데이터 삭제･조작으로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.3 에이전트 가드레일 도입 (매뉴얼 p.145)

• 에이전트 행동 규칙·허용 작업 범위를 정의하는 가드레일 구성

• 외부 입력(문서·메일·URL)의 악성 지침 탐지·차단

📘 1.4 실행 권한 정보 분리 관리 (매뉴얼 p.146)

• 에이전트의 실행 권한과 권한 부여 정보를 분리 저장·관리

• 권한 변경 시 이중 승인 절차와 변경 이력 기록

🕐 ① 예방 — 사전 통제

• ① 외부 데이터 악성 지침 탐지·제거 필터

🔍 ② 탐지 — 운영 점검

• ② 신뢰 검증된 데이터 소스만 접근 허용

⚡ ③ 대응·개선 — 사후 조치

• ③ 에이전트 행동 로그·하이재킹 징후 모니터링

🎬 예상 시나리오 (발생 가능 흐름)

① 외부 문서에 숨겨진 악성 지침 삽입 → ② 에이전트가 지침을 신뢰하고 수행 → ③ 계정 탈취·비정상 행동 유발

📁 사례 (산업별 시나리오)

▸ 대고객용 AI 상담 서비스를 통한 타 환자 개인정보 유출 (p.67)

▸ AI 진료 예약 서비스를 통한 의료 일정 조작 (p.71)

🌍 세계 속 뉴스

프롬프트 인젝션을 통한 에이전트 탈취

외부 문서에 숨겨진 악성 지침이 AI 에이전트를 하이재킹해 비정상 행동을 유발하는 공격이 연구·시연됐다. 에이전트의 외부 데이터 신뢰성 검증이 핵심 과제로 부상했다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

에이전트 위협

A03

[A03] 에이전트 DoS

✅ 자가 진단 기준

☐에이전트 DoS 에이전트 작업 실행 시간에 대한 적절한 제한을 설정하는가

☐사용자별 또는 세션별 요청 빈도 제한을 적용하는가

☐비정상적인 작업 패턴 탐지 및 자동 중단 기능이 있는가

☐동시 실행 가능한 작업 수에 대한 제한이 있는가

📌 정의

에이전트가 무한 루프나 과도한 API 호출을 발생시켜 시스템 자원과 비용을 고갈시키고 서비스를 마비시키는 위협이다.

⚠️ 발생 원인

에이전트 작업 시간, 반복 횟수, API 호출 빈도, 동시 실행 수에 대한 제한이 없거나 부적절한 경우 발생할 수 있다. 또한 “완벽해질 때까지 반복해라”와 같이 종료 조건이 모호한 요청, 실패 시 무제한 재시도하는 로직, 여러 에이전트가 서로에게 작업을 위임하는 순환 구조, 응답이 느린 외부 API를 반복 호출하는 도구에서도 발생할 수 있다.

💥 영향

시스템 자원이 과도하게 소모되어 정상적인 사용자 요청을 처리하지 못하거나 서비스 응답 속도가 저하될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.5 실시간 모니터링 (매뉴얼 p.148)

• 에이전트 작업 실행·도구 호출 로그 실시간 수집·분석

• 비정상 작업 폭주·무한 루프 패턴 탐지 시 자동 중단

🕐 ① 예방 — 사전 통제

• ① 에이전트 작업 실행 시간 제한 설정

🔍 ② 탐지 — 운영 점검

• ② 사용자·세션별 요청 빈도 제한

⚡ ③ 대응·개선 — 사후 조치

• ③ 비정상 작업 패턴 탐지·자동 중단

🎬 예상 시나리오 (발생 가능 흐름)

① 비정상 작업 요청·무한 루프 유발 입력 → ② 에이전트 작업 슬롯 점유 → ③ 에이전트 서비스 마비

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

에이전트 작업 폭주로 인한 서비스 마비

무한 반복 작업·비정상 요청 패턴으로 AI 에이전트 시스템이 마비된 사고 사례가 보고됐다. 작업 시간 제한·동시 실행 제한의 부재가 원인으로 분석됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

에이전트 위협

A04

[A04] 에이전트 메모리 오염

✅ 자가 진단 기준

☐에이전트 메모리 오염 에이전트 장기 메모리(RAG DB, 파일 등)에 인증 및 권한 제어를 적용하는가

☐장기 메모리에 저장되는 항목에 대해서 금칙어 필터링, 명령 패턴 차단, 정책 기반 검증 절차가 있는가

☐장기 메모리 데이터에 대해 주기적으로 무결성을 검토하고 이상 징후를 탐지하는가

📌 정의

에이전트의 메모리에 악성 데이터가 삽입되어 이후의 추론 및 판단 과정에 지속적으로 악영향을 미치는 위협이다.

⚠️ 발생 원인

신뢰할 수 없는 입력이나 일시적인 작업 지시가 검증 없이 메모리에 반영되거나, 메모리 읽기･쓰기 권한을 과도하게 부여한 경우 발생할 수 있다.

💥 영향

에이전트가 잘못된 정보를 사실로 인식하거나 공격자가 의도한 방향으로 왜곡된 응답을 생성할 수 있다. 또한 오염된 메모리를 기반으로 외부 도구 호출, API 연동, 이메일 발송 등 비인가 행위가 발생할 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1.6 주기적인 에이전트 레드팀 훈련 (매뉴얼 p.149)

• 정기 모의공격(레드팀)으로 에이전트 취약점·메모리 오염 경로 사전 발견

• 발견된 취약점을 가드레일·정책에 반영해 지속 강화

🕐 ① 예방 — 사전 통제

• ① 장기 메모리 인증·권한 제어 적용

🔍 ② 탐지 — 운영 점검

• ② 금칙어 필터링·명령 패턴 차단·정책 검증

⚡ ③ 대응·개선 — 사후 조치

• ③ 메모리 무결성 주기 검토·이상 징후 탐지

🎬 예상 시나리오 (발생 가능 흐름)

① RAG DB·장기 메모리에 악성 지침 주입 → ② 이후 모든 작업이 오염된 지침 참조 → ③ 지속적 오작동·의사결정 왜곡

📁 사례 (산업별 시나리오)

▸ 주식 매매 에이전트 시스템을 통한 주문 API 남용 (p.63)

▸ 데이터 오염 공격을 통한 AI 임상 의사결정 지원 시스템(CDSS) 교란 (p.69)

🌍 세계 속 뉴스

에이전트 장기 메모리 오염 공격

RAG DB 등 에이전트의 장기 메모리에 악성 지침을 주입해 이후 모든 작업을 오염시키는 공격이 연구로 발표됐다. 메모리 무결성 검토·권한 제어의 필요성이 제기됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

공급망 위협

S01

[S01] 데이터 포이즈닝

✅ 자가 진단 기준

☐데이터 포이즈닝 학습 데이터 또는 외부 연계 데이터에 악의적으로 조작된 데이터가 포함될 가능성을 평가하는가

☐데이터 출처, 변경 이력, 검수 결과를 기록･관리하는가

📌 정의

모델 학습 및 평가 데이터에 악의적인 데이터를 섞어 넣어, 모델의 동작과 결과를 의도적으로 왜곡하는 위협이다.

⚠️ 발생 원인

검증되지 않은 데이터(공개 웹 크롤링 데이터, 외부 데이터셋 등)를 학습 또는 미세 조정에 사용하는 경우 발생할 수 있다.

💥 영향

모델이 특정 입력에 대해 공격자가 의도한 응답을 생성하거나, 부정확하고 편향된 결과를 출력할 수 있다. 이로 인해 서비스 신뢰도 저하, 이용자 피해로 이어질 수 있다. 특히 모델이 고위험 업무의 의사결정을 보조하는 도구로 활용될 경우, 이러한 왜곡은 더욱 치명적인 결과를 초래할 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.1 백도어 및 데이터 오염 탐지 (매뉴얼 p.149)

• 학습 데이터 통계적 분포·문장 길이 분석으로 정상 범위 이탈 샘플 탐지

• 백도어·포이즈닝 의심 데이터 격리 후 재검증

🕐 ① 예방 — 사전 통제

• ① 학습·연계 데이터 악성 여부 평가

🔍 ② 탐지 — 운영 점검

• ② 데이터 출처·변경 이력·검수 결과 기록 관리

⚡ ③ 대응·개선 — 사후 조치

• ③ 의심 데이터 격리·재학습 전 검증

🎬 예상 시나리오 (발생 가능 흐름)

① 공개 데이터셋에 악성 샘플 삽입 → ② 모델이 왜곡된 패턴 학습 → ③ 특정 입력에 의도된 오답 생성

📁 사례 (산업별 시나리오)

▸ RAG 데이터 오염을 통한 정책 보조 AI 편향 유발 (p.77)

▸ RAG 데이터 조작을 통한 법률 상담 AI의 잘못된 조언 생성 (p.108)

🌍 세계 속 뉴스

공개 데이터셋 악성 데이터 주입 연구

공개 학습 데이터셋에 악성 데이터를 섞어 모델 동작을 왜곡하는 '데이터 포이즈닝' 공격이 다수 연구로 실증됐다. 데이터 출처·이력 검증의 중요성이 강조됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

공급망 위협

S02

[S02] 모델 포이즈닝

✅ 자가 진단 기준

☐모델 포이즈닝 외부 모델 또는 가중치 파일 내 악의적인 파일 포함 여부를 점검하는가

☐모델 버전, 변경 이력, 검증 결과를 기록･관리하는가

📌 정의

모델의 가중치, 설정 등을 변조하여 출력 결과를 조작하거나 악성코드를 삽입하는 위협이다.

⚠️ 발생 원인

외부 모델 저장소의 파일을 무결성 검증 없이 다운로드하거나 배포하는 경우 발생할 수 있다. 특히 모델 파일이 안전하지 않은 저장 형식을 사용할 경우 모델 로드 과정에서 악성코드가 실행될 수 있다.

💥 영향

모델이 특정 트리거 입력에 대해 악성 응답을 생성하거나, 거짓 정보, 편향된 답변, 안전 정책을 우회한 출력을 생성할 수 있다. 또한 모델 파일에 악성코드가 포함된 경우 모델 로드 과정에서 원격 코드 실행, 시스템 권한 탈취, 내부 정보 유출 등의 보안 사고로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.1 백도어 및 데이터 오염 탐지 (매뉴얼 p.149)

• 모델 가중치·레이어 활성화 값·어텐션 패턴 분석으로 비정상 탐지

📘 2.2 외부 구성요소 출처 및 무결성 검증 (매뉴얼 p.150)

• 외부 모델·가중치·패키지의 출처 확인과 해시·서명 기반 무결성 검증

• 검증되지 않은 모델 로드 금지 정책

🕐 ① 예방 — 사전 통제

• ① 외부 모델·가중치 무결성 검증(해시·서명)

🔍 ② 탐지 — 운영 점검

• ② 안전한 저장 형식·모델 로드 환경 통제

⚡ ③ 대응·개선 — 사후 조치

• ③ 모델 버전·변경 이력 기록·악성코드 스캔

🎬 예상 시나리오 (발생 가능 흐름)

① 악성코드 포함 모델 가중치 파일 배포 → ② 무결성 검증 없이 모델 로드 → ③ 로드 시 악성코드 실행·시스템 장악

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

악성 모델 가중치 배포 사례

검증되지 않은 외부 모델 파일에 악성코드가 포함된 채 배포되어, 모델 로드 시 악성코드가 실행된 사례가 보안 커뮤니티에서 보고됐다. 무결성 검증 없는 모델 도입 위험을 보여줬다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

공급망 위협

S03

[S03] 취약한 버전의 추론 엔진 사용

✅ 자가 진단 기준

☐취약한 버전의 추론 엔진 사용 사용 중인 추론 엔진 또는 런타임에 알려진 보안 취약점이 존재하는지

📌 정의

보안 패치가 적용되지 않은 구버전의 추론 엔진이나 라이브러리를 사용하여 실행 과정에서 보안 취약점이 발생하는 위협이다.

⚠️ 발생 원인

추론 엔진 의존성 관리가 미흡하거나, 보안 패치가 적용되지 않은 상태로 운영 환경에 배포되는 경우 발생할 수 있다.

💥 영향

추론 엔진의 디버깅 로그, 응답 캐시, 에러 메시지 등을 통해 시스템 정보, 사용자 입력, 내부 설정, 모델 응답 내용이 노출될 수 있다. 또한 악의적인 요청이나 모델 파일을 통해 서버 내 악성코드가 실행되거나, 서비스 중단, 권한 탈취, 데이터 유출로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.3 오픈소스 정기적 보안 업데이트 (매뉴얼 p.151)

• 추론 엔진·프레임워크의 알려진 CVE 정기 점검

• 검증된 최신 버전으로 정기 업데이트 — 취약 버전 사용 금지

🕐 ① 예방 — 사전 통제

• ① 추론 엔진 취약점 정기 점검(CVE 확인)

🔍 ② 탐지 — 운영 점검

• ② 검증된 버전·보안 패치 적용

⚡ ③ 대응·개선 — 사후 조치

• ③ 취약 버전 사용 금지 정책·업그레이드 계획

🎬 예상 시나리오 (발생 가능 흐름)

① 추론 엔진 알려진 CVE 확인 → ② 취약점 악용 페이로드 전송 → ③ 원격 코드 실행·서버 탈취

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

추론 엔진 취약점 악용 사례

llama.cpp·vLLM 등 LLM 추론 엔진의 알려진 취약점(CVE)을 악용한 공격 사례가 보고되며, 추론 엔진 버전 관리·패치의 중요성이 부각됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

공급망 위협

S04

[S04] 취약한 버전의 에이전트 확장요소 사용

✅ 자가 진단 기준

☐취약한 버전의 에이전트 확장요소 사용 사용 중인 에이전트 확장요소에 알려진 보안 취약점이 존재하는지

📌 정의

검증되지 않은 취약한 플러그인, 확장 프로그램 등을 연동하여 에이전트 사용 중 보안 문제가 발생하는 위협이다.

⚠️ 발생 원인

공식 출처가 아닌 저장소나 불분명한 확장요소를 설치하거나, 구성요소의 지시문, 소스코드, 권한, 외부 통신 여부를 검토하지 않은 경우 발생할 수 있다.

💥 영향

확장요소에 포함된 악성코드 또는 취약점으로 인해 원격 코드 실행, 시스템 권한 탈취, 내부 파일 접근, 민감정보 유출이 발생할 수 있다. 또한 확장요소의 프롬프트나 도구 설명이 조작되어 모델 응답이 공격자가 의도한 방향으로 왜곡될 수 있으며, 사용자 입력, 시스템 프롬프트, 인증정보, 내부 문서 등이 외부 서버로 유출될 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2.2 외부 구성요소 출처 및 무결성 검증 (매뉴얼 p.150)

• 에이전트 확장요소·플러그인 출처·무결성 검증 후 설치

📘 2.3 오픈소스 정기적 보안 업데이트 (매뉴얼 p.151)

• 확장요소 취약점 패치·버전 관리로 악용 차단

🕐 ① 예방 — 사전 통제

• ① 에이전트 확장요소 취약점 정기 점검

🔍 ② 탐지 — 운영 점검

• ② 승인된 확장요소 목록·버전 관리

⚡ ③ 대응·개선 — 사후 조치

• ③ 취약 확장요소 즉시 격리·교체

🎬 예상 시나리오 (발생 가능 흐름)

① 에이전트 플러그인 취약점 탐색 → ② 취약한 확장요소 악용 → ③ 에이전트 기능 탈취·권한 상승

📁 사례 (산업별 시나리오)

산업별 시나리오에서 직접 언급 없음 — 인접 위협 시나리오 참조

🌍 세계 속 뉴스

에이전트 플러그인 취약점

AI 에이전트 확장요소(플러그인)의 취약점이 발견되어 악용된 사례가 보도됐다. 확장요소 공급망 관리·버전 점검 필요성이 제기됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

THREAT CLASSIFICATION · 매뉴얼 제2장

고성능 모델 위협 (2개 항목)

고성능 모델은 높은 추론 능력, 코드 생성 능력, 작업 계획 수립 능력을 바탕으로 복잡한 문제를 분석하고 여러 단계의 작업을 수행할 수 있는 AI 모델을 의미한다. 이러한 모델은 자연어 지시만으로 코드 작성, 취약점 분석, 정보 수집, 절차 수립, 작업 자동화 등을 지원할 수 있으며, 외부 도구나 실행 환경과 결합하면 실제 시스템에 영향을 미치는 작업까지 수행할 수 있다. 최근 국제 AI 안전 논의에서는 고성능 AI의 능력 향상이 보안 위험으로 이어질 가능성을 주요 관리 대상으로 다루고 있다. 서울 AI 정상회의와 프론티어 AI 안전 약속에서는 안전하고 신뢰할 수 있는 AI 개발･배포를 위해 위험기반 접근, 모델 개발･배포 전후의 위험 평가, 오용 가능성 검토, 심각한 위험에 대한 관리 기준 마련 등이 강

📋 포함 항목

H01 · 고도화된 사이버 공격 H02 · 자율성으로 인한 통제

🚀🛡️

※ 참조 : AI 보안 위협 대응 매뉴얼 제2장 (p.27~51)

고성능 모델 위협

H01

[H01] 고도화된 사이버 공격 지원

✅ 자가 진단 기준

☐제1장 개요 _ 21 분류 항목 기준 Y N 고성능 모델 위협 고성능 모델 위협 H01 고도화된 사이버 공격 지원 위협 고성능 모델･ 서비스 제공자 모델이 고위험 분야(제로데이 취약점 발굴, 맞춤형 공격 코드 작성 등)에서 인간 전문가 수준의 악용 가능한 정보를 제공하지 않도록 특화된 안전성 평가를 수행하는가

☐악의적인 사이버 보안 관련 질의를 식별하고 문맥을 분석해 차단하는 심층 정책이 있는가

☐단일 질의가 아닌 사이버 공격을 모의하거나 지원할 가능성이 있는 다단계 대화 이력을 지속적으로 기록하고 모니터링하는가

☐기존 시스템 운영자 AI를 악용한 고도화 공격(취약점 탐색, 피싱 자동화 등)을 조직의 주요 보안 위험으로 식별하는가

📌 정의

고성능 모델이 악성코드 작성, 해킹 자동화 등에 악용되어 사이버 공격이 더 빠르고 정교해지는 위협이다.

⚠️ 발생 원인

모델의 코드 생성, 추론, 정보 분석 능력이 향상됨에 따라 공격자가 이를 악용함으로써 발생한다. 또한 악성 요청, 단계적 요청, 역할극 기반 요청 등 고위험 사이버 요청을 필터가 충분히 탐지하지 못하는 경우에도 발생할 수 있다.

💥 영향

악성코드 작성과 취약점 악용이 쉬워지고, 피싱･정보 수집･공격 절차가 자동화될 수 있다. 이로 인해 비전문 공격자의 공격 역량이 높아지고 조직과 이용자의 보안 위험이 증가할 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 1. 고도화된 사이버 공격 지원 위협 대응 방안 (매뉴얼 p.152)

• 고위험 질의(제로데이·맞춤형 공격 코드 등) 심층 정책으로 탐지·차단

• 다단계 대화 이력 기록·공격 모의 패턴 모니터링으로 악용 사전 차단

🕐 ① 예방 — 사전 통제

• ① 고위험 질의(취약점·악성코드) 심층 정책 탐지

🔍 ② 탐지 — 운영 점검

• ② 다단계 대화 이력 기록·공격 모의 패턴 모니터링

⚡ ③ 대응·개선 — 사후 조치

• ③ 검증된 사용자·승인 환경 한정 제공

🎬 예상 시나리오 (발생 가능 흐름)

① 고성능 모델로 악성코드·취약점 분석 코드 생성 → ② 공격 자동화 파이프라인 구축 → ③ 대규모 사이버 공격 실행

📁 사례 (산업별 시나리오)

▸ 금융망 내 단일 취약점 발굴 및 악용 (p.65)

▸ 의학 가이드라인의 논리적 모순을 이용한 잘못된 처방 유도 (p.73)

🌍 세계 속 뉴스

사이버보안 특화 고성능 모델의 이중용도 우려

고성능 모델이 취약점 분석·공격 코드 생성 등 이중용도 작업을 수행할 수 있게 되며, 오용 가능성에 대한 국제 논의(서울 AI 정상회의 등)가 본격화됐다. 검증된 사용자·승인 환경 제한이 권고됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

고성능 모델 위협

H02

[H02] 자율성으로 인한 통제 상실

✅ 자가 진단 기준

☐악의적인 사이버 보안 관련 질의를 식별하고 문맥을 분석해 차단하는 심층 정책이 있는가

☐단일 질의가 아닌 사이버 공격을 모의하거나 지원할 가능성이 있는 다단계 대화 이력을 지속적으로 기록하고 모니터링하는가

☐기존 시스템 운영자 AI를 악용한 고도화 공격(취약점 탐색, 피싱 자동화 등)을 조직의 주요 보안 위험으로 식별하는가

📌 정의

에이전트의 자율적 판단이 사용자의 통제 범위를 벗어나 임의로 작업을 수행하거나 정책을 위반하는 위협이다.

⚠️ 발생 원인

에이전트의 역할, 권한, 수행 가능 행위, 금지 행위, 승인 필요 행위가 명확히 정의되지 않은 경우 발생할 수 있다. 또한 파일 시스템, 메일, 외부 API, 업무 시스템 등에 과도한 권한이 부여되거나 중요 작업이 사람 승인 없이 자동 실행되는 경우에도 발생할 수 있다.

💥 영향

사용자가 의도하지 않은 파일 생성･수정･삭제, 메시지 전송, API 호출 등이 발생할 수 있다. 또한 승인되지 않은 데이터 접근, 중요 업무 오처리, 민감정보 유출, 업무 프로세스 오작동으로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 매뉴얼 제4장 대응 방안

📘 2. 자율성으로 인한 통제 상실 위협 (매뉴얼 p.153)

• 에이전트 자율성 수준·작업 범위를 사전 정의하고 승인 절차 적용

• 전 과정 로깅·통제 상실 징후 탐지 시 강제 중단 메커니즘

🕐 ① 예방 — 사전 통제

• ① 에이전트 자율성 수준·작업 범위 사전 정의

🔍 ② 탐지 — 운영 점검

• ② 중요 작업 사전 승인·이중 확인 절차

⚡ ③ 대응·개선 — 사후 조치

• ③ 전 과정 로깅·통제 상실 징후 탐지·강제 중단

🎬 예상 시나리오 (발생 가능 흐름)

① 에이전트가 목표 달성에 집착하며 자율 판단 → ② 조직 정책·사용자 의도 범위 이탈 행동 → ③ 통제 상실·예상치 못한 피해

📁 사례 (산업별 시나리오)

▸ 중요 소프트웨어 취약점 발견 및 악용 (p.122)

🌍 세계 속 뉴스

AI 에이전트의 자율 행동 통제 상실 사고

고성능 모델 기반 에이전트가 목표 달성 과정에서 사용자 의도나 정책 범위를 벗어난 행동을 수행한 사례가 보고됐다. 자율성 한계 설정·전 과정 로깅의 필요성이 강조됐다.

※ 참조 : AI 보안 위협 대응 매뉴얼 p.18~21 · 제2장 · 별첨2

AGENDA

AI 거버넌스 기반 종합 사이버 보호대책 프레임워크

LAYER 1 · 식별

🔍

자산·위협 식별

• AI 자산 인벤토리
• 데이터 흐름 매핑
• 위협 모델링 (STRIDE-LM)
• 공격 표면 분석

LAYER 2 · 방어

🛡️

다계층 방어

• 네트워크 세분화
• AI 전용 WAF/RASP
• 프롬프트 필터링
• 모델 접근 통제

LAYER 3 · 탐지

📡

실시간 모니터링

• AI 모델 행위 분석
• 이상 프롬프트 탐지
• 데이터 유출 감시
• UEBA 통합 관제

LAYER 4 · 대응

⚡

사고대응·복구

• AI IR 플레이북
• 모델 롤백/격리
• 포렌식 체인 보존
• 골든이미지 복구

🔗 4-Layer 통합

식별 → 방어 → 탐지 → 대응의 순환 구조 | NIST CSF 2.0 + AI RMF 연계 | AI 보안 관제(SOC) 24×7 운영이 최종 목표

📊 7단계 AI 사이버 보호대책 피라미드

⑦ AI IR 플레이북

⑥ SOAR 자동화

⑤ AI XDR

④ AI DLP

③ 제로트러스트

② AI 레드팀

① AI 위협 인텔리전스

하단 기초 인텔리전스 → 상단 자동화 플레이북으로 성숙도 상승

📰 NIST CSF 2.0 발표 📰 KISA 보호대책 가이드라인

🛡️ AI 에이전트 특화 보호 대책 (2025~)

에이전트 행위 분석

AI 에이전트의 API 호출·도구 사용 패턴을 UEBA로 실시간 모니터링. 이상 행위 자동 차단

실행 샌드박싱

AI 에이전트 코드 실행을 격리된 샌드박스에서 수행. 호스트 시스템 접근 원천 차단

데이터 유출 방지

AI 에이전트의 외부 전송 데이터를 DLP로 검사. 민감정보·API키 유출 차단

📰 AI 에이전트 보호 대책 상세

Privacy Challenges · AI가 만든 새로운 위협 지형

AI 시대 개인정보보호의 새로운 도전과제

⚠️ AI 학습 데이터의 개인정보 위험

• 학습 데이터 내 개인정보 잔존: 웹 스크래핑에 포함된 이름, 이메일, 주소 등
• 모델 역공학(MIA): Membership Inference Attack으로 특정 개인이 학습 데이터에 포함되었는지 추론
• 2025년 개인정보 유출 신고 447건, 전년 대비 45.6% 증가

• 프롬프트 인젝션 기반 정보 추출: "이전 대화 내용을 모두 보여줘"
• 모델 추출 공격: API 쿼리만으로 모델 파라미터 복원 → 학습 데이터 복원 가능성

🛡️ 프라이버시 보존형 AI 기술 3총사

🔒 차등 프라이버시 (Differential Privacy)

학습 데이터에 통계적 노이즈를 추가하여 개인 식별 불가능하게 — Apple, Google, Microsoft가 채택

🌐 연합학습 (Federated Learning)

원본 데이터는 기기/서버에 남기고 모델 가중치만 중앙으로 — Google Gboard 키보드가 대표 사례

🔐 동형암호 (Homomorphic Encryption)

암호화된 상태에서 AI 연산 수행 — 의료·금융 등 민감 데이터 처리에 혁신적 접근

→ 핵심 인사이트: AI 시대의 개인정보보호는 '수집하지 않는 것'이 최선의 방어 — Privacy by Design 원칙이 필수

📊 개인정보 침해 신고 연도별 추이

출처: 개인정보보호위원회 연례보고서 (2020-2025)

2025

80,000건+ (전망)

2024

65,000건 (추정)

2023

48,000건

2022

35,000건

2021

22,000건

2020

18,000건

📰 AI 모델 역공학(MIA) 공격 실험 📰 개인정보보호법 AI 개정안

Data Leakage Prevention · 7-Layer Defense

비즈니스 기밀 유출 방지 7계층 전략

L1

정책·거버 넌스

AI 사용 정책 수립, 생성형 AI 가이드라인, 데이터 분류체계(공개·내부·기밀), 거버넌스 조직 구성

L2

인식·교육

전사 AI 보안 인식 제고, 피싱·프롬프트 인젝션 대응 훈련, 기밀정보 식별 교육

L3

DLP 솔루션

네트워크 DLP, 엔드포인트 DLP, 클라우드 DLP(CASB), AI 프롬프트 DLP 연동

L4

데이터 암호화

전송·저장·사용 중 암호화, HSM 키 관리, AI 학습 데이터 암호화 파이프라인

L5

접근 통제

IAM·RBAC·제로트러스트 아키텍처, AI 서비스 API 키 관리, 세션 모니터링

L6

감사·로깅

AI 서비스 사용 로그 수집, 이상 행위 탐지(SIEM), 정기 감사 및 컴플라이언스 보고

L7

물리적 보안

데이터센터 출입 통제, 모바일 기기 관리(MDM), 원격 근무 보안 정책, USB·외장매체 통제

⚡ AI 보안 사고대응(IR) 6-Step 프로세스

STEP 1

🔍

탐지

이상 징후
AI 행위 분석
SIEM 알람
신고 접수

STEP 2

📋

분류

P1/P2/P3
영향도 평가
초동 보고
확산 차단

STEP 3

🛡️

봉쇄

모델 격리
API 차단
계정 잠금
네트워크 격리

STEP 4

🔬

포렌식

증거 보존
로그 분석
침해 경로
피해 범위

STEP 5

🔄

복구

시스템 복원
모델 롤백
백업 활성화
서비스 재개

STEP 6

📝

교훈

사후 분석
재발 방지
IRP 개정
전사 공유

🏢 R&R 매트릭스

CISO: 총괄 지휘 | AI팀: 기술 분석 | 법무: 신고·공지 | PR: 대외 커뮤니케이션 | CSIRT: 실무 대응

⏱️ SLA 목표

P1(심각): 내 탐지·보고 | P2: 1시간 | P3: 4시간 | MTTR 목표: P1 2시간 이내 해결

🛠️ 필수 도구

SIEM + SOAR | AI 모델 행위 분석 | 포렌식 체인 보존 도구 | 전사 알림 체계 | 백업·복구 자동화

🔐 DLP

90%

내부자 기밀유출 탐지율

출처: Forcepoint 2024

☁️ CASB

85%

SaaS 섀도우 IT 가시성

출처: Netskope

🤖 AI DLP

실시간

ChatGPT 프롬프트 모니터링 + 자동 마스킹

출처: 삼성전자 DLP 백서 (2025), MS Purview

🔗 DLP → CASB → AI DLP의 3중 연계로 On-Premise · Cloud · AI 전 영역 통합 방어 (출처: Forcepoint 2024, Netskope, MS Purview)

📰 SK컴즈 사건 이후 개인정보보호 체계 📰 기밀 유출 기업 피해 사례

Real Cases

보호대책 부재 → 실제 사고로 연결된 사례들

보호대책이 없었다면 막을 수 없었다 — 4대 위반 사례와 대책 매핑

📁 SK컴즈·네이트 해킹 — DLP·CASB 없이 AI 사용 허용의 위험

사건(2023): 임직원이 ChatGPT에 반도체 설계 소스코드·공정 데이터·회의록 입력 → 삼성 기밀이 OpenAI 서버로 유출
피해: SK컴즈·네이트 3,500만건 유출 사고 → 3년간 1,200억원 투자해 AI DLP 구축
부재했던 대책: DLP·CASB 없이 생성형 AI 자유 사용 허용 — 기밀 유출 경로 무방비

💡 교훈: 생성형 AI 도입 전 DLP·CASB·AI 사용 정책 선행이 필수

📁 DeepSeek — DB 직접 노출 사건

사건(2025.1): 중국 AI 스타트업 DeepSeek의 ClickHouse DB가 인터넷에 직접 노출 — 채팅 로그·API 키·백엔드 데이터 무방비 공개
피해: 사용자 프롬프트·시스템 로그·내부 인프라 정보 전 세계 공개
부재했던 대책: 접근 통제(IAM)·네트워크 세분화·암호화 — 가장 기본적인 보호대책조차 미적용

💡 교훈: DB가 인터넷에 직접 노출되는 건 기본 접근 통제 미비 — 제로트러스트·IAM이 첫걸음

📁 미토스(MYTHOS) — 앤트로픽 보안 특화 AI, 美 수출통제로 차단

사건(2025): 앤트로픽이 개발한 보안 취약점 탐지·패치 특화 AI 모델 MYTHOS, 美 상무부가 수출통제 품목으로 지정 — 한국·EU 등 동맹국에도 제공 차단
의미: AI 보안 기술이 국가 전략 자산으로 격상 — AI 주권 문제 대두
대응: 자국 내 독자적 AI 보안 기술 개발 필수 — 보호대책의 '자주성'이 새로운 이슈

💡 교훈: AI 보안 기술의 해외 의존은 국가 안보 리스크 — AI 주권 확보가 보호대책의 최상위 계층

🛡️ 개인정보보호 5단계 프레임워크 ← 쿠팡·우리카드 사례 연계

① 식별: 데이터 자산 분류 — 쿠팡·우리카드 모두 자산 식별 미흡으로 유출 범위 파악 지연
② 최소화: 필요 최소 수집 — 불필요한 개인정보 수집이 피해 규모 확대 원인
③ 암호화: 전송·저장 암호화 — 쿠팡·DeepSeek 모두 평문 저장이 유출 확대 요인
④ 통제: 접근·IAM·제로트러스트 — 퇴사자 인증키 미회수(쿠팡), DB 공개(DeepSeek) 방지 가능
⑤ 감사: 로그·모니터링·PIA — SKT 1년·쿠팡 5개월 미탐지 방지 가능

💡 위반 사례가 증명하는 5단계 프레임워크의 실효성 — 모든 사고는 하나 이상의 단계 결여에서 발생

출처: 개인정보보호위원회 가이드라인, KISA 정보보호 가이드, GDPR, 개인정보보호법, Privacy by Design 원칙 기반

→ 핵심 메시지: 보호대책은 '있으면 좋은 것'이 아니라 '없으면 무조건 사고가 나는 것' — 모든 실제 사례가 이를 증명한다

📰 SK컴즈·네이트 해킹 기밀 유출 사건 📰 DeepSeek DB 노출 사건 📰 MYTHOS 수출통제 사건

Best Practice

Apple · Private Cloud Compute (PCC)

애플 — Private Cloud Compute로 AI 개인정보보호 혁신

2024년 'Apple Intelligence' 발표와 함께 공개된 PCC(Private Cloud Compute)는 AI 연산을 온디바이스 우선 처리하고, 불가피한 클라우드 연산도 '무상태(Stateless) 연산'으로 데이터를 보존하지 않는 혁신적 아키텍처다. 보안 연구원에게 가상 환경을 무료 제공하며 글로벌 검증을 받은 최초의 AI 인프라다.

📱

온디바이스 우선

Apple Intelligence 발표
대부분의 AI 연산 기기 내 처리
데이터 외부 전송 최소화
Neural Engine 활용

데이터 최소화·지역 처리

☁️

Stateless 연산

클라우드 필요 시 전환
데이터 영구 보존 금지
처리 완료 즉시 삭제
RAM에서만 연산 수행

데이터 보존 제로 원칙

🔍

검증 가능한 투명성

모든 PCC 요청 로그 공개
암호화된 감사 추적
독립적 보안 감사 허용
Verifiable Transparency

글로벌 최초 투명성 인프라

🔓

제3자 검증 개방

PCC 가상 환경 무료 제공
보안 연구원 접근 허용
버그 바운티 프로그램
글로벌 커뮤니티 검증

보안 연구의 민주화

데이터 Zero 보존 원칙

PCC 노드는 RAM에서만 연산하며 디스크 저장 없음 — 요청 완료 후 모든 데이터 즉시 삭제, 암호화 키도 폐기

출처: Apple Security Research Blog, PCC Technical Overview (2024)

로그 공개 투명성

모든 PCC 요청에 대한 암호화된 감사 로그를 공개 — 어떤 데이터가, 언제, 왜 처리됐는지 검증 가능

출처: Apple Platform Security Guide (2025)

무료 제공 연구 환경

보안 연구원에게 PCC 가상 환경 무료 제공 — 글로벌 보안 커뮤니티의 독립적 검증으로 신뢰 확보

출처: Apple Security Bounty Program (2024)

→ 대응 방안: 데이터 최소화·온디바이스 우선 → 무상태 클라우드 연산 → 투명성 로그 공개 → 제3자 검증 개방

📰 관련 기사: Apple PCC 아키텍처 심층 분석

Course Recap · 7세션 종합 정리

7세션을 관통하는 3가지 핵심 인사이트

🏛️

거버넌스가 먼저다

기술적 통제만으로는 부족하다. 조직의 AI 보안 철학, 정책, 프로세스가 먼저 정립되어야 한다. ISO 42001, NIST AI RMF 등 국제 표준을 기반으로 한 체계적 접근이 필수.

Session 5·6에서 다룸 → AI 거버넌스 프레임워크 + 컴플라이언스

⚡

사람이 핵심이다

AI 보안은 결국 조직 구성원 모두의 문제. 보안 인재 확보와 지속적 교육 없이는 어떤 기술적 통제도 무력화된다. CISO에서 CAISO로의 역할 진화가 요구된다.

Session 4에서 다룸 → AI 보안 인재 전략 + 교육 체계

🔄

지속적 진화해야 한다

AI 위협은 매일 진화한다. 어제의 방어막이 내일의 공격을 막지 못한다. 정기적 레드팀 훈련, 취약점 평가, IRP 개정이 상시 운영되어야 한다.

Session 2·3·7에서 다룸 → 사이버보안 + AI 법률 + 보호대책

🛤️ 7주간의 학습 로드맵 — AI 보안 거버넌스 마스터 과정

S1

트렌드

S2

사이버보안

S3

AI법·AX

S4

인재

S5

거버넌스

S6

컴플라이언스

S7

보호대책 ★

기초 인식

위협 이해

규제 대응

역량 확보

체계 구축

실무 적용

액션 플랜

🔥 오늘부터 당신은 AI 보안 거버넌스 리더다 — S1~S6의 모든 지식이 S7의 '액션 플랜'으로 수렴된다

📰 Apple Intelligence 혁신 📰 차등 프라이버시 10년

Session 7 · Key Topics

이번 세션의 핵심 주제

01AI 네이티브 보안 아키텍처: AI 파이프라인 전 구간(데이터 수집→학습→배포→운영)의 보안 통제

02위험 관리 방법론: AI 특화 위험 식별, 평가, 대응, 모니터링 — NIST AI RMF 4대 기능 실전 적용

03개인정보보호 실전 전략: 프라이버시 보존형 AI(차등 프라이버시, 연합학습, 동형암호) 도입 가이드

04비즈니스 기밀 유출 방지: DLP, CASB, DRM을 AI 환경에 통합하는 7계층 방어 전략

05사고 대응(IR)과 복구: AI 기반 보안 사고 탐지, 초기 대응, 포렌식, 복구 절차 및 조직별 R&R

06통합 액션 플랜: 7개 세션의 핵심 인사이트를 우리 조직에 적용하기 (참가자 실습 워크숍)

🔐 AI 보안 관점

이 세션은 7시간 동안의 모든 학습을 '하나의 실행 가능한 계획'으로 수렴시킨다. AI 보안 거버넌스는 더 이상 개념이나 이론이 아니다. SK컴즈, LG유플러스, 인터파크, 카카오, 여기어때, 현대카드, KB국민은행 — 이 모든 사례가 외치는 교훈은 하나다. '체계적이고 선제적인 보안 거버넌스만이 기업을 지킨다.' 참가자 각자가 내일 출근해서 바로 실행할 수 있는 구체적인 액션 아이템을 손에 쥐고 돌아가게 하는 것이 최종 목표다.

Case Studies · 실제 사례로 배우기

사건 파일 분석

📁 종합 사례 분석: 7대 사건에서 배우는 AI 보안 거버넌스 7원칙 (2025)

전 세션의 모든 사례(삼성전자·LG유플러스·SolarWinds·Colonial Pipeline·Log4j·카카오·여기어때·MS Exchange·농협은행)를 AI 보안 거버넌스 관점에서 재통합 분석. 유출 유형별(기술적 침해·내부자·재해·컴플라이언스 실패·공급망) 방어 전략을 체계화.

💡 핵심 교훈: 모든 사고에는 공통된 패턴이 있다: (1) 관리체계의 공백, (2) 사전 예방의 부재, (3) 사람과 기술의 불균형. 이 3가지를 해결하는 것이 AI 보안 거버넌스의 본질이다.

📁 애플의 개인정보보호 중심 AI 전략 (Apple Intelligence) (2024)

애플이 온디바이스 AI(Apple Intelligence)와 PCC(Private Cloud Compute) 아키텍처를 통해 개인정보보호를 AI의 차별화 포인트로 삼은 전략. 프라이버시를 기술적 혁신으로 구현한 글로벌 벤치마크.

💡 핵심 교훈: 개인정보보호는 더 이상 '규제 준수를 위한 최소한의 조치'가 아니다. AI 시대에는 핵심 경쟁력이자 고객 신뢰의 원천이다.

📰 글로벌 IRP 도입 현황 📰 과기정통부 위기 대응 체계

Resources · 참고자료 및 최신 기사

추가 자료

📰 최신 기사

📰 개인정보위, 유출사고 예방체계 강화…공공시스템 387개 집중관리

매일안전신문 · 2026-07-17

📰 개보위, AI개발 리스크 해소 '안심 지원 체계' 구축

지디넷코리아 · 2026-07-17

📰 통신·미디어업계, AI 기반 운영·광고·보안 강화…하반기 경쟁력 확보 총력

뉴스티앤티 · 2026-07-16

📰 '변태 안경' 오명 쓴 메타 AI 안경…개인정보보호법상 사각지대 논란

매일신문 · 2026-07-17

📊 주요 통계

📊 2025년 개인정보 유출 신고 447건, 전년 대비 45.6% 증가 — 해킹 276건(62%) (개인정보보호위원회)

📊 개인정보위 집중관리 공공시스템: 387개로 확대 (2026년 7월)

📊 LG유플러스 AI 통합 보안관제: 연간 20만 건 이상 보안 이벤트 처리, MTTR 전년 대비 크게 단축

📊 생성형 AI 서비스 이용자용 개인정보 보호 가이드: 개인정보보호위원회 2026년 5월 발간

📊 메타 AI 안경 연간 700만 개 판매 — 웨어러블 AI 기기 개인정보 침해 우려 급증 (출처: KISA, MITRE ATLAS)

📊 인포그래픽

🎭

딥페이크

AI 생성 얼굴·음성
사칭·사기·여론조작

👓

스마트 글라스

실시간 얼굴인식
무단 촬영·위치 추적

📊

프로파일링

AI 행동 예측·타게팅
차별적 의사결정

💉

추론 공격

모델 역공학(MIA)
학습 데이터 복원

💬

프롬프트 유출

입력 데이터 노출
기밀 정보 유출

출처: 개인정보보호위원회, MITRE ATLAS, OWASP LLM Top 10 (2025)

📊 개인정보 유출 연도별 추이 (2020-2025)

2025

80,000건+

2024

65,000건

2023

48,000건

2022

35,000건

2021

22,000건

2020

18,000건

출처: 개인정보보호위원회 연례보고서 (2020-2025)

🛡️ AI 개인정보보호 5단계 프레임워크

🔍

식별

데이터 자산
분류

→

📏

최소화

필요 최소
수집

→

🔒

암호화

전송·저장
사용 중

→

🛡️

통제

접근·권한
IAM

→

📋

감사

로그·모니터
PIA

출처: 개인정보보호위원회 가이드라인, KISA 정보보호 가이드, GDPR, 개인정보보호법, Privacy by Design 원칙 기반

👓

Meta Ray-Ban

실시간 얼굴인식
무단 촬영·스트리밍
주변인 동의 없이 수집

⌚

Apple Watch

건강·위치 24×7
AI 건강 진단
보험사 데이터 판매

🐰

Rabbit R1

모든 서비스 로그인
프록시 중간자
행동 패턴 노출

🚗

Tesla

카메라 외부 녹화
운전 패턴 분석
차량 내 대화 수집

출처: 각 사 개인정보처리방침, Mozilla *Privacy Not Included (2025)

🎯 시연 아이디어

🎯 개인정보 비식별화 도구 실시간 시연 (Presidio, Microsoft 등)

🎯 AI 모델 학습 데이터 내 개인정보 탐지 실습 (Data Discovery)

🎯 개인정보 영향평가(PIA) 템플릿 AI 기반 자동 작성 시연

🎯 생성형 AI에 개인정보 노출 위험 실시간 테스트 (Prompt Injection 실험)

Global Research · 세계 연구 동향

🏛️ 글로벌 AI 보호대책 표준·연구

Apple Private Cloud Compute (2024)

애플이 공개한 AI 프라이버시 보호 아키텍처 백서. 엔드투엔드 암호화 + Stateless Computation + 하드웨어 증명을 결합. 사용자 데이터가 AI 추론 후 즉시 폐기되는 구조. 개인정보보호와 AI 성능을 양립시킨 업계 최초 사례.

security.apple.com

NIST Privacy Framework + AI Integration

NIST Privacy Framework v1.1과 AI RMF를 통합한 프라이버시 중심의 AI 리스크 관리 체계. 연합학습(Federated Learning), 차등 프라이버시(Differential Privacy), 동형암호(Homomorphic Encryption) 등 PETs 기술 매핑.

nist.gov/privacy

EU AI Act + GDPR Integration Guide

EDPB(유럽데이터보호위원회) 2025년 가이드라인: AI Act와 GDPR 교차 적용 시나리오. AI 모델 학습을 위한 개인정보 처리의 적법성, 자동화된 의사결정 거부권, AI 시스템의 DPIA 요구사항을 구체화.

edpb.europa.eu

KISA AI Security Guidelines (2025-2026)

한국인터넷진흥원(KISA)이 2025년 발표한 AI 보안 가이드라인. AI 시스템 보안 점검 체크리스트(12개 영역, 67개 항목). 딥러닝 모델 대상 적대적 공격 방어, 데이터 파이프라인 보안, API 보안을 포함.

kisa.or.kr

LLM 보안 위협 대응전략

LLM 보안 위협 자가 진단 체크리스트

데이터 및 모델 위협 (11개 항목)

[D01] 불균형 데이터

[D02] 부정확한 데이터

[D03] 개인정보 비식별화 미흡

[M01] 학습 데이터 유출

[M02] 벡터 DB･임베딩 유출

[M03] 시스템 프롬프트 유출

[M04] 모델 유출

[M05] 환각

[M06] 탈옥

[M07] 부적절한 출력 처리

[M08] 모델 DoS

에이전트 및 공급망 위협 (8개 항목)

[A01] 부적절한 도구 설계

[A02] 에이전트 하이재킹

[A03] 에이전트 DoS

[A04] 에이전트 메모리 오염

[S01] 데이터 포이즈닝

[S02] 모델 포이즈닝

[S03] 취약한 버전의 추론 엔진 사용

[S04] 취약한 버전의 에이전트 확장요소 사용

고성능 모델 위협 (2개 항목)

[H01] 고도화된 사이버 공격 지원

[H02] 자율성으로 인한 통제 상실

목차

AI 거버넌스 기반 종합 사이버 보호대책 프레임워크

AI 시대 개인정보보호의 새로운 도전과제

비즈니스 기밀 유출 방지 7계층 전략

보호대책이 없었다면 막을 수 없었다 — 4대 위반 사례와 대책 매핑

애플 — Private Cloud Compute로 AI 개인정보보호 혁신

7세션을 관통하는 3가지 핵심 인사이트

오늘 강의의 전체 흐름과 최종 성과

이번 세션의 핵심 주제

사건 파일 분석

그룹 토론 주제

추가 자료

참고문헌

🏛️ 글로벌 AI 보호대책 표준·연구