LLM 보안 위협 대응전략

LLM 보안 위협 자가 진단 체크리스트

데이터 및 모델 위협 (11개 항목)

LLM 기반 서비스의 위협은 학습 데이터에서 비롯되는 데이터 위협과 모델 자체에서 비롯되는 모델 위협으로 구분된다.

🔵 데이터 위협 · 학습 데이터에서 비롯

▪ 편향된 데이터 → 차별·불균형 결과 생성

▪ 부정확·최신성 부족 데이터 → 잘못된 응답·의사결정

▪ 비식별화 미흡 → 개인정보 노출·프라이버시 침해

🔴 모델 위협 · 모델 자체에서 비롯

▪ 그럴듯하지만 틀린 내용(환각) 생성

▪ 학습 데이터 암기·반복 질의 → 민감정보 노출

▪ 악의적 조작 없어도 발생 → 별도 관리 필요

📋 포함 항목

D01 · 불균형 데이터D02 · 부정확한 데이터D03 · 개인정보 비식별화 미흡M01 · 학습 데이터 유출M02 · 벡터 DB･임베딩 유출M03 · 시스템 프롬프트 유출M04 · 모델 유출M05 · 환각M06 · 탈옥M07 · 부적절한 출력 처리M08 · 모델 DoS

[D01] 불균형 데이터

✅ 자가 진단 기준

☐불균형 데이터 학습 데이터셋이 특정 출처, 플랫폼, 국가, 언어, 산업 분야, 사용자군 등에 편중이 없는지 검토하는가

☐불균형이 확인된 데이터에 대해 재수집, 제외 등 완화 조치를 수행하는가

☐불균형 데이터 식별 및 완화 조치 결과를 기록하고 관리하는 승인 절차가 있는가

📌 정의

특정 속성이나 클래스에 편중된 데이터로 인해 LLM이 부정확한 결과를 학습하고 출력하는 위협이다.

⚠️ 발생 원인

학습 데이터 수집･라벨링 과정에서 특정 클래스에 해당하는 데이터가 과도하게 포함되거나 일부 데이터가 충분히 확보되지 않아 발생할 수 있다. 특히 수집 가능한 데이터에 편중되거나 예외사항 혹은 소수 사례가 반영되지 않는 경우 데이터 대표성이 저하될 수 있다.

💥 영향

모델이 다수 데이터에 치우친 패턴을 학습하고 소수 집단이나 희소 사례에 대해 부정확하게 판단하여 서비스에 영향을 미칠 수 있다.

🛡️ 대응 방안 (단계별)

1.1 데이터 품질 관리 — 편향 탐지·완화 (매뉴얼 p.131)

• 데이터 분포를 성별·연령·지역·직군 등 속성 기준으로 분석해 특정 집단 과대 대표·소외 확인

• 국내외 검증된 공정성 지표로 편향 수준 정량 평가 → 리샘플링·가중치 재조정·데이터 증강 적용

• 지속적 품질 모니터링으로 운영 중 편향 재발 차단

🕐 ① 예방 — 사전 통제

• ① 데이터셋 분포 사전 분석 (출처·집단·언어 편중 검토)

🔍 ② 탐지 — 운영 점검

• ② 균형 데이터 수집·재샘플링 절차 수립

⚡ ③ 대응·개선 — 사후 조치

• ③ 편향 검증 기준(성별·연령·인종)과 승인 절차 정의

[D02] 부정확한 데이터

✅ 자가 진단 기준

☐부정확한 데이터 학습 데이터 내 사실적 오류, 논리적 모순, 불완전한 정보, 잘못된 레이블 등이 포함되어 있는지

☐학습 데이터셋의 사실성, 정확성, 일관성을 검증하기 위한 기준이 있는가

☐부정확한 데이터가 확인된 경우 수정, 제외, 재수집 등 정정 조치를 수행하는가

☐데이터 정정 이력, 검수 결과, 승인 내역 등을 체계적으로 기록하고 관리하는가

📌 정의

사실적 오류, 논리적 모순, 잘못된 레이블 등이 포함된 데이터를 사용하여 LLM이 부정확한 정보를 학습하고 출력하는 위협이다.

⚠️ 발생 원인

오래된 문서의 미갱신, 검증되지 않은 외부 자료의 활용, 데이터 등록･관리 절차 미흡 등으로 인해 발생할 수 있다. 예를 들어 변경 전 법령, 오래된 제품 매뉴얼, 오류가 포함된 문서가 학습･ 추론에 활용될 경우 모델이 이를 근거로 잘못된 응답을 생성할 수 있다.

💥 영향

부정확한 데이터가 사용될 경우 AI 모델이 사실과 다른 정보나 현재 기준에 맞지 않는 응답을 생성할 수 있다.

🛡️ 대응 방안 (단계별)

1.1 데이터 품질 관리 — 데이터셋 신뢰성 확보 (매뉴얼 p.131)

• 학습 데이터는 공식 DB·공신력 있는 기관·검증된 공급망에서만 확보 (출처 불분명 데이터 금지)

• 정제 과정에서 중복 레코드·불완전 데이터·노이즈 제거로 학습 품질 저하 방지

• 데이터 오류 발견 시 수정·제외·재수집 절차와 검수 결과·승인 내역 기록 관리

🕐 ① 예방 — 사전 통제

• ① 신뢰할 수 있는 검증된 출처에서 데이터 수집

🔍 ② 탐지 — 운영 점검

• ② 전처리로 오타·논리 모순·사실 오류 제거

⚡ ③ 대응·개선 — 사후 조치

• ③ 어노테이션 2인 이상 검수 체계·가이드라인 교육

[D03] 개인정보 비식별화 미흡

✅ 자가 진단 기준

☐개인정보 비식별화 미흡 학습 데이터에 개인정보 비식별화(가명･익명 처리 등) 조치를 적용하는가

☐원본 데이터와 비식별 데이터를 분리하고, 접근 권한을 철저히 구분하여 통제하는가

☐모델 및 AI 시스템을 대상으로 개인정보 영향평가를 수행하는가

📌 정의

데이터 내 식별 정보(이름, 주민등록번호 등)가 제대로 제거되지 않아 민감한 개인정보가 노출되는 위협이다.

⚠️ 발생 원인

학습 단계에서는 데이터 수집･정제 과정에서 개인정보 탐지 및 제거 절차가 충분히 수행되지 않은 경우 발생할 수 있다. 추론 단계에서는 개인화 응답, 업무 자동화 등을 위해 개인정보가 사용될 수 있으나, 처리 목적에 필요한 범위를 초과한 정보가 권한 검증 없이 참조될 경우 문제가 발생할 수 있다.

💥 영향

개인정보나 민감정보가 적절히 비식별화되지 않거나 통제되지 않을 경우 모델이 학습 데이터에 포함된 정보를 재현하거나, 추론 과정에서 권한 없는 사용자에게 개인정보가 노출될 수 있다.

🛡️ 대응 방안 (단계별)

1.2 개인정보 보호 및 법규 준수 (매뉴얼 p.132)

• 학습 데이터 내 개인정보 스캐닝(이름·전화·이메일·계정 ID 등) 후 비식별화·제거

• 개인정보처리 법규(개인정보보호법 등) 준수 체계와 처리 목적별 최소 범위 통제

• 웹 크롤링 수집 데이터·합성 데이터 활용 시 출처와 적법성 검증

🕐 ① 예방 — 사전 통제

• ① 학습 데이터 개인정보 탐지·제거 절차 수행

🔍 ② 탐지 — 운영 점검

• ② 가명·익명 처리 후 원본/비식별 데이터 분리 통제

⚡ ③ 대응·개선 — 사후 조치

• ③ 처리 목적별 최소 범위 권한 부여·개인정보 영향평가

[M01] 학습 데이터 유출

✅ 자가 진단 기준

☐학습 데이터 유출 모델이 고의적, 반복적 질의에도 학습 데이터 복원(에 가까운) 응답을 하지 않는지 확인하는가

☐데이터 추출을 노린 반복적이거나 유사한 악성 입력을 차단하는가

📌 정의

악의적인 질의를 통해 LLM이 학습했던 원본 데이터가 복원되거나 유출되는 위협이다.

⚠️ 발생 원인

모델이 학습 데이터의 일부를 과도하게 암기한 경우 발생할 수 있다. 특히 고유한 문장, 반복적으로 포함된 데이터 등이 학습에 사용된 경우 모델이 해당 내용을 재현할 가능성이 높아질 수 있다.

💥 영향

학습 데이터 추출이 가능할 경우 모델이 학습 데이터에 포함된 개인정보, 기밀 정보, 내부 문서, 소스코드, 저작권 보호 자료 등을 재현할 수 있다. 이로 인해 모델을 통해 공개되지 않아야 할 학습 데이터의 일부가 외부에 유출될 수 있다.

🛡️ 대응 방안 (단계별)

1.1 데이터 품질 관리 — 데이터 정제 (매뉴얼 p.131)

• 학습 전 중복 레코드·노이즈·민감 정보 포함 데이터 제거로 유출 경로 차단

• 출처 검증된 데이터만 학습에 사용 — 데이터 포이즈닝·저품질 데이터 유입 방지

• 데이터 변경 이력·사용 이력 로깅으로 추적성 확보

🕐 ① 예방 — 사전 통제

• ① 학습 데이터 내 개인정보·기밀정보 사전 필터링

🔍 ② 탐지 — 운영 점검

• ② 민감 데이터 학습 제외·중복 샘플 제거

⚡ ③ 대응·개선 — 사후 조치

• ③ 모델 접근 권한·API 통제 정책 수립

[M02] 벡터 DB･임베딩 유출

✅ 자가 진단 기준

☐벡터 DB･ 임베딩 유출 벡터 DB 및 임베딩 저장소에 대한 접근 권한을 통제하는가

☐벡터 DB 또는 RAG 검색 결과에 포함된 민감정보가 모델 출력에 노출되지 않도록 관리하는가

📌 정의

RAG 등 검색에 사용되는 벡터 DB에서 임베딩 벡터나 원문 데이터가 외부로 유출되는 위협이다.

⚠️ 발생 원인

벡터 DB 내 임베딩･문서 청크･메타데이터에 대한 접근 권한 통제가 미흡하여 사용자별 데이터 접근 범위가 적절하지 않은 경우 발생할 수 있다.

💥 영향

벡터 DB나 임베딩이 유출될 경우 내부 문서, 업무 자료, 개인정보, 기밀 메타데이터 등이 외부에 노출될 수 있다. 또한 임베딩은 원문 데이터가 아니지만, 유사도 분석, 반복 질의, 역추론 기법 등을 통해 원문과 관련된 민감한 정보가 추론될 수 있다.

🛡️ 대응 방안 (단계별)

3.3 RAG 사용자별 접근 권한 설정 (매뉴얼 p.140) 📋

• RAG 검색 결과를 사용자 권한·부서·테넌트별로 분리하여 접근 통제

• 사용자별 접근 가능 문서 범위를 명확히 정의하고 세션 간 격리 보장

3.4 RAG 삽입 데이터 검증 (매뉴얼 p.140) 📋

• 벡터 DB 삽입 전 문서·데이터 신뢰성·무결성 검증 절차 수행

• 외부에서 유입되는 문서의 악성 프롬프트·조작 여부 스캐닝

🕐 ① 예방 — 사전 통제

• ① 벡터 DB·임베딩 저장소 접근 권한 통제

🔍 ② 탐지 — 운영 점검

• ② RAG 검색 결과 민감정보 필터링·권한별 결과 분리

⚡ ③ 대응·개선 — 사후 조치

• ③ 벡터 DB 암호화·감사 로그 기록

[M03] 시스템 프롬프트 유출

✅ 자가 진단 기준

☐시스템 프롬프트 유출 시스템 프롬프트 공개 요청에 대해 응답을 제한하는가

☐모델 출력에 시스템 프롬프트가 노출되지 않도록 통제하는가

📌 정의

LLM이 동작하는 데 필요한 시스템 프롬프트가 사용자에게 유출되는 위협이다.

⚠️ 발생 원인

시스템 프롬프트를 보호하기 위한 지침이 명확하지 않거나, 모델이 시스템 프롬프트 공개를 요구하는 사용자 요청을 적절히 거부하지 못하는 경우 발생할 수 있다.

💥 영향

시스템 프롬프트가 노출될 경우 공격자가 모델의 제한 조건과 동작 방식을 파악하여 탈옥, 정책 우회 등 후속 공격에 활용할 수 있다. 또한 내부 운영 정책이나 보안 규칙이 유출될 수 있다.

🛡️ 대응 방안 (단계별)

3.1 시스템 프롬프트 강화(hardening) (매뉴얼 p.137) 📋

• 시스템 프롬프트에 역할·행동 규칙·금지 사항을 명확히 정의하고 강화

• 프롬프트 유출 대응: 중요 지침·비밀 미포함, 유출 탐지 규칙 운영

• 시스템 프롬프트 변경 이력·버전 관리로 무단 변경 감지

🕐 ① 예방 — 사전 통제

• ① 시스템 프롬프트에 중요 지침·비밀 미포함

🔍 ② 탐지 — 운영 점검

• ② 프롬프트 유출 탐지 규칙(공개 요청 패턴) 설정

⚡ ③ 대응·개선 — 사후 조치

• ③ 프롬프트 버전 관리·주기적 갱신

[M04] 모델 유출

✅ 자가 진단 기준

☐모델 유출 모델 가중치 및 파일을 내부 네트워크에서만 접근 가능하도록 보호하는가

☐추론 API에 대한 비정상적인 호출 및 빈도를 제한하는 설정을 관리하는가

☐필요시 전체 확률값(logits･logprobs) 대신 상위 k개의 토큰만 제한적으로 제공하는가

☐확률값 제공 시 정밀도를 낮추거나 노이즈를 추가하여 원본 모델 추정을 방지하는가

📌 정의

접근 통제 미흡 등으로 인해 모델 파일, 가중치, 설정 정보 등이 외부로 유출 및 복제되는 위협이다.

⚠️ 발생 원인

모델 저장소에 대한 접근 통제가 미흡할 경우 모델 파일이 유출될 수 있다. 또한 추론 API가 확률값, 로짓 등 과도한 정보를 제공하거나, 반복 질의에 대한 제한이 부족할 경우 발생할 수 있다.

💥 영향

모델 추출 또는 유출이 발생할 경우 모델 가중치, 구조, 응답 패턴 등 핵심 자산이 노출될 수 있다. 이로 인해 서비스 이용 제한을 우회하거나, 모델 분석을 통해 후속 공격에 활용될 수 있다.

🛡️ 대응 방안 (단계별)

2.3 안전한 모델 API 설계 (매뉴얼 p.136)

• API 응답에서 로짓(logits) 전체 반환 금지 — 상위 k 토큰만 제한 제공

• 모델 가중치·내부 파라미터에 대한 접근 통제 및 화이트박스 접근 제한

• 비정상 반복 쿼리(모델 추출 공격 패턴) 탐지·차단

🕐 ① 예방 — 사전 통제

• ① 모델 가중치 내부 네트워크 한정 접근

🔍 ② 탐지 — 운영 점검

• ② 추론 API 비정상 호출 빈도 제한

⚡ ③ 대응·개선 — 사후 조치

• ③ 로짓(logits) 전체 제공 금지·상위 k 토큰만 제한

[M05] 환각

✅ 자가 진단 기준

☐환각 모델이 거짓 정보(환각)나 허위 근거를 생성할 가능성을 정기적으로 평가하는가

☐중요한 답변에 대해 출처 확인 및 근거를 제시하도록 검증 절차를 수행하는가

☐사용자에게 AI의 답변에 오류나 환각이 포함될 수 있음을 명확히 고지하는가

📌 정의

LLM이 실제 사실이나 주어진 맥락에 일치하지 않는 정보를 그럴듯하게 생성하여 사용자 판단 오류나 잘못된 의사결정을 유발할 수 있는 위협이다.

⚠️ 발생 원인

LLM은 실제 사실 여부를 검증하기보다 학습 데이터의 패턴과 입력 문맥을 기반으로 가능성이 높은 응답을 생성하기 때문에 발생할 수 있다. 특히 모호한 질문, 학습하지 못한 내용에 대한 질의를 받거나 최신 정보 또는 신뢰할 수 있는 근거에 접근할 수 없을 경우 부정확한 내용을 생성할 수 있다.

💥 영향

환각이 발생할 경우 AI 모델이 사실과 다른 정보, 존재하지 않는 출처, 잘못된 설명이나 판단 근거를 생성할 수 있다.

🛡️ 대응 방안 (단계별)

2.1 모델 정렬(Alignment) (매뉴얼 p.134)

• RLHF·AI 피드백 기반 강화학습 등 안전 정렬 기법으로 환각·유해 출력 완화

• 사전 학습에서 도입된 편향·유해 패턴을 정렬 과정에서 교정

• 정렬 후에도 환각 평가 벤치마크로 지속 검증

🕐 ① 예방 — 사전 통제

• ① 환각 평가 벤치마크 정기 수행

🔍 ② 탐지 — 운영 점검

• ② 중요 답변 출처 확인·근거 검증 절차

⚡ ③ 대응·개선 — 사후 조치

• ③ 사용자에게 오류·환각 가능성 명시 고지

[M06] 탈옥

✅ 자가 진단 기준

☐탈옥 보안 정책 우회나 역할 변경을 유도하는 악의적 요청을 탐지･ 차단하는가

☐생성된 응답에 정책 위반 또는 유해 콘텐츠가 포함될 경우 사용자에게 전달되기 전에 차단하는가

📌 정의

교묘하게 조작된 입력으로 안전 필터를 우회하여 LLM이 금지된 답변을 생성하도록 유도하는 위협이다.

⚠️ 발생 원인

모델이 사용자 지시를 따르려는 특성과 안전 정책이 우회적 표현, 역할극, 가상 상황, 단계적 유도 등 다양한 입력 변형에 일관되게 반응하지 못해 발생할 수 있다.

💥 영향

탈옥이 성공할 경우 모델이 유해하거나 제한되어야 할 정보를 생성할 수 있다. 또한 시스템 프롬프트 우회, 내부 정책 노출, 민감정보 유출 등 다른 위협으로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

2.2 가드레일 도입 (매뉴얼 p.135) 📋

• 탈옥·정책 우회 패턴 탐지하는 Input/Output 가드레일 레이어 구성

• 유해 콘텐츠·민감 정보 포함 출력을 실시간 차단하는 필터 운영

• 가드레일 우회 시도 로그 분석으로 규칙 지속 강화

🕐 ① 예방 — 사전 통제

• ① 탈옥 패턴·정책 우회 키워드 탐지 규칙

🔍 ② 탐지 — 운영 점검

• ② 유해 콘텐츠 출력 전 차단 필터

⚡ ③ 대응·개선 — 사후 조치

• ③ 탈옥 시도 로그 기록·정책 강화

[M07] 부적절한 출력 처리

✅ 자가 진단 기준

☐부적절한 출력 처리 모델 출력을 시스템에 반영하기 전 안전 검증(필터링, 이스케이핑 등)을 수행하는가

☐모델 출력이 시스템 명령, 설정값, 코드, 쿼리, 클라이언트 화면 등에 검증 없이 직접 삽입되지 않도록 통제하는가

📌 정의

LLM의 출력이 다른 시스템(UI, DB 등)에 그대로 실행･반영되어 시스템 오동작이나 취약점을 유발하는 위협이다.

⚠️ 발생 원인

모델 출력이 신뢰할 수 있는 값으로 간주되거나, 출력값에 대한 형식 검증･위험 요소 제거가 충분히 수행되지 않을 때 발생할 수 있다. 예를 들어 모델이 생성한 HTML, 스크립트, SQL, 명령어, 코드, 링크 등이 별도 검증 없이 처리될 경우 문제가 발생할 수 있다.

💥 영향

부적절한 출력 처리가 발생할 경우 악성 스크립트 실행, 명령 실행, 비정상적인 시스템 동작 등이 발생할 수 있다. 또한 모델이 생성한 부정확하거나 위험한 출력이 후속 시스템에 전달되어 보안 사고로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

3.5 모델 출력 보안 처리 (매뉴얼 p.140) 📋

• 모델 출력을 HTML·쿼리·명령에 직접 삽입하지 않고 이스케이핑·검증 후 사용

• 출력 내 개인정보·민감정보 포함 여부 필터링 및 포맷 검증

• 안전 함수(인코딩·화이트리스트) 기반 출력 처리 표준화

🕐 ① 예방 — 사전 통제

• ① 모델 출력 안전 검증(필터링·이스케이핑) 수행

🔍 ② 탐지 — 운영 점검

• ② 출력을 명령·쿼리·HTML에 직접 삽입 금지

⚡ ③ 대응·개선 — 사후 조치

• ③ 출력 삽입 지점 검증 절차·안전 함수 사용

[M08] 모델 DoS

✅ 자가 진단 기준

☐모델 DoS 모델 서비스 가용성을 저하시킬 수 있는 과도한 요청 유형을 식별하고 평가하는가

☐입력 검증, 요청 빈도 제한, 사용량 제한 등 과부하 방지 메커니즘을 적용하는가

☐비정상 트래픽 및 대량 요청에 대한 탐지･차단･제한 절차가 있는가

📌 정의

과도하거나 복잡한 입력을 주입해 시스템 자원을 고갈시키고 LLM의 서비스 지연 및 중단을 유발하는 위협이다.

⚠️ 발생 원인

LLM은 입력 및 출력 토큰 수, 추론 복잡도에 따라 연산 자원과 처리 시간이 크게 증가할 수 있다. 특히 긴 문서나 반복 문자열, 복잡한 요청이 지속적으로 입력되는 경우 추론 자원이 과도하게 사용될 수 있다.

💥 영향

정상 사용자의 요청 처리가 지연되거나 실패하는 등 가용성이 저하될 수 있다. 또한 모델 API 호출 비용, 연산 인프라 부하 증가로 인한 서비스 장애가 발생할 수 있다.

🛡️ 대응 방안 (단계별)

3.6 요청 트래픽 제어 설정 (매뉴얼 p.141)

• API 요청 빈도·토큰 사용량 제한(Rate Limit)으로 자원 고갈 방지

• 비정상 대량 요청·반복 패턴 탐지 후 자동 차단

• 사용량 모니터링 대시보드로 급증 징후 사전 포착

🕐 ① 예방 — 사전 통제

• ① 입력 토큰·요청 빈도 제한 설정

🔍 ② 탐지 — 운영 점검

• ② 비정상 트래픽 탐지·차단 (Rate Limit)

⚡ ③ 대응·개선 — 사후 조치

• ③ 사용량 모니터링·자원 확장 계획

에이전트 및 공급망 위협 (8개 항목)

LLM 에이전트는 외부 도구에 직접 접근해 실제 작업을 수행하는 자율 시스템 — 에이전트 위협과 공급망 위협으로 구분된다.

🔵 에이전트 위협 (A01~A04) · 도구 접근 자율 시스템

▪ 부적절한 도구 설계 → 오작동·남용

▪ 악성 조작 하이재킹 → 제어권 탈취

▪ 에이전트 DoS → 가용성 마비

▪ 메모리 오염 → 응답 품질 저하

🟢 공급망 위협 (S01~S04) · 데이터·모델·플랫폼

▪ 데이터·모델 포이즈닝 → 동작 왜곡

▪ 취약한 추론 엔진 사용 → 악용 위험

▪ 취약한 확장요소 → 공급망 경유 공격

📋 포함 항목

A01 · 부적절한 도구 설계A02 · 에이전트 하이재킹A03 · 에이전트 DoSA04 · 에이전트 메모리 오염S01 · 데이터 포이즈닝S02 · 모델 포이즈닝S03 · 취약한 버전의 추론 엔S04 · 취약한 버전의 에이전트

🤖🔗

클릭하여 이미지 교체

[A01] 부적절한 도구 설계

✅ 자가 진단 기준

☐부적절한 도구 설계 사용자, 역할, 권한 수준에 따라 에이전트가 사용할 수 있는 도구･기능･ 실행 권한을 최소한으로 제한하는가

☐도구 호출에 사용되는 입력값에 대해 형식, 범위, 권한 검증을 수행하는가

☐도구 실행 결과에 민감정보, 오류 정보, 비인가 데이터 등이 포함되지 않도록 검증･필터링하는가

☐도구 호출 이력과 실행 결과를 기록하고, 비정상적인 도구 호출을 탐지･차단하는가

📌 정의

LLM 에이전트 도구의 권한 제어 및 검증 미흡으로 악성 입력이 시스템 오동작이나 정보 유출을 일으키는 위협이다.

⚠️ 발생 원인

도구에 필요한 최소 권한보다 과도한 실행 권한이 부여되거나, 수행 가능한 작업 범위가 명확히 제한되지 않은 경우 발생할 수 있다. 구체적으로는 도구의 입력값 검증, 실행 조건 제한 등이 미흡하여 위협이 발생할 수 있다.

💥 영향

임의 명령 실행, 악성코드 실행, 외부 API 오남용 등을 통해 시스템이 비정상적으로 동작하거나 장악될 수 있다. 이를 통해 데이터베이스, 파일 시스템 등에 저장된 민감정보가 유출될 수 있다.

🛡️ 대응 방안 (단계별)

1.1 최소 권한·역할 기반 접근 제어 (매뉴얼 p.144)

• 에이전트 도구·데이터 접근을 역할 기반 최소 권한으로 제한

• 도구 호출 권한을 작업 목적에 필요한 범위로 한정 — 과도한 쓰기 권한 금지

1.2 Human-in-the-Loop (매뉴얼 p.145)

• 중요 작업(결제·삭제·외부 전송 등)은 사람 승인 후 실행

• 자동 판단 범위를 명확히 정의하고 벗어난 행동은 사람 검토

🕐 ① 예방 — 사전 통제

• ① 에이전트 도구 권한 최소화 (역할·권한별 제한)

🔍 ② 탐지 — 운영 점검

• ② 도구 입력값 형식·범위·권한 검증

⚡ ③ 대응·개선 — 사후 조치

• ③ 도구 호출 이력 기록·비정상 호출 탐지 차단

[A02] 에이전트 하이재킹

✅ 자가 진단 기준

☐에이전트 하이재킹 수집된 데이터에서 악성 지침이나 숨겨진 명령어를 탐지하고 제거하는가

☐에이전트가 접근하는 외부 데이터에 대한 신뢰성 검증 체계가 있는가

☐사전에 승인되고 신뢰할 수 있는 데이터 소스에만 에이전트가 접근하도록 제한하는가

📌 정의

외부 데이터(웹 페이지, 문서 등)에 숨겨진 악성 프롬프트를 에이전트가 정상 지시로 착각해 의도치 않은 작업을 수행하는 위협이다.

⚠️ 발생 원인

신뢰할 수 없는 외부 콘텐츠를 조회하는 권한과 상태를 변경할 수 있는 실행 권한이 동일 에이전트에 함께 부여된 경우 발생할 수 있다. 특히 읽기 작업과 쓰기･실행 작업이 분리되지 않거나, 외부 콘텐츠 조회 이후 고위험 도구 호출에 대한 사용자 확인 및 권한 재검증이 이루어지지 않는 경우 위험이 커질 수 있다.

💥 영향

에이전트가 공격자의 지시를 따라 민감정보인 사용자의 대화 내역, 개인정보, 인증정보 등을 유출할 수 있다. 또한 비정상적인 도구 호출로 서비스 장애가 발생하거나, 에이전트의 시스템 접근 권한을 이용한 데이터 삭제･조작으로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

1.3 에이전트 가드레일 도입 (매뉴얼 p.145)

• 에이전트 행동 규칙·허용 작업 범위를 정의하는 가드레일 구성

• 외부 입력(문서·메일·URL)의 악성 지침 탐지·차단

1.4 실행 권한 정보 분리 관리 (매뉴얼 p.146)

• 에이전트의 실행 권한과 권한 부여 정보를 분리 저장·관리

• 권한 변경 시 이중 승인 절차와 변경 이력 기록

🕐 ① 예방 — 사전 통제

• ① 외부 데이터 악성 지침 탐지·제거 필터

🔍 ② 탐지 — 운영 점검

• ② 신뢰 검증된 데이터 소스만 접근 허용

⚡ ③ 대응·개선 — 사후 조치

• ③ 에이전트 행동 로그·하이재킹 징후 모니터링

[A03] 에이전트 DoS

✅ 자가 진단 기준

☐에이전트 DoS 에이전트 작업 실행 시간에 대한 적절한 제한을 설정하는가

☐사용자별 또는 세션별 요청 빈도 제한을 적용하는가

☐비정상적인 작업 패턴 탐지 및 자동 중단 기능이 있는가

☐동시 실행 가능한 작업 수에 대한 제한이 있는가

📌 정의

에이전트가 무한 루프나 과도한 API 호출을 발생시켜 시스템 자원과 비용을 고갈시키고 서비스를 마비시키는 위협이다.

⚠️ 발생 원인

에이전트 작업 시간, 반복 횟수, API 호출 빈도, 동시 실행 수에 대한 제한이 없거나 부적절한 경우 발생할 수 있다. 또한 “완벽해질 때까지 반복해라”와 같이 종료 조건이 모호한 요청, 실패 시 무제한 재시도하는 로직, 여러 에이전트가 서로에게 작업을 위임하는 순환 구조, 응답이 느린 외부 API를 반복 호출하는 도구에서도 발생할 수 있다.

💥 영향

시스템 자원이 과도하게 소모되어 정상적인 사용자 요청을 처리하지 못하거나 서비스 응답 속도가 저하될 수 있다.

🛡️ 대응 방안 (단계별)

1.5 실시간 모니터링 (매뉴얼 p.148)

• 에이전트 작업 실행·도구 호출 로그 실시간 수집·분석

• 비정상 작업 폭주·무한 루프 패턴 탐지 시 자동 중단

🕐 ① 예방 — 사전 통제

• ① 에이전트 작업 실행 시간 제한 설정

🔍 ② 탐지 — 운영 점검

• ② 사용자·세션별 요청 빈도 제한

⚡ ③ 대응·개선 — 사후 조치

• ③ 비정상 작업 패턴 탐지·자동 중단

[A04] 에이전트 메모리 오염

✅ 자가 진단 기준

☐에이전트 메모리 오염 에이전트 장기 메모리(RAG DB, 파일 등)에 인증 및 권한 제어를 적용하는가

☐장기 메모리에 저장되는 항목에 대해서 금칙어 필터링, 명령 패턴 차단, 정책 기반 검증 절차가 있는가

☐장기 메모리 데이터에 대해 주기적으로 무결성을 검토하고 이상 징후를 탐지하는가

📌 정의

에이전트의 메모리에 악성 데이터가 삽입되어 이후의 추론 및 판단 과정에 지속적으로 악영향을 미치는 위협이다.

⚠️ 발생 원인

신뢰할 수 없는 입력이나 일시적인 작업 지시가 검증 없이 메모리에 반영되거나, 메모리 읽기･쓰기 권한을 과도하게 부여한 경우 발생할 수 있다.

💥 영향

에이전트가 잘못된 정보를 사실로 인식하거나 공격자가 의도한 방향으로 왜곡된 응답을 생성할 수 있다. 또한 오염된 메모리를 기반으로 외부 도구 호출, API 연동, 이메일 발송 등 비인가 행위가 발생할 수 있다.

🛡️ 대응 방안 (단계별)

1.6 주기적인 에이전트 레드팀 훈련 (매뉴얼 p.149)

• 정기 모의공격(레드팀)으로 에이전트 취약점·메모리 오염 경로 사전 발견

• 발견된 취약점을 가드레일·정책에 반영해 지속 강화

🕐 ① 예방 — 사전 통제

• ① 장기 메모리 인증·권한 제어 적용

🔍 ② 탐지 — 운영 점검

• ② 금칙어 필터링·명령 패턴 차단·정책 검증

⚡ ③ 대응·개선 — 사후 조치

• ③ 메모리 무결성 주기 검토·이상 징후 탐지

[S01] 데이터 포이즈닝

✅ 자가 진단 기준

☐데이터 포이즈닝 학습 데이터 또는 외부 연계 데이터에 악의적으로 조작된 데이터가 포함될 가능성을 평가하는가

☐데이터 출처, 변경 이력, 검수 결과를 기록･관리하는가

📌 정의

모델 학습 및 평가 데이터에 악의적인 데이터를 섞어 넣어, 모델의 동작과 결과를 의도적으로 왜곡하는 위협이다.

⚠️ 발생 원인

검증되지 않은 데이터(공개 웹 크롤링 데이터, 외부 데이터셋 등)를 학습 또는 미세 조정에 사용하는 경우 발생할 수 있다.

💥 영향

모델이 특정 입력에 대해 공격자가 의도한 응답을 생성하거나, 부정확하고 편향된 결과를 출력할 수 있다. 이로 인해 서비스 신뢰도 저하, 이용자 피해로 이어질 수 있다. 특히 모델이 고위험 업무의 의사결정을 보조하는 도구로 활용될 경우, 이러한 왜곡은 더욱 치명적인 결과를 초래할 수 있다.

🛡️ 대응 방안 (단계별)

2.1 백도어 및 데이터 오염 탐지 (매뉴얼 p.149) 📋

• 학습 데이터 통계적 분포·문장 길이 분석으로 정상 범위 이탈 샘플 탐지

• 백도어·포이즈닝 의심 데이터 격리 후 재검증

🕐 ① 예방 — 사전 통제

• ① 학습·연계 데이터 악성 여부 평가

🔍 ② 탐지 — 운영 점검

• ② 데이터 출처·변경 이력·검수 결과 기록 관리

⚡ ③ 대응·개선 — 사후 조치

• ③ 의심 데이터 격리·재학습 전 검증

[S02] 모델 포이즈닝

✅ 자가 진단 기준

☐모델 포이즈닝 외부 모델 또는 가중치 파일 내 악의적인 파일 포함 여부를 점검하는가

☐모델 버전, 변경 이력, 검증 결과를 기록･관리하는가

📌 정의

모델의 가중치, 설정 등을 변조하여 출력 결과를 조작하거나 악성코드를 삽입하는 위협이다.

⚠️ 발생 원인

외부 모델 저장소의 파일을 무결성 검증 없이 다운로드하거나 배포하는 경우 발생할 수 있다. 특히 모델 파일이 안전하지 않은 저장 형식을 사용할 경우 모델 로드 과정에서 악성코드가 실행될 수 있다.

💥 영향

모델이 특정 트리거 입력에 대해 악성 응답을 생성하거나, 거짓 정보, 편향된 답변, 안전 정책을 우회한 출력을 생성할 수 있다. 또한 모델 파일에 악성코드가 포함된 경우 모델 로드 과정에서 원격 코드 실행, 시스템 권한 탈취, 내부 정보 유출 등의 보안 사고로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

2.1 백도어 및 데이터 오염 탐지 (매뉴얼 p.149)

• 모델 가중치·레이어 활성화 값·어텐션 패턴 분석으로 비정상 탐지

2.2 외부 구성요소 출처 및 무결성 검증 (매뉴얼 p.150) 📋

• 외부 모델·가중치·패키지의 출처 확인과 해시·서명 기반 무결성 검증

• 검증되지 않은 모델 로드 금지 정책

🕐 ① 예방 — 사전 통제

• ① 외부 모델·가중치 무결성 검증(해시·서명)

🔍 ② 탐지 — 운영 점검

• ② 안전한 저장 형식·모델 로드 환경 통제

⚡ ③ 대응·개선 — 사후 조치

• ③ 모델 버전·변경 이력 기록·악성코드 스캔

[S03] 취약한 버전의 추론 엔진 사용

✅ 자가 진단 기준

☐취약한 버전의 추론 엔진 사용 사용 중인 추론 엔진 또는 런타임에 알려진 보안 취약점이 존재하는지

📌 정의

보안 패치가 적용되지 않은 구버전의 추론 엔진이나 라이브러리를 사용하여 실행 과정에서 보안 취약점이 발생하는 위협이다.

⚠️ 발생 원인

추론 엔진 의존성 관리가 미흡하거나, 보안 패치가 적용되지 않은 상태로 운영 환경에 배포되는 경우 발생할 수 있다.

💥 영향

추론 엔진의 디버깅 로그, 응답 캐시, 에러 메시지 등을 통해 시스템 정보, 사용자 입력, 내부 설정, 모델 응답 내용이 노출될 수 있다. 또한 악의적인 요청이나 모델 파일을 통해 서버 내 악성코드가 실행되거나, 서비스 중단, 권한 탈취, 데이터 유출로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

2.3 오픈소스 정기적 보안 업데이트 (매뉴얼 p.151)

• 추론 엔진·프레임워크의 알려진 CVE 정기 점검

• 검증된 최신 버전으로 정기 업데이트 — 취약 버전 사용 금지

🕐 ① 예방 — 사전 통제

• ① 추론 엔진 취약점 정기 점검(CVE 확인)

🔍 ② 탐지 — 운영 점검

• ② 검증된 버전·보안 패치 적용

⚡ ③ 대응·개선 — 사후 조치

• ③ 취약 버전 사용 금지 정책·업그레이드 계획

[S04] 취약한 버전의 에이전트 확장요소 사용

✅ 자가 진단 기준

☐취약한 버전의 에이전트 확장요소 사용 사용 중인 에이전트 확장요소에 알려진 보안 취약점이 존재하는지

📌 정의

검증되지 않은 취약한 플러그인, 확장 프로그램 등을 연동하여 에이전트 사용 중 보안 문제가 발생하는 위협이다.

⚠️ 발생 원인

공식 출처가 아닌 저장소나 불분명한 확장요소를 설치하거나, 구성요소의 지시문, 소스코드, 권한, 외부 통신 여부를 검토하지 않은 경우 발생할 수 있다.

💥 영향

확장요소에 포함된 악성코드 또는 취약점으로 인해 원격 코드 실행, 시스템 권한 탈취, 내부 파일 접근, 민감정보 유출이 발생할 수 있다. 또한 확장요소의 프롬프트나 도구 설명이 조작되어 모델 응답이 공격자가 의도한 방향으로 왜곡될 수 있으며, 사용자 입력, 시스템 프롬프트, 인증정보, 내부 문서 등이 외부 서버로 유출될 수 있다.

🛡️ 대응 방안 (단계별)

2.2 외부 구성요소 출처 및 무결성 검증 (매뉴얼 p.150)

• 에이전트 확장요소·플러그인 출처·무결성 검증 후 설치

2.3 오픈소스 정기적 보안 업데이트 (매뉴얼 p.151)

• 확장요소 취약점 패치·버전 관리로 악용 차단

🕐 ① 예방 — 사전 통제

• ① 에이전트 확장요소 취약점 정기 점검

🔍 ② 탐지 — 운영 점검

• ② 승인된 확장요소 목록·버전 관리

⚡ ③ 대응·개선 — 사후 조치

• ③ 취약 확장요소 즉시 격리·교체

고성능 모델 위협 (2개 항목)

[H01] 고도화된 사이버 공격 지원

✅ 자가 진단 기준

☐ 분류 항목 기준 Y N 고성능 모델 위협 고성능 모델 위협 H01 고도화된 사이버 공격 지원 위협 고성능 모델･ 서비스 제공자 모델이 고위험 분야(제로데이 취약점 발굴, 맞춤형 공격 코드 작성 등)에서 인간 전문가 수준의 악용 가능한 정보를 제공하지 않도록 특화된 안전성 평가를 수행하는가

☐악의적인 사이버 보안 관련 질의를 식별하고 문맥을 분석해 차단하는 심층 정책이 있는가

☐단일 질의가 아닌 사이버 공격을 모의하거나 지원할 가능성이 있는 다단계 대화 이력을 지속적으로 기록하고 모니터링하는가

☐기존 시스템 운영자 AI를 악용한 고도화 공격(취약점 탐색, 피싱 자동화 등)을 조직의 주요 보안 위험으로 식별하는가

📌 정의

고성능 모델이 악성코드 작성, 해킹 자동화 등에 악용되어 사이버 공격이 더 빠르고 정교해지는 위협이다.

⚠️ 발생 원인

모델의 코드 생성, 추론, 정보 분석 능력이 향상됨에 따라 공격자가 이를 악용함으로써 발생한다. 또한 악성 요청, 단계적 요청, 역할극 기반 요청 등 고위험 사이버 요청을 필터가 충분히 탐지하지 못하는 경우에도 발생할 수 있다.

💥 영향

악성코드 작성과 취약점 악용이 쉬워지고, 피싱･정보 수집･공격 절차가 자동화될 수 있다. 이로 인해 비전문 공격자의 공격 역량이 높아지고 조직과 이용자의 보안 위험이 증가할 수 있다.

🛡️ 대응 방안 (단계별)

📘 1. 고도화된 사이버 공격 지원 위협 대응 방안 (매뉴얼 p.152)

• 고위험 질의(제로데이·맞춤형 공격 코드 등) 심층 정책으로 탐지·차단

• 다단계 대화 이력 기록·공격 모의 패턴 모니터링으로 악용 사전 차단

🕐 ① 예방 — 사전 통제

• ① 고위험 질의(취약점·악성코드) 심층 정책 탐지

🔍 ② 탐지 — 운영 점검

• ② 다단계 대화 이력 기록·공격 모의 패턴 모니터링

⚡ ③ 대응·개선 — 사후 조치

• ③ 검증된 사용자·승인 환경 한정 제공

[H02] 자율성으로 인한 통제 상실

✅ 자가 진단 기준

☐ 분류 항목 기준 Y N 고성능 모델 위협 고성능 모델 위협 H01 고도화된 사이버 공격 지원 위협 고성능 모델･ 서비스 제공자 모델이 고위험 분야(제로데이 취약점 발굴, 맞춤형 공격 코드 작성 등)에서 인간 전문가 수준의 악용 가능한 정보를 제공하지 않도록 특화된 안전성 평가를 수행하는가

☐악의적인 사이버 보안 관련 질의를 식별하고 문맥을 분석해 차단하는 심층 정책이 있는가

☐단일 질의가 아닌 사이버 공격을 모의하거나 지원할 가능성이 있는 다단계 대화 이력을 지속적으로 기록하고 모니터링하는가

☐기존 시스템 운영자 AI를 악용한 고도화 공격(취약점 탐색, 피싱 자동화 등)을 조직의 주요 보안 위험으로 식별하는가

📌 정의

에이전트의 자율적 판단이 사용자의 통제 범위를 벗어나 임의로 작업을 수행하거나 정책을 위반하는 위협이다.

⚠️ 발생 원인

에이전트의 역할, 권한, 수행 가능 행위, 금지 행위, 승인 필요 행위가 명확히 정의되지 않은 경우 발생할 수 있다. 또한 파일 시스템, 메일, 외부 API, 업무 시스템 등에 과도한 권한이 부여되거나 중요 작업이 사람 승인 없이 자동 실행되는 경우에도 발생할 수 있다.

💥 영향

사용자가 의도하지 않은 파일 생성･수정･삭제, 메시지 전송, API 호출 등이 발생할 수 있다. 또한 승인되지 않은 데이터 접근, 중요 업무 오처리, 민감정보 유출, 업무 프로세스 오작동으로 이어질 수 있다.

🛡️ 대응 방안 (단계별)

📘 2. 자율성으로 인한 통제 상실 위협 (매뉴얼 p.153)

• 에이전트 자율성 수준·작업 범위를 사전 정의하고 승인 절차 적용

• 전 과정 로깅·통제 상실 징후 탐지 시 강제 중단 메커니즘

🕐 ① 예방 — 사전 통제

• ① 에이전트 자율성 수준·작업 범위 사전 정의

🔍 ② 탐지 — 운영 점검

• ② 중요 작업 사전 승인·이중 확인 절차

⚡ ③ 대응·개선 — 사후 조치

• ③ 전 과정 로깅·통제 상실 징후 탐지·강제 중단

AI 거버넌스 기반 종합 사이버 보호대책 프레임워크

AI 시대 개인정보보호의 새로운 도전과제

비즈니스 기밀 유출 방지 7계층 전략

보호대책이 없었다면 막을 수 없었다 — 4대 위반 사례와 대책 매핑

애플 — Private Cloud Compute로 AI 개인정보보호 혁신

2024년 'Apple Intelligence' 발표와 함께 공개된 PCC(Private Cloud Compute)는 AI 연산을 온디바이스 우선 처리하고, 불가피한 클라우드 연산도 '무상태(Stateless) 연산'으로 데이터를 보존하지 않는 혁신적 아키텍처다. 보안 연구원에게 가상 환경을 무료 제공하며 글로벌 검증을 받은 최초의 AI 인프라다.

7세션을 관통하는 3가지 핵심 인사이트

이번 세션의 핵심 주제

사건 파일 분석

그룹 토론 주제

추가 자료

참고문헌

🏛️ 글로벌 AI 보호대책 표준·연구