기업에서 AI 사용 가이드가 생기는 이유… LLM 보안은 기존과 다릅니다(OWASP 기준)

안녕하세요. 강준수입니다.

오늘은 이어서 LLM 기반 생성형 AI에 대해서 써보겠습니다.

생성형 AI 안쓰시는 곳 없으실텐데요. 

생성형 AI 도입이 정말 빠르게 확산되고 있습니다.

요새는 생성형 AI 보안솔루션을 도입하는곳도 있더라구요.

...

어쨌거나 생성형 AI는 문서 작성, 코드 보조, 고객 응대, 데이터 분석 등 다양한 영역에서 활용되면서 업무 효율은 분명히 개선되고 있습니다.

 

다만 실무 현장에서는 동시에 또 하나의 변화가 나타나고 있습니다.
뭐냐하면... AI 사용 가이드라인을 별도로 정의하기 시작했다는 점입니다

이건 단순한 내부 규정이 아니라, 기존 보안 체계로는 다루기 어려운 새로운 리스크가 등장했기 때문입니다.

---

기존 보안과 LLM 보안은 다른 영역입니다

기존 애플리케이션 보안은 주로 접근 통제와 데이터 보호를 중심으로 설계되어 왔습니다.

대표적으로 OWASP에서 정리한 OWASP Top 10 다들 아시죠? 

OWASP Top 10은 인증, 권한, 암호화, 입력 검증 같은 전통적인 웹 취약점을 다룹니다.

즉, 핵심은 “누가 접근했는지”, “어디까지 접근 가능한지”였습니다.

 

하지만 생성형 AI, 특히 LLM 기반 시스템은 전혀 다른 구조를 가지고 있습니다.
사용자의 입력 자체가 시스템 동작을 결정하고, 그 결과가 외부로 출력되는 구조이기 때문입니다.

이 때문에 OWASP에서도 별도로 OWASP Top 10 for LLM Applications을 정의했습니다.

 

https://owasp.org/www-project-top-10-for-large-language-model-applications/ 전문은 여기에서 확인하실수 있고, 

PDF 파일 다운로드도 가능합니다. 

 

대표 항목:

• Prompt Injection
• Data Leakage
• Training Data Poisoning
• Insecure Output Handling
• Model Denial of Service

AI 시스템에서만 발생하는 특수 리스크, 즉, 기존 웹 보안과 AI 보안은 같은 기준이 아니라 완전히 다른 계층의 보안 문제입니다

---

실무에서 바로 문제되는 LLM 리스크

OWASP에서 정의한 LLM 보안 이슈를 실제 업무에 적용해 보면,

생각보다 익숙한 상황들이 많습니다.

...

첫 번째는 프롬프트 인젝션입니다.

외부 입력을 통해 모델의 동작을 왜곡하는 공격 방식입니다.

특정 문장을 삽입함으로써 제한된 정보에 접근하거나, 원래 의도와 다른 결과를 유도할 수 있습니다.

자연어 기반 공격이라는 점에서 기존 입력 검증 방식으로는 방어가 어렵습니다.

 

두 번째는 데이터 유출입니다.

사용자가 입력한 정보가 그대로 모델 처리 대상이 되는 구조이기 때문에, 내부 문서나 고객 정보가 외부로 전달될 수 있습니다.

특히 외부 AI 서비스를 사용하는 경우, 입력 데이터의 처리 범위를 명확히 이해하지 않으면 보안 사고로 이어질 수 있습니다.

 

세 번째는 출력 신뢰성 문제입니다.

LLM은 확률 기반으로 응답을 생성하기 때문에, 항상 정확한 정보를 보장하지 않습니다.

그럼에도 불구하고 실무에서는 이 결과가 검증 없이 사용되는 경우가 많습니다.

이는 단순 오류가 아니라 잘못된 의사결정으로 이어질 수 있습니다.

 

네 번째는 모델 오남용 및 자동화 리스크입니다.

AI를 업무 프로세스와 직접 연결할 경우, 잘못된 입력이나 출력이 그대로 시스템에 반영될 수 있습니다.

이 경우 서비스 장애나 운영 리스크로 확장될 가능성이 있습니다.

---

기업이 AI 사용 가이드를 만드는 이유

이러한 리스크는 기존 보안 정책만으로는 통제하기 어렵습니다.
그래서 기업들은 AI 사용에 대해 별도의 기준을 정의하기 시작했습니다.

대표적으로 다음과 같은 항목이 포함됩니다.

• 내부 데이터 입력 제한
• 개인정보 입력 금지
• 외부 AI 서비스 사용 통제
• AI 결과 검증 절차 의무화

특히 최근에는 개인정보 보호 규제와 결합되면서 AI 사용 자체가 하나의 데이터 처리 행위로 간주되는 흐름입니다

이 때문에 단순 사용 문제가 아니라 법적 리스크까지 고려해야 하는 영역으로 확장되고 있습니다.

---

핵심은 ‘출력 통제’입니다

기존 보안이 “접근을 통제하는 것”이었다면

LLM 보안은 “출력을 통제하는 것”에 더 가깝습니다.

 

누가 접근했는지를 넘어서 어떤 입력이 들어갔고, 어떤 결과가 나갔는지를 관리해야 합니다.

생각만해봐도, 어렵네요. 

이건 기존 보안과는 완전히 다른 접근 방식입니다.

---

결론적으로 말하자면.. 

생성형 AI는 강력한 생산성 도구이지만, 동시에 새로운 공격면을 만들어내고 있습니다.
이 때문에 OWASP와 같은 보안 표준에서도 별도의 LLM 보안 기준을 정의하고 있는 상황입니다.

결국 지금 기업들이 하는 일은 단순합니다. 

 

AI 사용을 막는 것이 아니라 통제 가능한 범위 안에서 사용하는 기준을 만드는 것

그리고 앞으로는 “AI를 잘 쓰는 것”보다 "AI를 안전하게 쓰는 것”이 더 중요한 기준이 될 가능성이 높습니다.

 

2026년 목표 자체를 AI 사용 가이드/지침 제정으로 한 기업들도 많다고 하는데요.

OWASP 자료를 바탕으로하면 조금더 괜찮은 가이드가 만들어질것 같습니다.

 

오늘은 여기서 마치겠습니다.  

 

AI 사용 가이드가 필요한 이유(OWASP-LLM 특화 보안 위험)