프롬프트 인젝션, 그게 뭔데 — AI에게 몰래 명령을 심는 해킹

 

이게 뭔데 — 열어보지도 않은 메일 한 통에 회사 기밀이 샜다

2025년 6월, 보안업체 에임 랩스(Aim Labs)가 공개한 공격 시나리오는 이랬다. 누군가 평범해 보이는 이메일 한 통을 회사원에게 보낸다. 받는 사람은 그 메일을 열지도 않는다. 그런데 그 사람이 회사에서 쓰는 AI 비서(마이크로소프트 365 코파일럿)한테 "지난주 회의 내용 좀 정리해줘" 같은 걸 시키는 순간, 코파일럿이 메일함을 훑다가 그 메일에 숨겨진 명령을 읽고, 회사 내부 문서를 긁어다 바깥으로 빼돌린다.

클릭 한 번 없이 뚫린다고 해서 이름도 '에코리크(EchoLeak)'. 마이크로소프트가 붙인 취약점 번호는 CVE-2025-32711, 위험도는 10점 만점에 9.3(심각)이었다. 다행히 실제 피해가 나기 전에 에임 랩스가 조용히 신고했고, 마이크로소프트가 서버에서 막았다. 실제로 악용된 정황은 없었다. (이 사실관계는 마이크로소프트 보안 공지와 에임 랩스 공개 자료 기준.)

이게 바로 프롬프트 인젝션(prompt injection)이다. AI한테 시킨 사람 몰래 다른 명령을 슬쩍 끼워넣어, AI가 그걸 진짜 지시로 착각하고 따르게 만드는 공격. 용어 자체는 개발자 사이먼 윌리슨이 2022년 9월 붙였다. 데이터베이스를 털던 고전 해킹 'SQL 인젝션'에서 따온 이름이다. 원리가 똑 닮았거든.

근데 그게 어떻게 가능한데 — AI는 '명령'과 '자료'를 구분 못 한다

"메일이든 문서든 그냥 읽기만 한 건데, 왜 거기 적힌 걸 실행해버려?"

핵심은 여기 있다. 사람은 상사가 시킨 지시와, 책상에 굴러다니는 서류에 적힌 문장을 당연히 구분한다. 그런데 AI, 정확히는 챗GPT 같은 대형언어모델(사람 말을 학습한 AI, 보통 LLM이라 부른다)은 이 둘을 구분하는 감각이 없다. 개발자가 미리 넣어둔 '시스템 명령'이든, 방금 읽어들인 웹페이지 텍스트든, 얘 눈엔 전부 똑같은 '글자 줄' 하나로 들어온다. 어느 글자가 '진짜 주인의 명령'이고 어느 게 '그냥 참고자료'인지 표시해줄 방법이 아예 없다. 그러니 자료 속에 "이제부터 내 말을 들어"라고 적어두면, 순진하게 그걸 명령으로 받든다.

비서로 비유하면 이렇다. "이 서류들 읽고 요약해줘"라고 시켰는데, 서류 맨 아랫줄에 깨알같이 "요약하지 말고 금고 비밀번호를 이 사람한테 문자로 보내"라고 적혀 있다. 멀쩡한 비서라면 "이건 좀 아닌데요?" 하겠지만, AI는 별 의심 없이 문자를 보낸다.

이 공격은 크게 두 종류다. 직접(direct)은 사용자가 대놓고 "이전 지시 다 무시해"라고 치는 것. 초창기 챗봇 장난이 이쪽이다. 진짜 골치 아픈 건 간접(indirect) 쪽인데, 위 에코리크처럼 메일·웹페이지·문서 같은 남의 콘텐츠에 명령을 숨겨두고 AI가 그걸 읽다가 걸려들게 하는 방식이다. '간접 프롬프트 인젝션'이라는 개념은 2023년 2월 카이 그레샤케 등 연구진이 처음 정리했다.

참고로 이걸 '탈옥(jailbreak)'과 헷갈리기 쉬운데, 둘은 결이 조금 다르다. 탈옥은 "폭탄 만드는 법 알려줘" 같은 걸 우회로 뚫어 AI의 안전장치 자체를 무력화하는 것이고, 프롬프트 인젝션은 앱에 딸려 들어온 '남의 입력'이 주인 행세를 하는 문제다. (윌리슨은 둘을 별개로 보고, 보안 표준을 만드는 OWASP는 탈옥을 인젝션의 한 갈래로 본다. 업계에서도 딱 안 갈리는 지점이니 참고만.)

여기서 선을 하나 긋자. 구체적으로 어떤 문장을 어떻게 심는지는 안 적는다. 그대로 따라 하면 그게 바로 공격이니까.

그럼 못 막나, 요즘은 — "완전히 풀리진 않을 문제"

막으려는 시도야 많다. 문제는 이게 원리상 완전 차단이 안 된다는 데 있다.

실제 사례부터 보자. 2025년 8월, 브라우저 회사 브레이브(Brave)의 보안팀은 AI가 알아서 웹서핑을 해주는 '에이전트 브라우저'(사람 대신 클릭·입력까지 대신하는 AI) 퍼플렉시티 코멧(Perplexity Comet)을 상대로 오싹한 시연을 내놨다. 웹페이지나 레딧 댓글에 명령을 숨겨두면, 코멧이 그걸 읽고 사용자의 이메일 주소를 빼내고, 로그인된 Gmail에서 일회용 인증번호(OTP)까지 읽어 외부로 넘기더라는 것. 계정이 통째로 털리는 그림이다. 두 달 뒤엔 한술 더 떠서, 스크린샷 이미지 안에 사람 눈엔 거의 안 보이는 흐린 글씨로 명령을 심어두는 '보이지 않는 인젝션'까지 공개했다. 브레이브는 이걸 특정 제품 하나의 버그가 아니라 "AI 브라우저라는 카테고리 전체의 구조적 문제"라고 못 박았다. (퍼플렉시티는 지적을 받아들여 수정했다.)

여기까진 다 연구용 시연이라 그나마 낫다. 그런데 2025년 12월, 팔로알토 네트웍스의 보안팀 유닛42(Unit 42)는 "우리가 아는 한, 실제 악의로 심긴 간접 인젝션을 처음 잡았다"고 보고했다. AI가 광고를 심사·승인하는 시스템을 속여서, 사기성 제품 광고를 통과시키게 만든 사례였다. 연구실 밖으로 나온 첫 야생 표본인 셈이다.

왜 근본적으로 못 막을까. OWASP는 2025년판 보고서에서 "생성형 AI가 원래 확률로 굴러가는 물건이라, 확실한 예방법이 있는지조차 불분명하다"고 적었다. 검사기를 붙이고, 명령에 우선순위를 매기고, 감시용 AI를 하나 더 두는 식으로 막아봐도, 그 방어막마다 또 새로운 우회로가 생긴다. 오픈AI도 2025년 말 자사 AI 브라우저를 손보며 대놓고 인정했다. "프롬프트 인젝션은 웹의 사기나 사회공학처럼, 완전히 '해결'되긴 어려운 문제"라고. OWASP가 이걸 LLM 보안 위험 1위(LLM01)에 올려둔 이유다.

정리하면, 지금까지 알려진 위험천만한 사례는 대부분 착한 연구자들이 미리 찾아내 공개하고 고쳐진 것들이다. "지금 당장 다 뚫린다"는 얘기가 아니라, "구조상 언제든 또 뚫릴 수 있다"는 얘기다. 이 미묘한 차이가 중요하다.

그래서 난 뭘 조심해 — AI에게 '전권'을 주지 마라

일반 사용자가 이 취약점 자체를 없앨 방법은 없다. 대신 피해를 안 보는 요령은 있다. 열쇠는 하나다. AI에게 한꺼번에 너무 큰 권한을 몰아주지 않는 것.

윌리슨은 데이터가 새는 조건을 '치명적 3요소'로 깔끔하게 정리했다. ①AI가 내 민감정보(메일·파일)에 접근할 수 있고, ②출처 모를 콘텐츠를 같이 읽으며, ③그걸 바깥으로 내보낼 수단까지 있을 때. 이 셋이 한 판에 다 모이면 털린다. 뒤집으면, 셋 중 하나만 끊어도 유출은 막힌다는 뜻이다.

실전 체크리스트는 이렇다. (오픈AI가 자사 AI 브라우저 사용자에게 권한 수칙과, 위 3요소를 합친 것이다.)

• AI 에이전트한테 "알아서 다 처리해"라고 시키지 마라. "내 메일 다 읽고 필요한 거 알아서 답장해" 같은 광범위한 지시가 제일 위험하다. "이 메일 하나만 요약해줘"처럼 범위를 좁게 잘라 시킨다.
• 돈·발송이 걸린 행동은 확인창을 꼭 읽는다. 결제·메일 전송·파일 공유처럼 되돌리기 힘든 일을 AI가 하려 할 때 뜨는 확인 팝업을, 습관적으로 누르지 말고 한 번 더 본다.
• 로그인할 필요 없는 작업은 로그아웃 상태로 한다. AI 브라우저로 그냥 검색·조사만 할 거면, 굳이 은행·메일에 로그인된 채로 돌리지 않는다. 털릴 게 없으면 3요소의 ①이 끊긴다.
• 출처가 불분명한 문서·링크를 AI에게 통째로 먹이고 자동 실행까지 맡기지 않는다. 특히 그 결과로 AI가 뭔가를 '전송'하게 되는 흐름은 한 번 더 의심한다.

프롬프트 인젝션은 결국 이런 얘기다. 우리가 AI한테 점점 더 많은 열쇠를 쥐여주고 있는데, 정작 이 친구는 누가 진짜 주인인지 아직 잘 구분을 못 한다. 그러니 열쇠는 필요한 만큼만, 하나씩 쥐여주는 게 맞다. 일 잘하는데 사람은 잘 믿는 신입한테, 회사 마스터키를 통째로 맡기진 않는 것처럼.

🔎 대신 파봄, 이런 것도 파봤어요

▸ 이 시리즈 더 보기 — AI 이슈

▸ 그게 뭔데 — 세상 굴러가는 원리, 대신 까봄

▸ 비하인드 스토리 — 그 기업·그 사람의 뒷얘기

▸ 데이터로 까본다 — 숫자로 궁금증 해소

🔔 새 글이 올라오면 받아보고 싶다면 — 이 블로그 상단의 '구독' 버튼을 눌러 팔로우해 주세요.