본문 바로가기

LLM2

프롬프트 인젝션, 그게 뭔데 — AI에게 몰래 명령을 심는 해킹 이게 뭔데 — 열어보지도 않은 메일 한 통에 회사 기밀이 샜다2025년 6월, 보안업체 에임 랩스(Aim Labs)가 공개한 공격 시나리오는 이랬다. 누군가 평범해 보이는 이메일 한 통을 회사원에게 보낸다. 받는 사람은 그 메일을 열지도 않는다. 그런데 그 사람이 회사에서 쓰는 AI 비서(마이크로소프트 365 코파일럿)한테 "지난주 회의 내용 좀 정리해줘" 같은 걸 시키는 순간, 코파일럿이 메일함을 훑다가 그 메일에 숨겨진 명령을 읽고, 회사 내부 문서를 긁어다 바깥으로 빼돌린다.클릭 한 번 없이 뚫린다고 해서 이름도 '에코리크(EchoLeak)'. 마이크로소프트가 붙인 취약점 번호는 CVE-2025-32711, 위험도는 10점 만점에 9.3(심각)이었다. 다행히 실제 피해가 나기 전에 에임 랩스가 조용.. 2026. 7. 19.
AI 할루시네이션, 그게 뭔데 — 챗봇이 '없는 판례'를 지어내는 이유 이게 뭔데 — 변호사가 낸 판례 6개가 전부 가짜였다2023년 뉴욕. 로베르토 마타라는 승객이 비행 중 기내 카트에 무릎을 치였다며 항공사 아비앙카를 상대로 소송을 냈다. 원고 측 변호사 스티븐 슈워츠는 상대 주장을 반박하려고 판례 여섯 건을 인용한 서면을 법원에 냈다. 문제는 그 여섯 건이 전부 이 세상에 없는 판례였다는 것. ChatGPT가 만들어낸 가짜였다.더 웃픈 건 그다음이다. 슈워츠는 불안했는지 ChatGPT한테 되물었다. "이 판례 진짜 맞아?" 챗봇은 자신 있게 "네, 실제 판례입니다"라고 답했다. 그 대답도 물론 거짓이었다.담당 판사 P. 케빈 카스텔은 그 서면을 "횡설수설(gibberish)"이라 부르며, 2023년 6월 변호사들에게 5,000달러 벌금을 매겼다. (사건: Mata v... 2026. 7. 18.