인스티즈앱
1. OpenAI는 최신 AI 모델들이 얼마나 해킹을 잘하는지 격리된 환경에서 테스트를 시도했음. (시험 이름은 'ExploitGym')
- 이 모델들은 현재 공개된 GPT-5.6-Sol과 아직 출시되지 않은 모델들인데, 해킹 평가를 위해 사이버 공격 관련 답변 거부 기능을 의도적으로 꺼둔 상태였음.
2. 그런데 격리된 환경(샌드박스)에 갇혀있었어야 할 AI가 인터넷 접근권한 탈취를 위해 엄청난 양의 연산량을 쏟아냈고, 결국 제로데이 취약점(기존에 아무도 몰랐던 보안상 구멍)을 발견해 인터넷 세상으로 나가는 것에 성공함.
3. 인터넷에서 나온 뒤, 허깅페이스가 ExploitGym 시험의 정답 데이터를 갖고 있을 것이라고 스스로 추론하고, 접근 방법을 찾기 시작함. 인증정보를 훔치고, 또다른 제로데이 취약점을 연쇄 활용해서 허깅페이스 서버에 원격 코드 실행(=서버를 장악함) 성공, 답지 빼돌림.
(현재는 OpenAI 보안팀이 이상한 활동을 감지했고, 허깅페이스쪽 보안팀도 이상 활동을 감지해 차단, 발견된 취약점은 패치 진행)
이게 왜 충격적인건데?: 이 사건은 고급 모델이 소스코드 없이도 실제 운영되는 시스템에서 새로운 공격 경로를 발견하고 악용 할 수 있다는 사실을 증명한 것임. 이론이 아니라 실제로 일어난 사건이고, 누군가 악의가 담긴 프롬프트를 입력한 것도 아니라 단지 시험에서 높은 점수를 받기 위해 이 모든걸 해냈다는 점.
허깅페이스의 CEO는 이걸 계기로 "AI 안전은 한 회사가 비밀리에 해결할 수 없고, 모두가 협력해서 공개적으로 풀어야 한다"고 발언했다고 합니다.