에이전트가 실행하려는 명령을 사람이 승인하거나 막는 60초짜리 웹 게임에서 4만 판·40만 9천 건의 판단을 모았더니, 위험한 명령을 잡아낸 비율이 평균 66.3%였어요 — 셋 중 하나를 그냥 통과시킨 셈이에요. 놓친 비율은 종류마다 크게 갈려서 rm -rf 같은 대놓고 파괴적인 명령은 11.7%만 놓쳤지만, 권한 밖 파일을 건드리는 명령은 35.0%였고, package.json에 적힌 스크립트가 결과를 바깥 주소로 흘려보내는 npm run analyze는 64.7%가 통과했어요. 다만 이건 실사용 기록이 아니라 시간에 쫓기는 게임이고, 보여 준 명령의 34%를 일부러 위험한 것으로 채웠으며, 만든 사람 스스로 '학술 연구가 아니다'라고 적어 놨어요.
용어 풀이
- npm run
- package.json에 미리 적어 둔 명령을 이름만으로 실행하는 방식. 이름만 봐서는 실제로 무엇이 실행되는지 보이지 않는다.
- package.json
- 자바스크립트 프로젝트의 설정 파일. 필요한 패키지 목록과 실행 스크립트가 여기 적힌다.
- rm -rf
- 폴더와 그 안의 모든 것을 되묻지 않고 지우는 유닉스 명령.
- CTO
- 회사의 기술 전반을 책임지는 임원.
운영자 인사이트
승인 화면이 걸러 주는 건 눈에 띄는 명령뿐이에요 — 한 줄만 봐선 정체를 알 수 없는 npm run·make 같은 스크립트 실행은 사람이 못 잡으니, 자격 증명 파일 읽기와 바깥으로 나가는 네트워크는 승인에 맡기지 말고 거부 규칙으로 미리 닫아 두고 컨테이너로 격리하는 편이 나아요.
여러 관점으로 보기
- 해커뉴스 반응 — 승인 화면은 안전장치가 아니라는 쪽 330점·244댓글이 붙은 토론의 주된 반응은 '사람에게 계속 묻고 실수 안 하길 바라는 보안 모델은 예전에도 안 통했다'였고, 사람 승인의 목적은 사고를 막는 게 아니라 책임질 사람을 만드는 것이라는 지적도 나왔어요. Hacker News
- 숫자의 출처 — 5월 28일에 올라온 60초 게임 통계의 바탕은 실제 개발 현장 기록이 아니라 5월 28일 해커뉴스에 올라와 386점을 받은 게임이라, 플레이어는 스스로 찾아온 사람들이고 '나는 자바스크립트 개발자도 아니다'라는 참가자 반응도 있었어요. Hacker News
- 글쓴이 확인 — 이 주제로 파는 물건은 없어요 글쓴이는 우버 스태프 엔지니어를 거쳐 관세 신고 AI 회사의 CTO를 맡고 있는 개인 블로그 운영자로, 에이전트 보안 제품을 팔지는 않지만 이 글 자체가 자기 게임과 소식지를 알리는 성격은 있어요. scalex.dev