해커원에서 8년 가까이 프로그램을 굴려 온 보안 엔지니어 조엘 마골리스의 8월 7일 글이 해커뉴스에서 366점·댓글 193개를 받았어요. 회사 공식 문서에 적힌 약속은 '고객·연구자 데이터로 GenAI를 학습하거나 미세조정하지 않는다', '추론은 상태를 안 남기고 보관은 0'인데(4월 9일 공식 글·5월 29일 문서), 글쓴이는 '접수 에이전트가 거절 사유를 회사 데이터베이스에 쌓아 다음 신고 판정에 붙인다'는 4월 담당자 설명과 '고객의 이전 바운티 발견을 맥락으로 쓴다'는 6월 제품 페이지 문구를 나란히 놓았어요. 두 인용은 이 글에만 실려 있고, 해커원은 2월 CEO 해명과 4월 공식 글 뒤로 이번 글엔 따로 답하지 않았어요.
용어 풀이
- GenAI
- 글·그림·코드를 만들어 내는 생성형 AI를 줄여 부르는 말
- LLM
- 대량의 글로 학습한 언어 모델. 클로드·챗GPT가 여기 해당
- 버그 바운티
- 보안 취약점을 찾아 신고하면 기업이 포상금을 주는 제도
운영자 인사이트
'여러분 데이터로 학습하지 않습니다'는 모델 자체를 다시 손보지 않는다는 말이지, 같은 데이터를 검색해 프롬프트 맥락으로 다시 꺼내 쓰지 않는다는 말이 아니에요. AI 도구를 들일 때는 '학습하나요' 말고 '어디에 얼마나 보관하고, 다른 요청의 맥락으로 다시 꺼내 쓰나요'를 계약서에서 따로 물어야 해요.
여러 관점으로 보기
- 회사 공식 입장 4월 9일 공식 글에 '고객·연구자 비밀 데이터로 GenAI를 학습·미세조정하지 않는다', 추론은 상태를 안 남기고 데이터 보관은 0이라고 적었고, 사람 1차 심사 부담을 덜어 준다는 '에이전트 검증'을 제품으로 내세워요. HackerOne
- 심사 뒤에서 도는 모델 5월 29일 갱신된 Hai 문서엔 '모델은 상태 없이 돌고 데이터 보관은 0', 대화 기록은 감사 목적으로만 남긴다고 적혀 있고, 뒤에서 도는 모델로 앤트로픽 클로드(오푸스·소네트·하이쿠)와 아마존 타이탄을 이름까지 적어 놨어요. HackerOne 문서
- 논란의 발단 — 2월 1월에 낸 에이전트 침투 시험 소개 문구가 '실제 기업 시스템을 수년간 시험한 공격 정보로 학습·개선했다'고 적혀 반발이 일자, 카라 스프라그 CEO가 링크드인에 '여러분은 우리 모델의 입력이 아니에요'라고 답했어요. The Register
- 현장 반응 — 신고 품질 1차 심사를 해 온 참가자가 'LLM 전엔 허위 신고가 40%쯤이었는데 지금은 90%'라고 적었고, 'LLM이 찾고 LLM이 신고서를 쓰는데 판정까지 LLM에 맡기냐'는 지적이 뒤따랐어요. Hacker News
- 반론 '신고로 모델을 학습하지 않는다'와 '지난 신고를 참고해 LLM이 심사한다'는 서로 어긋나는 말이 아니라는 반론도 나왔어요. Hacker News