GPU 모드(GPU MODE) 대회 qr_v2 문제에서 파이토치 기본 QR 함수 torch.geqrf가 약 419,000마이크로초 걸리던 걸 직접 짠 트라이톤·CUDA 커널로 1,805마이크로초까지 줄여 232배가 나왔어요 — 순진한 구현이 아니라 엔비디아 라이브러리를 부르는 함수가 기준이고, B200 한 장에서 14일 동안 제출을 1,500번 넘게 해 183명 중 12등이에요. 코덱스에 /goal 로 목표를 걸어 두면 알아서 반복하고 사람은 2~3시간마다 방향만 잡아 줬는데, 3,000마이크로초에서 막히자 후보 3~5개를 동시에 살려 두는 규칙을 넣어 빠져나왔대요. 정작 해커뉴스 387점 토론에서 기준선이 약하다는 지적은 없었고, '이렇게 최적화한 상위 답 10개 중 8개가 대회에 없던 크기에선 통째로 깨졌다'는 반론에 글쓴이도 다음 문제였던 촐레스키 분해에선 상위 답 대부분이 검사 8개 중 4개만 통과했다고 답했어요.
용어 풀이
- QR
- 행렬을 직교행렬과 삼각행렬 둘로 쪼개는 선형대수 연산. 최소제곱·고윳값 계산의 기본 단계
- torch.geqrf
- 파이토치가 제공하는 QR 분해 함수. 내부에서 엔비디아 cuSolver 라이브러리를 부른다
- 트라이톤(Triton)
- 파이썬 문법으로 GPU 커널을 짜는 언어
- B200
- 엔비디아 블랙웰 세대 데이터센터 GPU
- val_bpb
- 검증 데이터에서 글자 하나를 나타내는 데 쓴 비트 수. 낮을수록 좋은 학습 성적표
운영자 인사이트
내 코드에 옮길 때 진짜 필요한 건 모델이 아니라 채점기예요 — 맞았는지 자동으로 검사하고 빠르기를 숫자 하나로 돌려주는 기준선이 있어야 에이전트가 밤새 혼자 돌아요. 카파시(Andrej Karpathy)가 공개한 autoresearch 틀도 '에이전트는 train.py 한 파일만 고치고, 실험 하나는 5분, 채점은 val_bpb 숫자 하나'가 전부예요. 그리고 이번 결과가 보여 주듯, 채점기가 보는 입력이 좁으면 그 입력에만 맞는 코드가 돌아와요.
여러 관점으로 보기
- 원문 — 232배가 무엇 대비인가 파이토치 torch.geqrf 약 419,000마이크로초를 1,805마이크로초로 줄인 값이고, B200 한 장에서 14일·제출 1,500번이 들어가 183명 중 12등이었대요. sankalp's blog
- 반론 — 대회 밖 크기에선 깨져요 기준선이 약하다는 지적은 없었고, 대신 이렇게 최적화한 상위 답 10개 중 8개가 대회에 없던 크기에선 깨졌다는 반론에 글쓴이가 '다음 문제에선 상위 답 대부분이 정확도 검사 8개 중 4개만 통과했다'고 답했어요. Hacker News
- 따라 하려면 필요한 틀 글쓴이가 출발점으로 삼았다고 밝힌 카파시의 자동 연구 틀은 에이전트가 train.py 한 파일만 고치고 5분짜리 학습으로 val_bpb 숫자를 재는 구조로, 자는 동안 실험 100번쯤 돈다고 적혀 있어요. GitHub