전자 설계 도구를 만드는 atopile이 자기 비용으로 돌리는 평가로, 모델이 atopile 코드로 회로를 짜면 하네스가 SPICE 시뮬레이션과 부품표(BOM) 검사를 돌려 사람 채점 없이 점수를 매겨요. 글에 실린 9월 1일 결과는 클로드 오푸스 5가 과제 13개에서 61.6%로 1위였고 만든 쪽이 이튿날 해커뉴스에 GPT-6 애스트라 69.3%를 올려 순위가 바뀌었는데, 표준오차가 ±6.0과 ±10.7이라 둘의 차이는 오차 범위 안이에요. 점수도 회로가 도는지만 보는 값이 아니라 기술 65%에 부품값 효율 35%를 섞은 값이고, 방법론 문서는 기판 배치를 일부러 범위에서 뺐고 다음 판에 넣겠다고 적어 뒀어요.
용어 풀이
- SPICE
- 전자 회로의 전압·전류를 계산해 실제 동작을 미리 재현해 보는 회로 시뮬레이션 프로그램
- BOM
- 제품에 들어가는 부품과 수량을 적은 목록. 부품표
운영자 인사이트
소프트웨어 밖 설계에 에이전트를 붙일 때 지금 값어치가 확인된 자리는 '그리게 하기'가 아니라 '검토시키기'예요. 해커뉴스 205개 댓글에서도 회로도와 부품표를 대조시켜 잘못된 발주를 막았다는 이야기가 반복됐고, 설계자들이 매번 무너진다고 지목한 기판 배치와 배선은 이 평가가 빼 둔 바로 그 구간이에요.
여러 관점으로 보기
- 만든 쪽이 밝힌 방법론과 한계 기판 배치는 일부러 뺐다고 밝히고, 점수는 기술 65%에 부품값 효율 35%를 섞은 값이라 적었으며, 하네스를 바꾸면 GPT-5.5 점수가 5.5에서 5.6으로 올라간 폭보다 더 움직였다고도 적어 뒀어요. EEBench
- 하드웨어 설계자들의 반론 회로도까지는 쓸 만해도 기판 배치와 배선에서 매번 무너진다는 증언이 이어졌고, 한 명은 이 글을 얇게 가린 atopile 광고라고 짚었어요. Hacker News
- 모델이 써야 하는 언어를 만든 곳 평가에서 모델이 회로를 적는 데 쓰는 atopile은 MIT 라이선스로 열려 있고 별 3,758개에 열린 이슈 23건이에요. GitHub