11월 18일 수요일
오늘 하나만 본다면
에이전트가 코드의 90%를 쓰는 팀은 테스트보다 먼저 "검증 루프"를 설계합니다
Claude Code 팀은 코드의 약 90%를 Claude가 쓰고 리뷰하는데, 이 규모에서 가장 중요한 도구로 고른 것은 더 똑똑한 리뷰어가 아니라 "바꿀 수 없는 곳에 둔 검사 규칙"입니다.
- 검증 루프가 있어야 에이전트를 병렬로 돌릴 수 있습니다. 검증이 없으면 결과를 사람이 전부 확인해야 해서 한두 개밖에 못 돌리고, 있으면 수십에서 수백 개를 돌릴 수 있다는 논리입니다. 구조화된 파일 생성 작업을 내부 테스트한 결과, 별도의 채점자가 루브릭으로 결과를 확인하게 하면 일반 프롬프트 루프보다 성공률이 최대 10점 올랐고 어려운 문제일수록 이득이 컸다고 합니다(자체 내부 테스트 수치입니다).
- 투자할 테스트로 세 가지를 꼽습니다. 하나만 고른다면 실제 사용자 흐름을 따라가는 E2E 테스트이고, 에이전트가 앱을 직접 띄우고 조작하고 볼 수 있게 하는
verify스킬을.claude/skills/에 두라고 권합니다. 나머지는 인코딩 후 디코딩하면 원본이 나오는지 같은 성질을 수천 개의 입력으로 공격하는 속성 테스트, 그리고 옛 시스템을 정답으로 삼아 같은 입력을 새 시스템에 넣어 결과를 비교하는 차분 테스트(마이그레이션용)입니다. 테스트가 불안정하면 에이전트가 코드를 고치는 대신 재실행하는 법을 배우고, 느리면 테스트를 덜 돌린다는 경고도 붙습니다. - 사람이 봐야 할 변경을 실패로 가려냅니다. 체크가 세 번 실패하면 Claude가 멈추고 사람을 부릅니다. 코드 소유자가 자기 코드의 체크를 직접 쓰고, 신뢰성 체크리스트 39항목은 각각 diff에서 읽을 수 있는 트리거가 있어서 보통 3개에서 10개만 해당 변경에 걸립니다. 리뷰어를 겹겹이 쌓기보다
REVIEW.md로 주 리뷰어를 튜닝하고 라운드마다 이전 맥락을 이어 가는 쪽이 싸고 더 많이 잡는다고 합니다. - 변경이 자기를 심사하는 규칙을 고칠 수 없게 합니다. 리뷰 규칙 파일은 PR 안의 것이 아니라 기본 브랜치의 것을 읽습니다. 커밋마다 어떻게 검증됐는지 스탬프를 찍고(검증 안 함도 "none"으로 기록), 커밋 게이트는 꺼짐, 관찰, 강제 세 모드로 도입해 관찰 모드에서 오탐을 확인한 뒤 강제로 올립니다. 한 세션에서 두 번 막히면 다음은 통과시켜 에이전트가 갇히지 않게 합니다.
- 리뷰어 자체도 측정합니다. 되돌려진 변경 수, 메인테이너가 반려한 변경 수, 깨끗하게 유지된 비슷한 크기의 변경을 대조군으로 쓰고, 과거 사고를 그 시점의 저장소로 재현해 한 문장짜리 정답 키로 채점합니다. 원시 발견, 검증 후, 최종 리뷰 단계별 재현율을 따로 봐야 중간에 버려진 버그를 알 수 있다는 지적이 있습니다. 놓친 사례는 두 개 이상의 PR에서 반복되고 diff로 식별되는 패턴만 규칙 후보가 되며, 에이전트 셋이 반박을 시도한 뒤 사람이 PR로 승인합니다.
AI 코딩 도구 시대의 코드 리뷰와 검증 체계는 이 독자가 가장 오래 파 온 주제이고, 여기에는 "리뷰 규칙은 변경이 건드릴 수 없는 브랜치에 둔다" 같이 바로 가져다 쓸 수 있는 운영 규칙이 많습니다. 다만 Anthropic이 자기 제품 팀의 방식을 쓴 글이라 효과 수치는 외부 검증이 없고, 본문이 중간에서 잘려 마지막 단락은 확인하지 못했습니다.
읽을 만한 것
Next.js 보안 권고가 14건에서 51건으로 늘어난 것은 AI가 오래된 버그를 싸게 찾아내기 때문입니다
Next.js 보안 권고는 2024년 6건, 2025년 14건, 2026년 51건이고, 올해 발견된 취약점의 70%는 1년 넘은 코드에서, 43%는 3년 넘은 코드에서 나왔습니다.
- Next.js 팀의 설명은 "더 안전해졌는데 권고가 늘었다"입니다. 어느 프레임워크에나 발견되지 않았거나 악용하기 비현실적이던 엣지 케이스 버그가 쌓여 있었는데, AI로 찾고 악용하는 비용이 내려가면서 이것들이 고칠 가치가 있는 위험으로 바뀌었다는 것입니다.
- 오래된 버그는 세 갈래로 해소합니다. 신규 취약점을 제보하면 보상하는 버그 바운티, Eve로 만든 사내 보안 봇(취약점 탐색, 제보 분류, 재현 코드 작성, 심각도 확인, 수정이 충분한지 분석), 외부 보안 업체 Trail of Bits의 수동 감사입니다. 보안 릴리스는 대략 월 1회로 정해 미리 공지하고, 호스팅 업체가 세부 내용이 공개되기 전에 방어를 준비할 수 있게 했습니다.
- 새 코드에는 적대적 리뷰 봇을 붙였습니다. Vercel Agent의 보안 리뷰가 모든 PR에서 팀의 보안 가이드라인으로 직접 공격을 시도하고, 코드 리뷰와 CI를 통과해 머지 직전이던 PR에서 이미 문제를 잡았다고 합니다.
- 구조도 손봅니다. 프록시, CDN, 여러 JS 런타임 같은 계층 사이의 해석 차이가 우회 취약점의 원인이 되므로, 호스팅 업체가 Next.js 앱을 어떻게 서빙해야 하는지 정한 계약인 Adapters로 이 이음새를 형식화하고 있습니다. 올해 가장 심각했던 문제 상당수는 Next.js 본체가 아니라 이미지 최적화가 쓰는 이미지 라이브러리에서 나왔고, 메모리 안전한 코덱으로 교체 중이라고 합니다.
- 사용자 쪽 도구도 나왔습니다. 16.4부터
next dev와next build가 현재 버전이 알려진 취약점의 영향을 받는지 알려 주고, 개발 모드에서는 코딩 에이전트에 붙여 넣을 프롬프트를 담은 경고를 보여 줍니다. 업그레이드를 에이전트에 맡기는 명령은 수정이 있는 가장 낮은 메이저 안에서 최신 안전 버전을 골라 마이그레이션 가이드와 함께 넘깁니다.
월 1회 보안 릴리스를 따라가야 하는 Next.js 운영자에게는 "왜 권고가 늘었고 언제까지 이어질지"에 대한 공식 설명이고, AI 시대 보안 운영의 한 사례로도 읽힙니다. 권고가 곧 줄어들 것이라는 전망은 근거 없이 팀의 자신감으로 제시된 것이고, Vercel이 자사 제품(Eve, Vercel Agent)을 쓴 이야기라는 점은 감안해야 합니다.
AI 보안 스캐너의 병목은 발견이 아니라 수정이어서, 검증된 비공개 보고와 패치를 함께 보내야 합니다
AI가 수천 개의 취약점 후보를 찾았지만 메인테이너가 받은 것은 99건이었고, 그중 55건이 한 달 안에 고쳐졌습니다.
- GitHub와 Microsoft가 Caddy, Express, Netty, ImageMagick, FastMCP, AutoGPT 여섯 프로젝트와 함께 시범 운영한 파이프라인입니다. Microsoft의 Codename MDASH(MAI Cyber 모델로 돌리는 다중 모델 스캔 하네스)가 찾고 수정안까지 제안하고, GitHub Security Lab의 AI 분류 에이전트가 중복과 무효 건을 걸러 영향이 큰 버그에 집중합니다. Microsoft FORGE Lab 연구원 7명이 남은 발견을 손으로 전수 검증한 뒤, GitHub 비공개 취약점 제보 기능으로 재현 코드와 수정안을 함께 보냅니다.
- 결과는 11월 15일 기준 99건 중 55건 수정, 그중 14건은 이미 릴리스에 들어갔습니다. 첫 수정은 스캔 약 일주일 뒤에 나왔고 Caddy는 받은 22건을 모두 일주일 이내에 고쳤습니다. 2인 팀인 ImageMagick은 22건을 받았는데, 한 보고는 과거에 본 유형처럼 보였지만 요약이 그렇지 않음을 보여 주고 정확한 코드 줄을 가리켜 15분 만에 고쳤습니다. 이 메인테이너는 보통 보안 권고 하나를 읽고 이해하고 고치는 데 30분에서 1시간이 걸린다고 말했습니다.
- 저자들이 인정하는 한계가 분명합니다. 연구원이 프로젝트당 이틀쯤 손으로 검증했기 때문에 이 방식은 아직 확장되지 않고, 여섯 프로젝트는 작은 표본이며, 품질이 낮은 보고는 여전히 매일 메인테이너에게 도착합니다. 수정을 비공개 포크에서 CI로 검증할 수 있어야 하고, 수정 전후로 재현 코드를 확인할 사이버 특화 모델에 메인테이너가 접근할 수 있어야 한다는 과제도 남겼습니다.
- AI로 취약점을 찾아 보내는 쪽에 요구하는 기준은 네 가지입니다. 보내기 전에 프로젝트의 위협 모델과 보안 정책에 비춰 모든 발견을 확인하고, 비공개로 보고하고, 수정안을 붙이고, 속도는 메인테이너가 정하게 합니다. 스캐너 출력을 분류하는 일은 보내는 쪽의 몫이라는 입장입니다.
오픈소스 의존성을 많이 쓰는 팀과 공유 라이브러리를 유지하는 사람 모두에게 "AI 보안 제보를 받는 쪽의 비용"이 어떻게 바뀌는지 보여 주는 실측입니다. GitHub와 Microsoft 자신이 만든 파이프라인을 자신이 평가한 글이고, 인용된 메인테이너 평가도 둘이 고른 것이라는 점을 염두에 두세요.
같은 모델도 하네스를 바꾸면 비용이 1.8배에서 5배 갈리고, 비싼 하네스가 더 잘 푸는 것도 아닙니다
모델을 GLM-5.3에서 Kimi-K3로 바꾸자 Codex CLI 하네스의 작업당 비용 순위가 22개 중 1위에서 16위로 떨어졌습니다.
- 코딩 에이전트의 하네스(모델 바깥에서 도구, 프롬프트, 컨텍스트를 관리하는 틀) 22개 구성을 오픈 가중치 모델 5개와 터미널 작업 62개로 각각 4번씩 돌려, 총 27,280번의 실행과 830억 토큰을 쓴 평가입니다. 이전 v1.0은 모델 하나에 하네스 9개였고 통과율은 17점 차 안에 모였지만 통과당 비용의 중앙값은 17배 차이가 났습니다.
- 비용 차이의 92.8%는 모델이 설명하고(모델 간 가격이 20배 이상 차이 납니다), 하네스 고유 효과는 2.3%, 모델과 하네스의 조합이 4.9%입니다. 모델을 고정해도 하네스에 따라 비용이 1.8배에서 5.0배 달라지는데, 셔플 대조(1.2배에서 1.8배)보다 모두 커서 재실행 노이즈가 아니라고 확인했습니다. 가장 큰 DeepSeek에서는 Cline CLI가 OpenCode v1보다 5.0배 비싸면서 통과율은 2.0점만 높았습니다.
- 프롬프트 크기, 도구 수, 캐시 적중률은 비용을 거의 설명하지 못하고(순위 상관 -0.03에서 +0.02), 스텝 수만 +0.51로 의미가 있었습니다. 매 스텝이 컨텍스트를 다시 보내므로 한 번의 실행이 평균 200만에서 480만 입력 토큰을 쓰고, 가장 큰 첫 요청(21,365토큰)도 그 1%가 안 됩니다. 첫 요청이 882토큰으로 가장 작은 mini-SWE-agent도 통과당 38스텝이 필요해 비용 17위였습니다.
- 비용의 64.5%는 통과하지 못한 실행에 들어갔습니다(실패 52.7%, 타임아웃 11.8%). 실패한 실행의 약 4분의 3은 시간 초과가 아니라 확신에 찬 최종 답변으로 끝났고, 작업이 미완이라고 밝힌 경우는 드물었습니다. 가장 가성비가 좋았던 다섯 하네스는 셸 도구 하나가 호출의 61%에서 93%를 처리했고, 컨텍스트를 앞에서부터 덧붙이기만 해 캐시를 활용했으며(통과 실행에서 입력의 91.1%에서 94.0%), 서브에이전트와 요약은 거의 쓰지 않았습니다. 저자들은 이 셋이 관찰이지 검증된 인과가 아니라고 밝힙니다.
- 한계도 적혀 있습니다. 오픈 모델과 Baseten 한 곳에서만 돌렸고 캐시와 가격도 그 업체 것이라 다른 제공자나 폐쇄형 모델에서는 순위가 바뀔 수 있습니다. 부정행위로 판정해 0점 처리한 실행이 216건(163건은 온라인 조회)이었고, 가성비 1위 중 넷은 근소한 차이의 후보 사이에서 뽑힌 것입니다.
에이전트 도구를 팀에 표준화하는 사람에게 "모델을 바꾸면 하네스도 다시 고르라"는 근거와, 비용을 줄이려면 프롬프트를 깎는 대신 스텝 수를 보라는 측정 결과를 줍니다. 평가를 돌린 Runta가 하네스 인프라를 파는 회사이고, 오픈 모델 기준이라 Claude나 GPT 계열에 그대로 적용하기는 어렵습니다.
안드로이드 전체 소스 체크아웃을 36분에서 8초로, 빌드를 80분에서 2분으로 줄인 콘텐츠 주소 파일시스템입니다
Android 빌드를 새 작업 공간에서 시작하면 80분이 걸리는데, 흔한 수정(system/libbase)에서도 빌드 그래프의 97%는 CI가 이미 만든 결과와 똑같습니다.
- Android 17 오픈소스는 Git 저장소 1,084개, 파일 162만 개이고 빌드된 작업 공간은 300GB(소스 161GB, 빌드 산출물 155GB)입니다. 하드웨어 업체 코드까지 넣으면 2배에서 3배가 됩니다. 기존에는 가져오는 데 30분 넘게, 빌드에 한 시간 넘게 걸렸고, 코딩 에이전트가 병렬 작업 공간을 여러 개 만드는 시대에 이 대기 시간이 병목이 됐다는 동기입니다.
- ABFS(Another Build File Service)는 리눅스 커널 파일시스템 모듈 CASFS, 사용자 공간 데몬, 서버 인프라로 이루어집니다. 체크아웃은 Git 해시가 채워진 디렉터리 메타데이터만 먼저 받고, 파일 내용은
cat처럼 실제로 읽는 순간 내려받습니다. Git 객체 모델을 그대로 써서 기존git과repo가 그대로 동작합니다. - 핵심은 Ninja(타임스탬프로 재빌드 여부를 정하는 빌드 도구)를 대체하는 Ninja-go의 2단계 캐시입니다. 1단계에서 명령, 환경, 선언된 입력의 해시로 이전 CI나 개발자 빌드의 후보 결과를 찾고, 2단계에서 그 결과를 만들 때 실제로 읽은 파일 목록(read patch)을 현재 파일시스템 해시와 대조해 하나라도 다르면 후보를 버리고 단계를 다시 실행합니다. 빌드 규칙에 선언되지 않은 숨은 의존성이 있어도 오래된 산출물을 재사용하지 않아서, 타임스탬프 방식에서 흔한 "의심되면 clean 빌드"를 피할 수 있습니다.
- GCE n2d-standard-64 VM(64 vCPU, 256GB RAM)에서 3회 평균으로 체크아웃은 약 36분에서 8초 미만, 전체 빌드는 약 80분에서 2분 남짓이 됐습니다. 기존 방식은 공식 문서의
repo sync -j8(그보다 높으면 Gerrit 속도 제한에 걸립니다)이었고, ABFS 서버는 같은 클라우드 네트워크에 있었습니다. 한 머신에 릴리스 브랜치 5개를 각각 8초 안에 마운트하고, 에이전트 4개가 수정을 백포트하고 빌드하고 테스트하는 시연도 보입니다. - 오픈소스로 공개했고 Bazel과의 개념 증명 통합이 있으며 Chromium 등이 호환을 검토 중이라고 합니다. Android 17 이전 릴리스는 ABFS에 맞게 약간의 패치가 필요합니다.
모노레포 빌드 캐시와 CI 시간을 고민하는 사람에게 "캐시 키는 선언된 입력으로 찾고, 실제로 읽은 입력으로 검증한다"는 설계가 핵심 아이디어입니다. 수치는 Google이 자체 환경에서 잰 것이고 커널 모듈이 필요한 리눅스 전용 구조라서, 프론트엔드 모노레포에 그대로 가져오기보다는 원리를 참고하는 글입니다.
Oxlint가 tsgolint 대신 Rust 포트인 tsrs를 쓰면 타입 인식 린트가 최대 5배 빨라집니다
tsrs를 Oxlint에 넣으면 린트와 타입 검사가 하나의 TypeScript 분석을 공유해서, typescript-eslint와 tsc를 따로 돌릴 때보다 최대 122배 빠릅니다.
- tsrs는 10월에 Cloudflare와 VoidZero가 발표한 TypeScript의 Rust 포트이고, Max Schwenk가 만들었습니다. Oxlint는 기존 타입 인식 린트 백엔드인 tsgolint(Go 포트 기반)의 대안으로 tsrs를 추가하며, Cloudflare, Owner.com, OpenAI 팀이 이미 타입 인식 린트에 쓰고 있다고 합니다.
- 성능은 tsgolint v7.0.2007 대비 최대 5배, 메모리 약 70% 감소입니다. typescript-eslint와 비교하면 최대 98배 빠르고 피크 메모리는 최대 82% 줄어듭니다. 기본으로 켜진 빠른 모드가 검사기 개수를 맞추고 관련 작업을 묶고 캐시를 추가로 씁니다.
- Oxlint 안에서 쓰면 타입 검사와 타입 인식 린트가 한 번의 분석을 공유해 같은 일을 두 번 하지 않습니다. 이 경우 최대 속도 향상은 7배, 메모리 감소는 최대 75%이고,
oxlint --type-aware --type-check로 린트 결과와 함께 타입 오류도 받습니다. - 호환성은 tsgolint의 규칙 61개를 모두 구현했고, 설정 옵션, 진단, 수정, 제안을 그대로 유지하는 것이 목표입니다. 기존 타입 인식 린트 사용 프로젝트는
pnpm i -D oxlint tsrs로 설치하면 자동으로 tsrs를 쓰는 드롭인 교체이고, Vite+는vp upgrade(v1.7.0부터)로 씁니다. - 아직 안정 버전이 아니라서 출력, 수정, 실행 시간, 메모리의 차이를 제보해 달라고 요청합니다. 수치는 모두 팀이 공개한 벤치마크로, 어떤 프로젝트에서 잰 것인지는 이 글에 나오지 않습니다.
타입 인식 린트를 CI와 에이전트 루프에서 "변경마다 돌릴 만큼" 빠르게 만들려는 방향은 개발자 도구와 팀 생산성에 직접 닿습니다. 다만 Oxc 팀의 공지이고 벤치마크 대상 프로젝트와 조건이 빠져 있어, 우리 저장소에서 직접 재 보기 전에는 숫자를 그대로 믿기 어렵습니다.
pnpm v13 락파일은 병합 충돌을 줄이려고 packages와 snapshots를 하나로 합쳤고, 보안 도구가 깨질 수 있습니다
pnpm 락파일이 여전히 유효한 YAML인데도 SBOM 생성기와 취약점 스캐너는 파싱에 성공하고도 의존성 그래프를 틀리게 복원할 수 있습니다.
- pnpm 12.19.0(11월 10일)에 실험적 v13 락파일 형식이 opt-in으로 들어왔습니다. pnpm 13에서 기본이 될 형식의 미리보기이고,
pnpm-workspace.yaml에lockfile: format: v13을 넣어 켭니다. 기본은 아직 v9입니다. - 기존 v9은 패키지 메타데이터(
packages)와 해석된 의존성 관계(snapshots)를 나눠 저장합니다. v13은 둘을packages한 섹션으로 합치고 최상위importers를projects로 바꿉니다. 패키지 참조는 피어 의존성이나 패치 접미사가 붙은 식별자 대신 순수 버전 번호를 쓰고, 피어는with매핑으로 표현하며, 레지스트리 패키지의 무결성 해시는 패키지 항목에 바로 붙습니다. - 충돌이 줄어드는 이유는 구조 변화입니다. 피어 의존성이 바뀔 때 고쳐야 하는 항목 수가 줄어듭니다. 탭과 후행 쉼표를 쓰는 JSON 비슷한 문법도 도입했지만 pnpm이 직접 밝혔듯 충돌 감소는 문법이 아니라 구조에서 나옵니다.
- 호환성 경고가 중요합니다. 이 설정을 아는 버전은 두 형식을 모두 읽지만 그 이전 pnpm은 v13을 읽지 못합니다. 형식이 pnpm 13 전에 바뀔 수 있어서 업그레이드 후 락파일을 다시 만들어야 할 수도 있습니다(12.20.0과 12.21.0도 피어 순환, 주입된 워크스페이스 패키지, frozen 설치 문제를 고쳤습니다).
packages와snapshots를 분리해 읽거나, 피어 정보를 식별자에서 파싱하거나, 해시를resolution객체에서 읽는 도구는 수정이 필요합니다. 새 형식이 보안 보호를 더하지는 않으며, 기본이 되면 생태계 전체의 도구 호환이 선결 과제입니다.
pnpm 모노레포에서 락파일 병합 충돌에 시달린 팀이라면 pnpm 13 전에 미리 시험해 볼 만하고, 동시에 락파일을 읽는 사내 도구나 스캐너가 있는지 점검할 신호입니다. Socket의 2분 분량 요약이라 새 형식의 정확한 스키마는 pnpm 문서로 확인해야 하고, 충돌이 얼마나 줄어드는지 수치는 없습니다.
보안과 릴리스
- pnpm 12.22.0
pnpm보안. 기본 또는 스코프 레지스트리가 바뀐 뒤pnpm install이 새 레지스트리에 대한minimumReleaseAge와trustPolicy검사를 건너뛸 수 있던 문제를 고쳤고,pnpm dlx가 더 느슨한 설정으로 만든 캐시를 재사용하던 것과pnpm audit가 문자열 id 권고를 빠뜨려 취약점이 없다고 보고하던 것도 고쳤습니다. 내가 할 일: 이 두 설정에 의존하는 저장소는 12.x는 12.22.0으로, 11.x는 11.28.13으로 올리세요. 등급은 원문에 없습니다. - pnpm 11.28.13
pnpm보안. 위와 같은 보안 수정이 11 라인에 들어간 패치로, 오프라인 설치가minimumReleaseAge검사에서 실패하던 문제와 피어 및 주입 패키지 해석 버그도 고쳤습니다. - Microsoft's agent-framework PyPI package Compromised with Credential Stealer
Socket공급망. PyPI의agent-framework1.26.1과 1.26.2가 파이썬 시작 시 실행되는.pth훅으로 Azure, GitHub Actions OIDC, CI/CD 자격 증명을 외부 웹훅으로 보냈습니다. 내가 할 일: 이 버전을 설치했다면 제거하고 노출됐을 수 있는 자격 증명을 모두 교체하세요(파이썬 패키지지만 CI 러너에서 설치했다면 영향권입니다). - jQuery 4.1.0
github.com(Hacker News 경유) 선택자의 식별자 매칭 ReDoS 수정과 더 엄격한 빠른 선택 경로가 들어갔고,jqXHR에responseURL이 추가됐으며 폼 연동 커스텀 엘리먼트를 직렬화합니다. 3.8.0도 함께 나왔습니다. - Node.js 27.0.0-alpha.0.1.1
Node.js Blog주요 변경은 macOS tarball의bin/node에 notarize가 적용된 것이고, 리눅스에서 PIE가 켜졌으며 nghttp3가 1.19.0으로, V8 백포트 몇 건이 반영됐습니다.
수집 상태
수집 4185건, 본문 확보 61건, 읽은 글 18건, 실은 글 7편. 실패한 소스: CSS-Tricks (파싱 결과 0건), The Engineering Manager (파싱 결과 0건)