yceffortnews
Daily20266편

11월 7일 토요일

오늘 하나만 본다면

코딩 에이전트는 코드에 남은 낡은 TODO를 할 일로 읽고 샛길로 샙니다

Google Developers 원문

사람은 그냥 지나치는 TODO(bug/...) 주석을, 에이전트는 6%의 확률로 "할 일"로 받아들이고 그 버그를 파러 갑니다. 그중 83%는 개발자가 시키지 않은 일입니다.

  • 구글은 수억 건의 에이전트 단계 추적을 분석했습니다. 파일을 읽은 세션의 13%가 TODO(bug/...)나 FIXME(bug/...) 같은 버그 번호가 달린 주석을 만났고, 에이전트는 그중 94%를 무시했습니다. 나머지 6%에서는 그 버그 번호를 겨냥한 후속 행동을 했습니다.
  • 후속 행동의 83%는 개발자가 그 버그를 언급하지 않았는데 에이전트가 스스로 한 일입니다. 이 샛길을 실제 버그 상태와 대조하니 41%는 이미 닫힌 티켓을 쫓았습니다. 고쳐진 버그가 32%, 폐기됐거나 고치지 않기로 한 버그가 9%이고, 중복이나 접근 제한 티켓이 2%입니다.
  • 나머지 절반 이상은 버그가 아직 열려 있었고, 에이전트는 시키지 않은 범위로 작업을 넓혔습니다. 61%는 조회만 했고 39%는 코드를 수정했습니다. 한 사례에서는 2023년에 고쳐진 버그의 TODO가 그대로 남아 있어 에이전트가 관련 없는 조사 도중 그 버그를 따라갔습니다.
  • 개발자, 코드베이스 복잡도, 작업 종류, 모델 등급, 읽은 파일 수, 첫 프롬프트 길이, 버그 참조가 나온 단계를 통제한 회귀분석에서도 비용이 남았습니다. 세션당 단계 70% 증가, 토큰 77% 증가, 대기 시간 105% 증가이고 모두 p<0.0001입니다. 대응으로는 에이전트가 코드베이스를 훑어 낡은 TODO를 찾고, 파일과 버그의 이력을 수년치까지 거슬러 올라가 정말 폐기된 것만 삭제 변경으로 올리게 했습니다. 지난 6개월간 수천 건을 지웠고 사람 리뷰어 승인율은 95%를 넘었습니다.

AI 코딩 도구 시대에 코드 리뷰와 검증 체계를 고민하는 독자에게, 방치된 주석이 이제 에이전트의 비용 항목이 된다는 실측 근거입니다. 다만 TODO라는 한 가지 프록시로 잰 구글 내부 코드베이스의 수치이고, 외부에서 재현할 수 있는 데이터는 아닙니다.

읽을 만한 것

에이전트가 테스트 기법을 제대로 쓰기 시작했지만, 어떤 기법이 낫다는 결론은 아직 못 냅니다

Dan Luu 원문

8월에는 GPT-5.6 Sol에게 특정 테스트 기법을 쓰라고 하면 오히려 결과가 나빠졌는데, GPT-6 Astra로 같은 실험을 다시 하니 기법을 쓴 쪽이 기본값을 앞서는 조건이 여럿 나왔습니다.

  • 8월 실험은 Zstd RFC를 주고 구현시키는 것이었습니다. 당시 5.6 Sol은 중간 추론 강도에서 평균 3.5달러, 높은 강도에서 5.5달러를 들여 각각 63%, 77%의 확률로 숨겨 둔 테스트를 전부 통과했습니다. Astra는 1달러로 99% 넘게 통과해서, 이 실험은 거의 모든 조건이 만점이라 변별력을 잃었습니다.
  • 기법을 쓰는 방식도 달라졌습니다. 5.6 Sol에게 퍼징을 시키면 같은 코드 경로만 두드리는 무의미한 난수 입력을 만들었는데, Astra는 코드 경로를 실제로 훑는 구조적 퍼징을 하고 사소하지 않은 버그를 찾았습니다. 다만 Zstd 실험이 포화되어 정확도가 올랐는지는 알 수 없습니다.
  • 더 어려운 pandoc 구현 실험은 조건마다 25번만 돌렸는데도 정가 기준 약 9만 달러가 들었습니다. 평균 14턴을 돌려도 만점인 조건이 없어서 통과한 테스트의 비율로 비교했습니다. 이 결과에서는 기본값을 앞서는 조건이 여럿 있었고, 차분 테스트(두 구현의 출력을 비교하는 방식)는 경계 조건을 꼼꼼히 따지게 만들었으며, 속성 기반 테스트 라이브러리(Proptest)는 이번에는 기대한 대로 동작하는 테스트를 만들었습니다. TDD는 다시 기본값보다 나빴지만, 작은 테스트를 많이 만드는 다른 조건들은 나쁘지 않아서 "작은 테스트가 많으면 일반화가 약하다"는 그럴듯한 설명의 신뢰도는 낮아졌습니다.
  • 저자는 스스로 해석을 제한합니다. 표본이 작고, 프롬프트 문장 구조 같은 사소한 변화로도 결과가 크게 바뀔 수 있고, pandoc 하나가 문제 전체를 대표하는지 알 수 없다고 말합니다. 저자의 추정으로는 이 정도 신뢰도를 얻으려면 이번 실험의 100배가 필요합니다. 글 말미에서는 "에이전트에게 테스트를 쓰지 말라고 하라"는 주장이 DeepSWE 결과를 근거로 퍼진 데 대해, 더 쉬운 문제를 푼 Sonnet 5.5 High 기준 결과라서 이번 실험과 곧바로 비교할 수 없다고 선을 긋습니다. 이 부분은 본문이 중간에서 끊겨 있어 뒤의 논의는 확인하지 못했습니다.

에이전트에게 어떤 검증 기법을 시킬지가 곧 팀의 리뷰 체계 설계인 독자에게, 결론보다 "무엇을 아직 모르는가"를 정직하게 적은 방법론이 참고가 됩니다. 한계는 분명합니다. 조건당 표본이 작고 단일 작업이며, 원문이 중간에서 잘려 있습니다.

버그를 찾는 속도가 고치는 속도를 앞질러, 사후 테스트의 가치가 흔들립니다

alperenkeles.com (Lobsters 경유) 원문

속성 기반 테스트 연구자가 한 달 동안 500건이 넘는 버그를 보고하고 나서 내린 결론은 "고치지 않아도 될 버그가 있다"입니다.

  • 속성 기반 테스트(PBT)는 "어떤 입력에도 크래시가 나지 않는다", "덧셈은 교환법칙을 만족한다" 같은 일반 명제를 쓰고 무작위 입력으로 검증하는 방식입니다. 저자는 이 도구를 6년간 만들어 왔고, 지난 한 달에 직접 분류해서 500건이 넘는 버그를 보고했습니다. 에이전트가 쏟아낸 것을 그대로 올리지 않았는데도 Postgres 19 일정이 늦어지는 데 일부 책임이 있을지 모른다고 걱정합니다.
  • 핵심은 비대칭입니다. 버그는 짧은 재현 코드와 기대 동작, 실제 동작만 보면 높은 확신으로 검증됩니다. 반면 수정은 한 줄에서 수백 줄까지 다양하고 올바른 수정이 여럿이라, 미리 내다보고 설계해야 하며 검증도 훨씬 어렵습니다. 재현 케이스 주변만 고치는 가장 단순한 수정을 계속 적용하면 사실상 무한히 많은 수정이 필요해질 수 있다고 봅니다.
  • 그래서 "모든 버그를 고쳐야 한다"는 입장이 현실적이지 않다고 말합니다. 수십억 명이 한 번도 부딪히지 않은 10년 묵은 버그를 고치느라, 사용자가 실제로 쓸 기능을 만들 시간을 쓰는 것이 맞느냐는 질문입니다. 보안 취약점과 조용히 데이터가 틀어지는 실패는 예외로 둡니다. 공격자가 찾기 전에 찾아야 하기 때문입니다.
  • 결론은 테스트가 개발과 함께 갈 때 가장 가치 있다는 것입니다. 만들어진 뒤에 바깥에서 하는 테스트(저자의 표현으로 in vitro)보다, 개발 중에 검증 능력을 개발 속도를 높이는 데 쓰는 방식(in vivo)이 더 중요해진다고 주장합니다. 보고자는 어떤 버그를 올릴지 가려야 하고, 메인테이너도 어떤 버그를 고칠지 가려야 한다는 제안입니다.

AI가 버그를 찾는 비용을 낮추는 시대에, 팀이 어떤 이슈를 받고 어떤 이슈를 버릴지 기준을 세우려는 독자에게 맞는 글입니다. 6분짜리 짧은 에세이라 근거는 저자 본인의 한 달 경험이고, 정량 데이터는 없습니다.

마이크로VM 탈출 연쇄: 게스트에서 호스트 스레드의 복귀 지점을 바꿔 루트 코드 실행까지 갑니다

pwn.ai (Hacker News 경유) 원문

게스트가 호스트 쪽 vCPU 스레드가 커널에서 돌아올 때 실행할 함수를 직접 정해, 호스트 루트 권한으로 write를 호출시켰습니다. 그런데 Firecracker는 죽지 않았고 VM은 SSH로 계속 접속됐습니다.

  • Firecracker는 AWS가 만든, 신뢰할 수 없는 코드를 격리하는 마이크로VM 모니터입니다. 호스트에서는 VM마다 프로세스가 하나 있고 가상 CPU(vCPU)마다 스레드가 있습니다. 이 스레드가 KVM_RUN 시스템 콜 안에 있는 동안 호스트 커널은 사용자 공간으로 돌아갈 레지스터를 pt_regs라는 구조체에 저장해 둡니다. 저자들은 이 저장된 프레임을 고치면 복귀 때 실행할 코드를 정할 수 있다는 점에 착안했습니다.
  • 앞 편(Part 1)에서 얻은 호스트 물리 메모리 접근 프리미티브를 쓰는 것이 출발점입니다. 게스트 페이지에 알아볼 수 있는 바이트 패턴(nonce)을 심고, 호스트에서 EPT 루트 후보 두 개를 찾은 뒤 중첩 페이지 테이블 검증으로 하나로 좁혔습니다. 거기서 호스트 쪽 매핑을 역으로 찾아 Firecracker 프로세스의 페이지 테이블 루트를 얻고, ASLR(실행 주소 무작위화)이 만든 로드 오프셋을 계산해 실행 파일 안의 함수 위치를 알아냈습니다.
  • 살아 있는 vCPU 프레임은 한 가지 단서로 고르지 않고 여러 검사를 모두 통과한 후보로 골랐습니다. 시스템 콜 번호, ioctl 요청이 KVM_RUN인지, 명령 포인터가 검증한 Firecracker의 ioctl 이후 위치인지, 스택 포인터가 변환되는지 등입니다. 옛 스택 내용과 구분하려는 장치이고, 후보는 하나만 남았습니다.
  • 증명은 일부러 단순합니다. 프로세스가 자기 stderr에 8바이트 문자열을 쓰게 했습니다. 임시로 바꾼 스택 세 단어는 원래대로 복원했고, 반환값을 0으로 맞추는 xor eax,eax; ret 조각을 끼워 원래 흐름으로 돌아가게 했습니다. 실험 환경은 Firecracker 1.16.1, 호스트 커널 7.0.0-1011-aws이고, Firecracker를 root로 직접 띄운 설정이라 호출이 호스트 root 권한으로 실행됐습니다. 본문에는 이 연쇄가 "CVE-2026-99999를 보이는 후속편"이라고만 적혀 있고, 본문이 잘려 있어 공개된 패치 여부는 확인하지 못했습니다.

격리를 믿고 코드 실행 샌드박스나 CI 러너를 컨테이너와 VM 위에 올리는 독자에게, 경계가 어떻게 뚫리는지 단계별로 보여 주는 글입니다. 한계는 root로 직접 실행하는 실험 구성에 기대고 있다는 점이고, 운영 환경의 권한 분리가 같은 결과를 막는지는 이 글에서 알 수 없습니다.

TLA+ 명세를 운영 트래픽으로 계속 검증해, 1년간 숨어 있던 배치 충돌을 찾았습니다

datadoghq.com (Lobsters 경유) 원문

형식 명세는 만든 날에는 시스템과 맞지만, Datadog의 이벤트 데이터베이스 Husky에서는 배치 로직이 바뀐 뒤 충돌하는 배치 두 건이 1년 가까이 운영에 남아 있었습니다.

  • Husky는 초당 수백만 건의 이벤트를 정확히 한 번 수집해야 하는 분산 스트리밍 시스템입니다. 몇 년 전 TLA+(Leslie Lamport가 만든 명세 언어)로 라우팅 명세를 썼고 당시에는 운영 동작과 맞았습니다. 하지만 시스템이 바뀌는 동안 아무도 명세가 여전히 맞는지 대규모로 확인하지 않았고, 충돌하는 배치가 단 두 건만 있어도 데이터 유실 복구 중 백필 시스템이 죽을 수 있었습니다.
  • 어려움은 구조적입니다. 모델 체킹이 가능한 명세는 클라이언트 둘, 이벤트 셋처럼 입력이 유한해야 하고 "어떻게" 일어나는지(요청 큐 등)를 모델링해야 합니다. 반면 운영에서 관찰 가능한 명세는 입력이 끝없이 들어와도 되어야 하고 "무엇이 허용되는지"만 말해야 합니다. 그래서 기존 접근은 명세 자체가 아니라 명세에서 뽑은 불변식만 감시했는데, 락 서버 예시처럼 "락이 두 번 잡히지 않는다"는 불변식은 지키면서도 같은 락을 두 번 해제하는, 명세가 금지한 전이를 허용하는 구현이 가능합니다.
  • 그래서 TLA+의 정제(refinement)를 이용했습니다. 관찰 가능한 명세 A와, A를 정제하면서 유한한 경계를 둔 모델 체킹용 명세 B를 따로 두면, B가 A에서 금지한 동작을 허용하지 않는지는 모델 체커가, A가 운영에서 지켜지는지는 런타임 모니터가 확인합니다. 이를 구현한 FETCh(Formal Execution Trace Checker)는 TLA+ 명세를 Rust 모니터로 바꿉니다. 모니터는 Datadog 로그 같은 텔레메트리를 받아 이벤트마다 해당 액션의 사전 조건을 검사하고, 어긴 경우 명세와 구현이 갈라진 것으로 판정합니다.
  • 이 방식으로 배치 충돌을 찾은 과정은 전통적인 테스트와 코드 리뷰, 수동 명세 리뷰가 모두 놓친 것이었다고 저자들은 말합니다. 대규모 운영 데이터를 다루려고 FETCh는 HashMap 대신 FetchMap 같은 자체 구조를 씁니다. 본문이 중간에서 끊겨, Husky에 적용한 상세한 결과와 규모는 확인하지 못했습니다.

AI가 코드를 빠르게 바꾸는 환경에서 "리뷰한 시점의 명세는 맞았다"가 얼마나 쉽게 거짓이 되는지를 보여 줍니다. 검증 체계를 사람의 주기적 리뷰에서 운영 데이터 기반 자동 점검으로 옮기는 설계 사례로 읽을 수 있습니다. 출처는 도구를 만든 회사 자신의 보고라 도입 비용과 오탐률 같은 약점은 거의 나오지 않습니다.

새 루비 젬이 설치만으로 자격 증명을 훔치고 AI 코딩 도구 설정까지 오염시킵니다

Socket 원문

gem install을 하는 순간, 어떤 코드도 require하지 않았는데도 5.48MB짜리 웜이 실행되고, GitHub 토큰을 폐기하면 홈 디렉터리를 지우도록 되어 있습니다.

  • 문제의 strutil-core는 기존 패키지가 탈취된 것이 아니라 새로 만든 독립 젬입니다. 2026년 11월 1일에 정상인 1.0.0을 올렸고 2시간도 안 되어 악성 1.0.1을 올렸습니다. Socket의 AI 스캐너가 게시 70초 만에 잡았고 RubyGems가 5시간쯤 뒤 두 버전을 내렸습니다. 이 젬에 의존하는 공개 프로젝트는 없었고, 확인된 피해자나 감염된 패키지도 아직 없습니다.
  • 실행 경로는 네이티브 확장 빌드 스크립트 extconf.rb입니다. 여기에 빌드 로직은 없고, Bun 런타임을 내려받아 번들된 index.js를 실행한 뒤 아무 일도 하지 않는 Makefile을 써서 설치가 오류 없이 끝나게 합니다. 이 페이로드는 6월에 공개된 Shai-Hulud 계열의 Miasma 웜에서 나온 testmetest의 새 빌드이고, 설치 스크립트의 36줄 중 33줄이 6월 템플릿과 같습니다. 바뀐 것은 Bun 버전과 다운로드 URL을 쪼개 정적 시그니처를 피한 것 등 네 가지입니다.
  • 훔치는 대상은 클라우드, CI, 패키지 레지스트리, SSH, 지갑과 함께 .claude/.credentials.json, .codex/auth.json 같은 AI 코딩 도구 자격 증명입니다. 샌드박스 실행에서 51곳의 자격 증명 저장소를 읽었습니다. GitHub Actions 안에서는 러너 프로세스의 메모리를 읽어 비밀값을 꺼내고, 네트워크를 감시하는 StepSecurity Harden-Runner를 죽이고 호스트 파일을 조작해 무력화합니다.
  • 전파와 지속 수단도 있습니다. 훔친 키로 RubyGems, npm, PyPI에 자신을 심어 다시 배포하는 모듈이 있고, 서명된 GitHub 커밋 메시지로 받은 스크립트를 한 시간마다 실행하는 백도어를 설치합니다. 로컬 AI 도구의 mcp.json 등에는 workspace-tools라는 MCP 서버를 심고 다른 설정에는 세션 시작 훅을 추가합니다. 이 글의 분석은 정적 분석과 샌드박스 실행에 기반한 것이고, 실제 피해 시스템에서 관찰한 활동은 아닙니다.

npm과 공급망 보안을 다루는 독자에게는 "설치 시 스크립트 실행"이라는 익숙한 위협이 AI 에이전트 설정 파일을 노리는 방향으로 진화했다는 점이 핵심입니다. 이 사건 자체의 피해는 확인되지 않았고, 글은 Socket이 자사 스캐너의 성과를 알리는 성격도 있습니다.

보안과 릴리스

  • Free Certified Patch for Critical Rails Active Storage Vulnerability Socket 보안, Critical. Active Storage가 ImageMagick으로 업로드 파일을 분석할 때 위험한 coder를 막지 않아, 인증 없는 공격자가 임의 파일을 쓰고 설정에 따라 읽기까지 할 수 있는 결함입니다(GHSA-f3w6-w445-fwh9, CVSS 9.8). 내가 할 일: Rails를 8.1.4.1 또는 8.0.5.2로 올리고, :mini_magick을 쓴다면 MiniMagick 5.1 이상도 확인한 뒤, Disk 서비스를 쓴다면 secret_key_base 같은 자격 증명을 교체합니다. 8.0 계열 보안 지원이 11월 7일에 끝나므로 8.1 이전도 계획합니다.
  • Libghostty 1.0 mitchellh.com (Mitchell Hashimoto, Lobsters 경유) 터미널 에뮬레이션 C 라이브러리 libghostty-vt가 1.0이 되며 API와 C ABI가 안정화됐습니다. 모든 객체를 불투명 핸들로 두고 CI에서 libabigail로 ABI를 검사하며, JetBrains IDE의 터미널이 이걸로 바뀌었다고 저자가 밝혔습니다(사용자 수는 저자가 인용한 JetBrains 보고 수치).
  • Vercel Tracing is now generally available Vercel Blog 트레이싱이 전 요금제에서 정식 출시됐고, Next.js 16.5 이상의 새 프로젝트는 첫 빌드 뒤 모든 요청을 추적하는 샘플링 규칙이 자동으로 켜집니다. 보존 기간은 Hobby 3일, Pro 14일, Enterprise 14일이고 vercel traces search로 CLI에서도 검색합니다.

수집 상태

수집 6211건, 본문 확보 46건, 읽은 글 14건, 실은 글 6편. 실패한 소스: Kent Beck (HTTP 403)