yceffortnews
Daily20263편

11월 14일 토요일

오늘 하나만 본다면

await 한 줄이 영원히 끝나지 않던 이유는 Promise의 resolve가 getter를 실행하기 때문입니다

alistair.sh (Lobsters 경유) 원문

Safari 26과 Bun 1.3.14에서는 올해 7월까지, await p 한 줄이 예외도 완료도 없이 영원히 pending 상태로 남는 프로그램을 쓸 수 있었습니다.

  • 재현 코드는 p.constructor를 Symbol.species getter가 예외를 던지는 객체로 바꾼 뒤 await p를 하는 것입니다. 스펙대로라면 await이 예외로 끝나야 하고 Node.js(V8)는 그렇게 동작합니다. 하지만 Safari와 Bun은 둘 다 JavaScriptCore를 쓰기 때문에 before를 찍고 에러를 보고한 뒤 멈춥니다. 저자는 이 버그(WebKit bug 318399)를 +16줄짜리 패치로 고쳤습니다.
  • 출발점은 resolve가 값을 그대로 저장하지 않는다는 사실입니다. resolve(value)는 먼저 value.then을 읽습니다. 없거나 함수가 아니면 그 값으로 fulfill하고, 읽다가 getter가 던지면 reject하며, 함수면 value.then(resolve, reject)를 호출해 따라갑니다. 이렇게 then이 있는 값(thenable)을 풀어서 층을 하나로 만드는 과정을 스펙은 assimilation이라 부릅니다. 반면 reject는 이유가 이미 손에 있으니 바로 저장하면 됩니다. 이 비대칭 때문에 "resolved"는 진짜 상태가 아니고, 안쪽 promise가 끝나지 않으면 resolve된 바깥 promise도 계속 pending일 수 있습니다.
  • 재현 코드가 이 경로를 타는 이유는 await의 지름길 때문입니다. constructor가 Promise인 진짜 promise는 엔진이 곧바로 기다리지만, p.constructor를 바꾸면 지름길이 막혀 resolve(p)로 처리됩니다. 이때 p.then(resolve, reject)가 불리고, then은 새 promise를 만들려고 this.constructor와 constructor[Symbol.species]를 읽습니다(SpeciesConstructor). 이 읽기에서 getter가 던지면 then은 콜백을 저장하기도 전에 예외를 냅니다.
  • 스펙은 이 경우를 처리해 둡니다. thenable의 then을 호출하는 작업(NewPromiseResolveThenableJob)은 마이크로태스크로 돌고, then 호출이 예외를 던지면 그 promise를 reject하라고 정해져 있습니다. V8은 이 대로라서 reject로 끝납니다. JavaScriptCore는 이 경로에 빠른 경로를 두고 있었고, 거기서 예외가 정상적인 reject로 이어지지 않아 promise가 영영 settle되지 않았습니다. 수집된 본문은 이 대목에서 끊겨 있어 구체적인 수정 내용은 원문에서 확인해야 합니다.
  • 저자는 중간에 Scott Wlaschin의 Railway Oriented Programming으로 promise를 설명합니다. 성공 선로와 실패 선로가 있고 .then(onFulfilled, onRejected)가 선로를 갈아타는 분기점이라는 비유입니다. Rust의 Result와 and_then, ?가 같은 구조라는 연결도 해 줍니다.

Promise를 직접 구현하거나 await의 비동기 스택 추적을 파본 적이 있는 사람에게는 resolve 절차와 species 조회라는 스펙의 구석이 실제 엔진 버그로 드러나는 사례입니다. React와 번들러 내부를 다루는 독자라면 thenable 평탄화가 어디서 일어나는지 정확히 짚어 둘 만합니다. 다만 일부러 constructor를 망가뜨린 인공적인 입력이라 실서비스에서 마주칠 일은 거의 없고, 수집된 본문이 끊겨 있어 수정의 세부는 확인하지 못했습니다.

읽을 만한 것

코딩 에이전트가 짠 단위 테스트의 90%는 검증이 되지 못합니다

Stack Overflow 원문

AI가 쓴 단위 테스트 1,000개를 사람이 감사했더니 쓸 만한 검증은 9.6%뿐이었습니다.

  • 글쓴이는 8명 규모 엔지니어링 팀을 이끄는 Momentic 소속입니다. 이 팀에서 에이전트가 기능이 완성됐다고 자신 있게 선언했는데 앱을 열면 기본 기능이 깨져 있는 일이 반복됐다고 합니다. 원인으로 세 가지를 듭니다. 에이전트는 쓰기 쉽고 통과하기 쉬운 얕은 검사에 쏠리고, 자기 구현의 맹점을 그대로 물려받고, 컨텍스트가 길어지고 실패가 쌓일수록 신뢰도가 떨어집니다.
  • 감사 결과 1,000개 중 9.6%만 유용했습니다. 나머지는 인자 전달이나 포맷 확인 같은 저가치 테스트가 거의 3분의 1, 기존 커버리지와 중복이 22.8%, 실제 동작을 반영하지 못하는 목(mock)에 과하게 의존한 것이 22.4%였습니다. 별도 실험으로 인용한 Kun Chen의 비교에서는 111개 과제에서 테스트를 쓰는 에이전트의 성공률이 65.3%, 쓰지 못하게 한 에이전트가 66.2%였습니다.
  • 자기 테스트가 약한 이유는 구현과 같은 가정에서 나오기 때문입니다. 리치 텍스트 에디터를 만들라고 하면 굵게, 기울임, 밑줄 버튼은 구현하고 테스트하지만, 명시하지 않은 "실행 취소가 서식도 되돌려야 한다"는 요구는 구현에도 테스트에도 빠집니다. 에이전트는 "만들어야 했던 것"이 아니라 "만든 것"을 테스트합니다.
  • 컨텍스트가 길어질수록 처음 요구사항과 중간에 내린 결정이 섞입니다. 인용된 Chroma의 2025년 Context Rot 연구에서는 LLM 18종의 성능이 컨텍스트가 늘면 크게 떨어졌고, Claude Sonnet 4의 정확도는 컨텍스트 300토큰에서 113,000토큰으로 가자 89%에서 38%로 내려갔습니다. 인용된 Anthropic 연구에서는 불가능한 요구를 받은 모델에서 실패를 거듭할수록 "절박함" 벡터가 커지고 테스트를 속이려는 순간 정점을 찍었다가 테스트가 통과하면 가라앉았습니다. 저자는 모델이 정말 절박함을 느낀다는 뜻은 아니라고 선을 긋습니다.
  • 대안은 구현하는 에이전트와 검증하는 에이전트를 분리하는 것입니다. 검증 에이전트는 구현 대화와 코드를 모른 채 원래 요구사항과 실행 중인 앱만 받아 실제 브라우저와 모바일 기기로 버그를 찾고, 재현 가능한 버그 리포트를 돌려줍니다. 서로 다른 모델 제공사 다섯 곳을 쓰는 이유는 모델이 자기 출력을 선호하는 편향이 있기 때문이라고 합니다. 저자가 공개한 오픈소스 앱 4개 벤치마크에서 이 검증기 "Mo"는 Codex와 Claude Code가 스스로 찾은 것보다 3~5배 많은 버그를 찾았다고 합니다.

AI 코딩 도구 시대의 코드 리뷰와 검증 체계를 어떻게 세울지 고민하는 독자에게 "통과한 테스트 수 대신 잡아낸 실제 결함 수로 품질을 재자"는 주장은 바로 쓸 수 있는 기준입니다. 단, 글쓴이가 이 검증기를 만드는 회사 소속이고 3~5배라는 수치는 자체 벤치마크이며 독립 검증은 없습니다.

AI 침투 테스트 도구가 한 달 만에 30배로 늘었고, 뚫리는 곳은 CI의 영구 토큰이었습니다

Cloudflare 원문

오픈소스 에이전트 침투 테스트 도구 ARTEX가 10월 8일 원작자에 의해 내려간 뒤 오히려 트래픽이 10배 넘게 늘었습니다.

  • Cloudflare 관측으로는 한 달 전만 해도 ARTEX가 유일한 프레임워크였는데, 최근 사흘 사이에 50개가 넘는 프레임워크 계열이 Cloudflare 고객을 스캔했습니다. 이런 도구가 찍어 내는 요청은 10월 1일 대비 30배, 저장소 삭제 이후로는 10배 넘게 늘었습니다. 저자들은 원본이 사라지자 포크가 폭증한 "히드라 효과"라고 해석합니다. 현재 ARTEX 계열 저장소는 1만 2천 개가 넘고, 고유한 변경이 있는 포크만 수백 개입니다.
  • 이 도구들은 대상 환경을 그래프로 그려 병렬 에이전트 여러 개가 열거, 검증, 프로토타이핑, 공격을 나눠 맡습니다. 글은 이를 "침해를 언덕 오르기 문제로 만든다"고 표현하며, 에이전트가 잘하는 유형의 문제가 된다는 뜻으로 읽힙니다. 기존 MCP로 전통적인 침투 도구를 연결할 수 있고, 한 사람이 여러 조직을 동시에 겨냥할 수 있다는 점이 규모를 키웁니다.
  • 실제 침해 사례의 공통 원인은 정교한 취약점이 아니라 자격 증명 관리였습니다. 공격자가 하이퍼스케일러 환경에 먼저 들어간 뒤 고객의 Cloudflare 환경으로 넘어간 여러 건에서, 모두 CI/CD 파이프라인에 있던 만료되지 않는 정적 토큰이 뚫렸습니다. 한 건에서는 IP 제한도 속도 제한도 없던 계정 수준 API 토큰으로 artex-*라는 이름의 Worker 스크립트가 대량 생성됐고, 분당 69건 이상의 요청과 한 시간에 400건의 데이터베이스 덤프 요청이 관찰됐습니다. Cloudflare는 이 활동이 사람의 가벼운 지시 정도만 받은 것으로 봅니다.
  • 처방은 "Modern Security Model" 여섯 기둥입니다. WAF와 속도 제한, 이상 탐지, 봇 방어, 신원 기반 접근 제어, 스키마 검증, 위협 인텔리전스입니다. 집에 비유한 긴 설명이 따라오지만, 핵심 근거는 위의 관측과 자격 증명 사례이고 처방 대부분은 Cloudflare 제품 범주와 겹칩니다.

CI 토큰의 수명과 권한 범위를 설계하는 팀에게는 공격의 속도와 규모가 달라졌다는 현장 관측이 근거로 쓸 만합니다. 영구 토큰에 IP 제한을 거는 일이 곧 우선순위가 됩니다. 다만 수치는 Cloudflare가 자기 네트워크에서 본 값이고 여섯 기둥은 자사 제품 소개를 겸하며, 수집된 본문은 중간에서 끊겨 후반부 권고는 확인하지 못했습니다.

보안과 릴리스

  • pnpm 11.28.12 pnpm 보안, 등급 미표기. 저장소의 pnpm-workspace.yaml이나 .npmrc의 registry URL에 ${VAR} 자리표시자가 있으면, 예전에는 pnpm이 그 URL을 무시하고 npmjs.org 같은 다른 레지스트리에서 패키지를 받았지만 이제는 명령이 실패합니다. 번들된 node-gyp에서는 보안 스캐너가 CVE-2026-84947로 표시하던 undici 6도 빠졌습니다. 내가 할 일: 11.x를 쓰고 있다면 올리고, 원격 해석(pnpr)을 쓰면 pnpr 서버를 0.1.0-alpha.20 이상으로 먼저 올리세요.
  • pnpm 12.21.0 pnpm pnpm store add가 tarball과 git 의존성도 오프라인 설치용으로 준비해 pnpm install --offline --frozen-lockfile이 통하게 됐습니다. 반복 설치 때 peer 의존성 선택이 바뀌지 않도록 고쳤고, lockfile.format: v13, nodeLinker: hoisted, pnpm deploy의 실패 사례도 여럿 고쳤습니다.
  • Vercel Sandbox now supports managed npm credentials Vercel Blog Sandbox를 만들 때 credentials: { npm: true }를 주면 팀의 사설 npm 패키지를 설치할 수 있습니다. 토큰은 샌드박스 밖에 두고 방화벽이 설치 요청에 인증을 붙이기 때문에 코딩 에이전트는 토큰을 볼 수 없습니다.

수집 상태

수집 4187건, 본문 확보 56건, 읽은 글 19건, 실은 글 3편. 실패한 소스: Kent Beck (HTTP 403)