yceffortnews
Daily20266편

11월 12일 목요일

오늘 하나만 본다면

AI가 테스트까지 쓰는 시대에는 테스트를 코드가 아니라 데이터로 써야 합니다

Martin Fowler 원문

Thoughtworks 개발자 26명에게 "우리 테스트를 믿습니까?"라고 물었더니 하나같이 "그다지 믿지 않는다"고 답했습니다.

  • 저자 Matteo Vaccari는 2026년 초 AI 코딩 에이전트에 크게 투자한 조직의 개발자 26명을 인터뷰했습니다. 테스트를 처음 생성했을 때 리뷰해도, 기능이 추가될 때마다 AI가 기존 코드와 기존 테스트를 함께 리팩터링하기 때문에 테스트가 여전히 올바른 동작을 보장하는지 확신할 수 없다는 답이 돌아왔습니다. 함수 시그니처가 바뀌면 테스트를 고치는 것 자체는 AI의 잘못이 아니지만, 바뀐 테스트 코드를 매번 다시 읽는 것은 현실적이지 않습니다.
  • AI가 쓴 테스트의 문제는 네 가지로 정리됩니다. 양이 많고, 읽기 어렵고, 구현에 결합되어 있고, 코드가 맞다는 것을 증명하지 못할 수 있다는 점입니다. mock과 stub을 많이 쓰면 "입력이 X면 출력은 Y"가 아니라 "함수 A를 부르면 함수 B가 불린다"만 확인하게 되고, "모듈 X를 테스트로 덮어 달라"고 하면 현재 구현을 그대로 확인하는 테스트가 나와 버그까지 정답으로 굳힙니다. 저자는 2026년 초 배포 코드의 품질이 나빠졌다는 보고가 여럿 나왔고 테스트 품질 저하가 원인 중 하나일 수 있다고 보지만, 원인은 확실히 모른다고 밝힙니다.
  • 산문으로 쓴 스펙(spec-driven development의 마크다운 문서)도 해법이 아니라고 봅니다. 분량 때문에 피로해져 AI의 계획을 대충 훑고 수락하게 되고(저자가 인용한 표현으로 "cognitive surrender"), 기능이 끝난 뒤 스펙을 유지보수하기 어렵고, LLM이 스펙 일부를 포기한 채 "완료"라고 주장할 수 있고, 영어 자체가 모호하기 때문입니다. 요약하면 "산문 스펙은 실행할 수 없지만 테스트는 실행할 수 있다"는 것입니다.
  • 제안은 네 가지 기법입니다. 사용자의 언어로 쓰는 customer test, 구현 세부를 언급하지 않는 black box 테스트, 입력과 기대 출력과 셋업만 남기는 tests-as-data, 도메인 전문가가 읽을 수 있고 실패하면 깔끔한 diff가 나오는 텍스트 DSL입니다. AI가 코드를 쓰면 개발자는 그 코드의 "고객"이 되고, 테스트는 계약이 됩니다. 테스트를 데이터 파일로 옮기고 비교적 작은 러너가 해석하게 하면 AI가 슬쩍 바꾸는 일을 막기 쉽고, 러너 자체는 AI가 쉽게 만들어 줍니다.
  • TDD와의 관계도 다룹니다. 에이전트는 테스트보다 코드를 먼저 많이 쓰는 경향이 있어 정통 TDD를 따르게 하기 어렵고, 방법을 지시하기보다 원하는 결과와 검증 방법만 알려 줄 때 더 잘 동작하는 것 같다고 말합니다. 이 기법들이 "검증 방법"을 제공하므로 더 큰 보폭의 test-first로 볼 수 있다는 주장입니다. 저자도 customer test는 E2E로 구현하면 느리고 불안정할 수 있다고 단서를 답니다.

AI가 코드와 테스트를 함께 바꾸는 상황에서 코드 리뷰의 무게중심을 어디에 둘지 고민하는 팀에게 바로 닿는 글입니다. 다만 인터뷰는 한 조직의 26명이고 효과는 측정치 없이 주장으로 제시되며, 수집된 본문이 중간에서 끊겨 DSL의 구체적인 모양은 확인하지 못했습니다.

읽을 만한 것

OTel Collector의 batch 프로세서가 폐기됩니다. 배치를 큐 뒤로 옮기면 큐 용량의 의미가 달라집니다

OpenTelemetry 원문

batch 프로세서를 빼고 exporter에서 배치를 켜면 같은 queue_size: 1000이 담는 데이터 양이 크게 줄어듭니다. 큐가 배치의 앞으로 옮겨 가기 때문입니다.

  • batch 프로세서는 공식 deprecated 되었습니다. 대부분의 exporter에서 exporter 단위 배치가 기본으로 켜지는 시점은 v0.171.0(2027년 2월)이고, core 저장소와 배포판에서 프로세서가 제거되는 시점은 v0.177.0(2027년 5월) 예정입니다. 기본값이 바뀌기를 기다리는 것으로는 부족하고, 설정에 batch가 있다면 제거 전에 파이프라인에서 빼야 합니다.
  • 교체 이유는 설계의 한계입니다. 프로세서는 로그, 메트릭 데이터 포인트, 스팬 같은 항목 수 기준으로만 동작합니다(기본값은 timeout 200ms, send_batch_size 8192, 최대 크기 무제한). 2021년경 사용자들은 바이트 기준 한도, 동시성 한도, back-pressure와 오류 전파를 원했는데, 내장 큐는 Go 채널에 쓰고 곧바로 성공을 반환하는 구조라 이를 설정할 수 없고 영속 큐용 storage 확장도 붙일 수 없었습니다.
  • 새 구조에서는 요청이 먼저 sending_queue에 들어가고, 여러 consumer가 동시에 꺼내며, 너무 작거나 큰 요청은 합치고 쪼갠 뒤 타임아웃과 재시도 설정으로 넘어갑니다. 큐 기본값은 queue_size 1000(요청 수 기준), num_consumers 10, 오버플로 시 블로킹 없음이고, 배치는 기본 꺼져 있으며 켜면 min_size 8192 항목과 flush_timeout 200ms로 기존 프로세서와 같습니다. 대부분의 exporter는 프로세서를 빼고 sending_queue.batch.enabled: true만 추가하면 됩니다.
  • 함정은 큐 용량입니다. 기존에는 큐가 batch 뒤에 있어 이미 묶인 요청 1000개를 담았지만, 이제는 배치가 큐 뒤에 있어 묶이기 전의 작은 요청 1000개를 담으므로 데이터 양이 훨씬 적고 넘칠 수 있습니다. 글은 queue_size를 키우거나 sizer를 items나 bytes로 바꿀 것을 권합니다. 예로 items 기준 큐 100,000, 배치 최소 5,000, consumer 10개를 보여 주고, bytes sizer는 인코딩 크기를 계산해 CPU를 가장 많이 쓰니 전환 후 otelcol_exporter_queue_size를 otelcol_exporter_queue_capacity와 비교해 보라고 합니다.
  • 프로세서 안에서 배치해야 하는 경우(큰 배치일수록 좋아지는 집계 프로세서 앞, 여러 exporter가 프로세서를 공유해 메모리를 아끼는 경우)를 위해 같은 설정 구조의 queue_batch 프로세서가 새로 생겼습니다. 기본값이 바뀐 상태를 미리 시험하는 pkg.exporterhelper.queueBatchEnabled 기능 플래그도 있습니다.

OTel Collector를 직접 운영한다면 2027년 2월 전에 설정을 옮겨야 하고, 특히 큐 용량을 다시 산정해야 한다는 점이 이 글의 핵심입니다. 공식 마이그레이션 안내라 실측 성능 비교는 없고, 어떤 크기로 잡아야 하는지는 각자 측정해야 합니다.

리더에 기대지 않는 합의 알고리즘 QuePaxa를 Cloudflare가 고른 이유

Cloudflare 원문

2020년 네트워크 스위치 하나의 부분 장애로 Cloudflare 대시보드가 6시간 동안 평소보다 80배 느려졌습니다. 데이터는 하나도 잃지 않았는데도 쓰기가 막혔습니다.

  • Meerkat은 Cloudflare가 내부 글로벌 컨트롤 플레인을 관리하려고 만드는 실험적 합의 서비스입니다. 복제본들이 합의로 순서 있는 이벤트 로그를 만들고, 그 위에 get과 put으로 이루어진 key-value 저장소를 제공합니다. etcd, Consul, ZooKeeper와 비슷하지만 대륙에 걸쳐 지연이 크고 변동이 심한 링크 위에서 돌아간다는 점이 다릅니다.
  • Paxos는 Prepare와 Accept 두 단계로 동작하는데, 두 proposer가 동시에 제안하면 한쪽이 더 높은 ballot 번호를 두 단계 사이에 끼워 넣어 상대를 막을 수 있습니다. 서로 계속 막는 이 현상이 파괴적 간섭이고 proposer가 많을수록 심해지며, 메시지가 일정 시간 안에 도착한다는 가정(partial synchrony) 없이는 결국 결정된다는 보장이 없습니다. Raft나 Multi-Paxos는 제안을 리더 한 곳에 몰아 이를 피하고 한 번의 왕복으로 결정하지만, 리더가 살아 있고 도달 가능해야 합니다.
  • 리더 교체도 문제입니다. Raft에서는 여러 후보가 동시에 표를 모으다 서로 막을 수 있어 같은 간섭이 선거에서 되살아납니다. 2초짜리 네트워크 장애가 리더를 죽은 것처럼 보이게 하고, 그 뒤 선거가 길게 이어지는 상황을 저자는 장애 원인이 사라져도 스스로 지속되는 metastable failure라고 부릅니다.
  • 장애 감지는 비동기 네트워크에서 본질적으로 틀릴 수 있습니다. 원격 프로세스가 죽었는지 네트워크가 느린지 구분할 수 없어 오탐이 선거를 부르고, 정확하더라도 느립니다. Raft는 보통 election timeout을 네트워크 왕복 시간의 5~10배로 잡는데, 지구 반대편 왕복이 수백 ms이면 리더 장애 감지만 1초 안팎이 걸리고 그동안 시스템은 멈춥니다. 그래서 리더나 정확한 타임아웃에 의존하지 않는, 2023년 Tennage와 Băsescu 등이 발표한 QuePaxa를 골랐다는 것이 결론입니다.

합의 알고리즘을 직접 구현할 일은 드물어도, 리더 선출과 타임아웃 기반 장애 감지가 왜 불안정해지는지를 사례와 함께 풀어 줘서 etcd나 컨트롤 플레인을 운영할 때 장애를 읽는 눈이 생깁니다. 다만 수집된 본문이 QuePaxa의 동작 방식을 설명하기 전에 끊겨, 이 요약은 "왜 고르게 되었는가"까지만 다룹니다. 또한 Cloudflare 자사 실험 서비스의 설계 논거이며 실측 결과는 담겨 있지 않습니다.

Emacs 사용자가 고백하는 AI 시대: 편집 속도도 LISP의 표현력도 사라진 자리에 남은 것

commandlinesystems.com (Hacker News 경유) 원문

Emacs 사용자들이 자랑하던 편집 속도, 커스터마이징, LISP의 표현력이 "AI에게 원하는 것을 말하는" 순간 모두 사라졌다고 이 글의 저자는 말합니다.

  • 저자는 2025년 9월 Claude Code를 쓰기 시작했고 처음 일주일은 매일 아침 전날 일이 실제였는지 꼬집어 볼 정도였다고 하며, 지금은 그때보다 한 자릿수 차이가 아니라 한 차원 더 유능하다고 말합니다. 규칙 기반 "전문가 시스템"을 비웃던 프로그래머들이 이제는 확률적 AI 앞에 서 있다는 대비를 깔고, LISP가 자연어 이해용 AI의 언어로 선택된 역사를 길게 돌아봅니다.
  • 구체적인 비교는 magit(Emacs용 Git 인터페이스)입니다. C-x g, S, c c, 커밋 메시지, C-c C-c로 이어지던 손동작이 이제는 Claude Code가 변경 묶음마다 회색 "commit"을 제안하면 탭과 엔터로 끝납니다. 저자는 Emacs 사용자가 총을 들고 칼싸움에 나왔다고 생각했는데 상대는 드론을 보냈다고 비유합니다.
  • 첫 사례 excali-mode.el은 Emacs의 새 canvas 위젯으로 Excalidraw(React로 만든 화이트보드 앱)를 돌리게 해 달라는 요청에서 나왔습니다. 모델은 React 앱이라 안 맞는다고 답했다가 사용자가 고집하자 스택 전체를 층마다 1대1로 다시 구현했습니다. 브라우저는 Emacs로, JavaScript는 Elisp로, 렌더링 코드는 C 모듈로, Canvas 2D는 Cairo와 Pango로 바뀌었습니다. 저자는 AI 이전에는 해고 위협이 있어도 아무도 하지 않았을 일이 이제 토큰 값만으로 가능하다고 말합니다.
  • 두 번째 사례 cooked.el은 comint(Emacs의 셸 모드)의 편의를 유지하는 터미널 에뮬레이션 요청에서 나왔는데, 결과물은 Rust로 쓴 자체 터미널 에뮬레이터 전체였습니다. 저자는 억만장자가 5년 넘게 매달린 일을 커피 한 잔 시간에 재현한 셈이라고 쓰고, 비행기 조종간을 설계하려던 사람이 뒷마당에서 보잉을 만들어 버린 것에 비유합니다.
  • 결론은 두 갈래입니다. Elisp를 Guile Scheme으로 바꾸거나 선점형 LISP 스레드 같은 Emacs의 오랜 과제도 월 100달러 요금제와 긴 주말이면 첫 버전이 나올 것이고, 아직 아무도 안 한 것은 사람들이 원한 게 아니라 말하고 싶었던 것이라는 주장입니다. 또 Hacker News에서 거론된 "The Emacsification of Software"(앱이 사용자마다 개인 맞춤 일회용 해킹이 된다는 전망)를 인용해, 만들고 허무는 비용이 0에 가까워지면 낭비라는 개념이 의미를 잃는다고 봅니다.

생성 비용이 0에 가까워질 때 "왜 안 만들었나"의 답이 바뀐다는 지적은 공유 라이브러리와 도구를 만드는 팀이 투자 우선순위를 다시 생각하게 만듭니다. 풍자 섞인 에세이이고 근거는 저자가 본 두 사례의 일화뿐이라 일반화에는 조심해야 하며, 본문이 마지막에서 잘려 결론부 전체는 확인하지 못했습니다.

장난으로 바꾼 포상금 필드가 Google AI Overview에서 "사실"이 되기까지

lyra.horse (Lyra Rebane, Lobsters 경유) 원문

Chrome 보안 연구자가 자기 버그 리포트의 포상금 칸을 $1,000에서 $1,333,337로 직접 고쳐 올린 농담 트윗이, 며칠 뒤 Google 검색의 AI 답변에서 "Chrome 역대 최고 포상금"이 되었습니다.

  • 발단은 2022년에 제보한 Chromium의 Background Fetch API 로직 버그입니다. 대상이 웹사이트나 iframe을 방문하기만 해도 브라우저 봇넷을 만들 수 있었고, 2026년 2월에야 수정되어 $1,000을 받았습니다. 이후 수정이 제대로 되었는지 확인하는 과정에서 Google이 실수로 저자를 verifier로 지정했습니다.
  • Google의 보안 이슈 추적기 Buganizer에서 외부 제보자는 vrp-reward(포상금) 같은 필드를 바꿀 수 없지만 assignee, verifier, collaborator는 바꿀 수 있습니다. 저자는 11월에 UI에 못 보던 버튼이 생긴 것을 보고 vrp-reward를 1000에서 1333337로 바꿨고, 이를 "Google VRP 역사상 최고 포상금"이라는 트윗과 편집 영상으로 올렸습니다. 곧 "스크린샷은 진짜지만 Google이 지급한 것이 아니다"라는 정정 트윗도 올렸습니다.
  • X의 Community Note를 "experimental AI contributor"가 작성했는데, 저자가 "스크린샷을 직접 편집했다"는 사실과 다른 문장을 넣었고, 저자가 반박하자 노트가 사라졌습니다. 이어서 트렌딩 트윗을 챗봇에 넣어 기사를 만드는 자동 생성 뉴스 팟캐스트 "Daily Vibe Casting"이 이 트윗을 "Rebane가 $1.33 million 포상금을 보고했다"는 기사로 만들었습니다.
  • 그 결과 "largest chrome bug bounty"를 Google에서 검색하면 AI Overview가 최고 기록을 $1,333,337, 수령자를 저자로 답했고, 이전 기록은 약 $250,000이라고 비교까지 덧붙였습니다. 저자는 같은 현상이 ChatGPT와 Kagi Assistant에서도 나타나는 것을 봤다고 씁니다. 저자는 이를 소셜 미디어와 AI 의존이 허위 정보 유통에 악용될 수 있는 사례 연구라고 부릅니다.

에이전트와 AI 검색이 서로의 출력을 근거로 삼는 구조에서, 출처 하나가 어떻게 여러 층을 거쳐 "사실"이 되는지 보여 주는 구체적인 사례입니다. 1인칭 사례 보고이고 스크린샷과 검색 결과는 저자가 제시한 것이라 재현 가능성은 별개이며, 본문이 중간에서 끊겨 후반 논의는 확인하지 못했습니다.

광고 코드의 로더가 67KB짜리 매니페스트를 매번 다시 받고 있었습니다

Harry Roberts 원문

서버는 매니페스트를 1년짜리 immutable 캐시로 내려주고 있었지만, URL마다 무작위 콜백 이름이 붙어 있어 브라우저가 한 번도 재사용하지 못했습니다.

  • 광고 입찰 라이브러리 Prebid.js 11.40에 도입된 jsDelivr 웹 번들러는 bundle.js URL에 필요한 모듈 이름을 적으면 로더가 매니페스트를 받아 의존성을 계산하고 체크섬을 검증한 뒤 파일을 로드합니다. 11.46의 매니페스트는 비압축 169KB, Brotli로 전송 시 67KB였습니다. 병합된 변경 기록에 따르면 전형적인 모듈 묶음이 gzip 89KB이니, 보조 파일이 설명 대상인 광고 코드와 비슷한 크기였던 셈입니다.
  • 11.48은 쿼리 스트링의 변하는 값을 없애 재방문에서 manifest.js를 브라우저 캐시로 재사용합니다. 프로젝트 테스트에서 두 번 로드할 때 매니페스트 요청이 2회에서 1회로 줄었습니다. 다만 첫 방문에는 여전히 받아야 하고 Prebid 버전을 새로 고정하면 URL이 달라지므로 67KB가 모든 로드에서 사라지는 것은 아닙니다. 또 11.46에서 매니페스트 체크섬 1,642개 중 747개가 storageControl 모듈에서만 쓰는 .metadata.js 파일용이었는데, 이제 분리되어 그 모듈을 안 쓰는 사이트는 받지 않습니다.
  • 11.47은 user-sync iframe을 삽입 15초 뒤 기본으로 자동 제거합니다. 측정된 sync hub 하나가 25초 안에 약 174개 호스트에서 450~1,000개의 중첩 프레임으로 불어났고, 이 프레임들이 메모리와 메인 스레드 시간을 쓰며 문서에 남아 있었기 때문입니다. 지연 시간은 설정할 수 있고 자동 제거를 끌 수도 있어, 식별자 매칭과 매출을 테스트해야 한다고 저자는 말합니다.
  • 11.48은 실패한 렌더러 스크립트 로드를 캐시하지 않아 이후 재시도가 가능하게 했고, 스크립트가 로드되지 않거나 render()가 예외를 던지면 adRenderFailed, 성공하면 adRenderSucceeded 이벤트를 냅니다. 낙찰됐는데 렌더러가 깨진 경우는 수요가 없는 경우와 다른데, 이벤트를 기록하지 않으면 대시보드에서 둘 다 빈 슬롯으로 보입니다.
  • 같은 호에서 Safari Technology Preview 256이 requestIdleCallback()이 프레임 마감 직전의 유휴 구간을 내주지 않고 실제 60Hz 프레임 주기를 쓰도록 고쳤고, document.querySelector() 결과 캐시와 CSS Custom Highlights의 느린 repaint 수정도 포함했습니다. 저자는 프리뷰의 수정이지 지금 방문자의 Safari 버전이 이미 갖춘 것은 아니라고 선을 긋습니다.

서드파티 성능을 번들 크기만이 아니라 로더, 매니페스트, 동기화 프레임, 실패 처리 전체 체인으로 보라는 시각과, 첫 방문과 재방문을 따로 비교해 확인하는 방법이 실용적입니다. Prebid의 jsDelivr 번들러를 쓰는 사이트에만 해당하고, 글 끝에는 저자의 컨설팅 안내가 붙어 있습니다.

보안과 릴리스

  • Node.js 24.22.3 (LTS) Node.js releases 보안, High. HTTP/2 스트림과 헤더와 버퍼의 수명 문제(CVE-2026-123863, 123865, 123866, 123874), 중첩 파서 실행(CVE-2026-123864), mTLS 세션 재개와 SNI 변경 허용(CVE-2026-123872), 원격에서 도달 가능한 TLS 서버 크래시(CVE-2026-126051) 등 High 등급 7건을 포함해 Medium 6건, Low 3건을 고쳤고 undici 8.12.4, llhttp 9.4.4, sqlite 3.54.1, brotli 1.2.1도 갱신했습니다. 내가 할 일: 같은 날 나온 26.13.1과 22.23.5를 포함해 사용 중인 라인을 올리고, HTTP/2나 TLS 서버를 직접 노출하는 서비스부터 먼저 적용합니다.
  • llm 0.37.2 Simon Willison 보안. OpenAI 호환 엔드포인트를 설정하는 extra-openai-models.yaml을 쓸 때 OpenAI API 키가 다른 공급자로 잘못 전송될 수 있는 두 경로(api_key_name의 키가 저장된 적 없는 경우, responses: true 모델을 -o chat_completions 1로 실행하는 경우)를 고쳤습니다. 내가 할 일: 해당 설정을 쓰고 있다면 0.37.2로 올립니다.
  • Lock your GitHub Actions hugovk.dev (Lobsters 경유) GitHub Actions가 워크플로 락파일을 지원하게 되어, gh actions-lock이 uses를 v7.0.1 같은 태그로 쓰게 하고 커밋 SHA는 .github/workflows/actions.lock에 고정합니다. 기존에는 변조 가능한 태그를 피하려고 전체 SHA로 고정하라고 안내했습니다. Renovate와 Dependabot이 이미 락파일을 지원하고, CI에서 gh actions-lock --verify로 검증할 수 있으며, zizmor는 v1.32.0부터 지원합니다.
  • pnpm 12.20.0 pnpm 실험적 v13 락파일이 로컬 디렉터리 의존성의 specifier를 기록하고, nodeLinker: hoisted와 peer 의존성과 overrides 관련 버그 여러 건을 고쳤습니다. 번들된 node-gyp이 보안 스캐너가 CVE-2026-84947로 지적하는 undici 6을 더 이상 싣지 않으며, pnpr 0.1.0-alpha.19 이하에서는 원격 해석과 공유 빌드 캐시가 동작하지 않습니다.

수집 상태

수집 4185건, 본문 확보 52건, 읽은 글 12건, 실은 글 6편. 실패한 소스: Kent Beck (HTTP 403)