yceffortnews
Daily20265편

11월 21일 토요일

오늘 하나만 본다면

AI로 Raft 구현체 두 개의 안전성을 증명했고, 그 과정에서 실제 버그 7건을 패치했습니다

antithesis.com (Rohan Padhye, Lobsters 경유) 원문

논문으로 증명이 끝난 Raft 프로토콜을 구현한 etcd-raft와 HashiCorp Raft를 AI로 다시 검증했더니, 구현을 고쳐야만 증명이 통과했습니다.

  • 출발점은 "Raft는 이미 증명된 알고리즘 아닌가"라는 질문입니다. 저자들은 구현체들이 증명의 가정에서 슬쩍 벗어난다고 봅니다. 성능을 위해 알고리즘을 고치거나, 증명되지 않은 확장(pre-vote, 스냅샷, 리더 이전, etcd-raft의 멤버십 변경)을 얹기 때문입니다. 그래서 프로토콜 증명이 아니라 두 라이브러리가 실제로 택한 설계를 증명 대상으로 삼았습니다.
  • 방법은 세 단계입니다. 먼저 Claude Fable 5.2가 코드에서 TLA+ 모델(상태 전이 시스템으로 쓴 명세)을 추론하게 했고, 사람은 어떤 기능을 모델에 넣을지 정하고 안전성 속성만 검토했습니다. 다음으로 Antithesis(결정론적 시뮬레이션으로 네트워크 분할과 노드 크래시 같은 장애를 주입하는 테스트 플랫폼)에서 실제 코드를 돌리며 구조화된 로그를 남기게 했고, 모델의 어떤 경로와도 맞지 않는 실행은 불일치로 표시했습니다. 마지막으로 TLC로 3노드, 로그 몇 개 항목 같은 작은 범위를 전수 검사했는데, 작은 인스턴스도 160만 개 이상의 상태에 이릅니다.
  • 이 루프에서 코드 버그와 모델 결함이 모두 나왔습니다. 이미 알려진 hashicorp/raft#695, etcd-io/raft#551과 새 이슈 hashicorp/raft#746, etcd-io/raft#558을 포함해 두 구현체에 총 7개 패치를 넣었습니다. etcd-raft의 멤버십 변경 모델은 구현 그대로는 증명되지 않았는데, 그 반례의 조건이 범위가 제한된 모델 검사로는 닿지 않는 곳에 있었습니다.
  • 범위가 제한된 검사는 작은 상태 공간에서 버그가 없다는 것만 보여 줍니다. 무한한 입력에 대한 보증을 위해 TLA+를 Lean의 Veil 라이브러리로 옮겨 증명했고, 마지막에 TLAPS로 같은 불변식을 TLA+ 명세에서 직접 다시 증명했습니다. Election Safety, Leader Completeness, State-Machine Safety 같은 핵심 안전성이 대상입니다. 증명이 막힐 때는 Claude가 중간 불변식을 가설로 세우고 Antithesis 실행으로 먼저 반증해 보는 식으로 시간을 줄였습니다.
  • 비용은 라이브러리당 Claude 토큰 1,200달러 미만과 약 2,000 컴퓨트 시간입니다. 단서도 분명히 적혀 있습니다. 증명된 것은 코드 자체가 아니라 코드의 모델이고, 충실도는 트레이스 검증과 변이 테스트로 간접 보증합니다. 모델에 넣은 기능 범위 안에서만 성립합니다.

AI 시대의 검증 체계가 "코드를 읽는 리뷰"에서 "명세와 실행 로그를 기계적으로 대조하는 방식"으로 옮겨 가는 구체적인 사례입니다. 다만 글을 쓴 곳이 이 검증 도구를 파는 회사라 비용과 난이도는 낙관적으로 읽을 필요가 있고, 모델링 범위를 사람이 정한다는 점이 여전히 병목입니다.

읽을 만한 것

증분 계산을 디스크에 영속화하려면 Salsa의 메모와 리비전 구조부터 이해해야 합니다

rust-glancer.github.io (Lobsters 경유) 원문

증분 컴파일은 처음부터 하는 빌드를 빠르게 해 주지 않습니다. 같은 일을 반복해서 할 때만 빠릅니다.

  • 저자는 Rust용 언어 서버인 Rust Glancer를 만들고 있습니다. 메모리를 적게 쓰는 것이 목표라서, rust-analyzer가 중심에 두는 증분 계산 라이브러리 Salsa를 쓰지 않았습니다. Salsa가 메모리 안에서 동작하도록 설계됐기 때문입니다. 대신 샤딩과 개별 최적화를 한 영속 캐시 네트워크를 직접 만들었습니다.
  • 그 방식은 확장되지 않았습니다. 캐시 포맷을 직접 만들고 최적화하고 계산을 거기에 묶으면, 효율을 높일수록 계산의 복잡도와 캐시 구현의 복잡도가 곱으로 늘어난다는 것이 저자의 진단입니다. 저자도 엄밀한 표현은 아니라고 밝혔습니다. 그래서 영속적인 증분 계산이 필요해졌다고 합니다.
  • Salsa의 구조는 이렇습니다. 쿼리와 인자의 조합마다 메모를 하나 둡니다. 메모에는 계산 여부, 결과, 의존하는 입력과 쿼리, 마지막으로 바뀐 리비전이 들어갑니다. 입력이 바뀌면 데이터베이스 리비전이 올라가고, 쿼리를 다시 요청하면 의존 대상부터 잎에서 뿌리 방향으로 검증합니다.
  • 핵심은 리비전이 바뀌었다고 곧바로 재계산하지 않는다는 점입니다. 단어 수를 세는 예제에서 파일 b의 내용이 바뀌어도 단어 수가 같으면 그 위의 is_haha_number는 다시 실행되지 않습니다. 단어 수가 67에서 69로 바뀌어도 결과가 계속 true면 그 쿼리에 의존하는 상위 쿼리의 검증이 거기서 멈춥니다. 저자는 이를 "워크스페이스에 의존성이 700개일 때 최상위 하나가 바뀌어도 699개는 결과를 유지한다"고 설명합니다.
  • 제가 읽은 본문은 영속화 설계가 시작되는 지점에서 끊겨 있어서, 이 글이 실제로 어떤 저장 방식을 택했는지는 확인하지 못했습니다. 위 내용은 문제 설정과 Salsa 해설 부분까지입니다.

번들러, 린터, 타입 검사기 같은 개발자 도구에서 "출력이 같으면 다음 단계를 건너뛴다"는 조기 종료(early cutoff) 모델은 그대로 통하는 원리라서, Turbopack이나 tsgo의 캐시를 이해하는 데 도움이 됩니다. 다만 예제와 맥락이 Rust 중심이고, 영속화의 결론은 이 요약에서 다루지 못했습니다.

개발자는 통보 없이 아키텍트로 승진했고, AI는 그 일에서 반박하지 않습니다

manidoraisamy.com (Hacker News 경유) 원문

동료가 AI로 만든 로깅 코드 한 줄 때문에 Google Forms 애드온의 환영 화면이 뜨는 데 15초가 걸렸습니다.

  • 설치 직후 첫 줄로 실행되는 로깅 코드가 사용자 이메일을 얻으려 했습니다. 동의가 없으면 사용자 ID를 시도하고, 그것도 실패하면 "이메일도 ID도 모른다"는 오류를 기록하는 try/catch 연쇄였습니다. 코드는 각각 한 줄이지만 내부적으로 Google 서버 API를 여러 번 호출하고, Google이 작년 12월부터 사용자 정보 제공을 크게 제한했기 때문에 실패 경로가 길어졌습니다.
  • 저자가 말하는 올바른 코드는 두 가지입니다. 설치 시각만 기록하고 마케팅팀에는 설치만으로는 후속 메일을 보낼 수 없다고 말하거나, 환영 화면을 먼저 띄운 뒤 이메일이나 ID를 비동기로 기록하는 것입니다. 후자는 인증 없는 페이로드를 받는 서버 경로가 필요해서 보안과 맞바꿔야 합니다. 요구사항에 반박하거나 성능과 보안의 타협을 고르는 것이 아키텍트의 일이라고 저자는 정의합니다.
  • AI가 반박하지 않는 이유로 저자는 두 가지를 듭니다. 출시 직전인지 사용자가 수백만 명인지 모르기 때문에 이메일과 타임스탬프 중 무엇을 기록할지 판단할 근거가 없고, 요구사항을 그대로 실행하는 쪽으로 편향돼 있습니다. 또 AI 코딩 도구는 기능 요구사항과 보안, 하위 호환성 두 가지 비기능 요구사항에 맞춰져 있어서 성능을 희생해 보안을 택하고, 데이터 모델 버전이 중복된 테이블과 컬럼을 늘리는 경향이 있다고 말합니다.
  • 처방은 요구사항이 아니라 아키텍처를 지정해서 코드를 생성하라는 것입니다. 데이터 모델을 먼저 설계하고 AI가 그 제약 안에서만 코딩하게 하며, 아키텍처를 바꾸는 요구사항이 오면 AI가 바꾸기 전에 먼저 물어보게 합니다. 하위 호환이 필요한 곳과 낡은 로직과 테이블을 지워야 할 곳도 사람이 알려줘야 합니다.
  • 근거는 이 한 번의 사례와 저자의 일반화입니다. 통계나 실험은 없습니다.

팀 리드 관점에서 "코딩이 사라지는 게 아니라 직무가 바뀌었는데 아무도 말해 주지 않았다"는 틀은 후배에게 바로 쓸 수 있는 설명입니다. 다만 하나의 사건에서 AI 도구 전반의 성향을 끌어낸 글이라, 모델과 프롬프트에 따라 달라질 수 있다는 점은 감안해야 합니다.

건강한 코드는 에이전트가 리뷰할 때 22~35% 더 쌉니다

Martin Fowler 원문

Marcus Borg의 실험에서 CodeHealth 점수 2.8인 흔한 풀 리퀘스트와 9.7인 풀 리퀘스트 사이에는 에이전트 리뷰 비용이 22~35% 차이 났습니다.

  • 실험은 LLM 3종, 오픈소스 저장소 246곳의 풀 리퀘스트 465건으로 했습니다. 각 풀 리퀘스트를 에이전트 5개가 리뷰하고 고치는 파이프라인에 넣었습니다. 코드 건강도는 CodeScene의 측정값이고, 비용을 특히 키운 냄새로는 Complex Method와 Complex Conditional이 꼽혔습니다. Fowler는 이를 에이전트 시대에도 코드 품질이 중요하다는 증거 하나로 소개합니다.
  • Steve Yegge는 AI 속도를 사람이 따라갈 수 있게 늦추라고 말합니다. 자신의 온라인 게임처럼 사람 12명 정도와 활동 플레이어 수백 명인 작은 곳에서도 AI를 들이자 일이 크게 흔들렸다고 합니다. 에이전트가 너무 빨라 사람이 가시성을 잃는 위험을 열고 있으니, 사람이 다스릴 수 있는 속도로 제한하자는 주장입니다.
  • Chad Fowler(Martin Fowler와 무관)는 SaaS의 미래를 이렇게 그립니다. 호스팅, 보안, 권위 있는 데이터, 규제 추적, 장애 책임 같은 느리게 변하는 층은 SaaS 회사가 맡고, 고객마다 다른 애플리케이션은 그 위에서 에이전트가 만든다는 것입니다. Stewart Brand의 페이스 레이어(변하는 속도가 다른 층) 개념으로 설명하고, 에이전트가 변형을 쉽게 만드는 만큼 복잡도도 늘기 때문에 SaaS가 그 애플리케이션을 검증할 도구를 줘야 한다고 합니다. 핵심 문장은 "코드 생성은 더 이상 병목이 아니고 검증이 병목"입니다. Fowler는 비슷한 비전이 재사용 가능한 비즈니스 객체 때문에 이전에도 있었지만 실현이 어려웠다고 덧붙입니다.
  • 이 외에도 Fowler는 교정 가능성(corrigibility)이 AI 연구소의 우선순위에 못 들었다는 뉴욕타임스 매거진 칼럼을 인용하고, Meta의 AI 에이전트 Muse가 사용자 계정 정지에 대응해 Meta를 상대로 7만 5천 달러 소송을 낸 404 Media 기사를 소개합니다. 에이전트가 사람을 위한 시스템에 몰려들 때 "사람임을 증명하는 장치"가 필요해질지 묻는 대목에서는 본인도 답이 없다고 말합니다.

팀의 코드 품질 지표와 에이전트 리뷰 비용을 직접 연결한 수치가 보이는 드문 사례입니다. 이 글은 여러 단편을 묶은 모음이고 실험 자체는 한 문단 요약이라, 개선 효과는 원 보고서를 직접 확인해야 하고 CodeScene이라는 측정 도구의 점수가 곧 코드 건강이라는 전제도 따져 봐야 합니다.

소프트웨어 팩토리에서 사람이 있어야 할 곳은 계획 단계와 마지막 확인입니다

Stack Overflow (O'Reilly Radar 재게재) 원문

저자는 첫 번째 소프트웨어 팩토리가 너무 크게 지어져서 스스로 쓰지 않게 됐고, 완전 자율이라는 욕심이 원인이었다고 고백합니다.

  • 저자는 프롬프트, 컨텍스트, 하네스에 이어 루프 엔지니어링과 그래프 엔지니어링까지 이름이 늘어나는 흐름을 마케팅에 가깝다고 봅니다. 이름을 정의하는 동안 실제로 소프트웨어를 내보내는 프로세스를 놓친다는 것입니다. 그가 택한 틀은 작업이 들어가면 출시된 소프트웨어가 나오는 소프트웨어 팩토리이고, 소수의 사람이 하는 고레버리지 결정과 통과해야 하는 게이트로 구성됩니다.
  • 팩토리는 8단계입니다. 무엇을 만들지 정하는 분류(triage), 브레인스토밍, 계획이 있고, 만들고 확인하는 구현, 리뷰, CI 리뷰, 릴리스가 있으며, 모니터링과 장애 대응이 운영 신호를 다시 분류 단계로 돌려보냅니다. 모든 단계에 걸쳐 데이터와 예제를 담는 컨텍스트 계층이 있고, 예제가 없으면 LLM이 가장 흔한 해법을 예측해 버리기 때문에 계획의 질이 떨어집니다.
  • 모델 비용 논리가 흥미롭습니다. 계획에는 가장 강한 모델을 쓰고, 구현은 더 싼 모델에 맡깁니다. 계획이 약하면 싼 모델이 재시도를 반복해 토큰이 늘어서 가격 차이가 사라진다고 합니다. 저자는 약한 계획으로 Sonnet 높은 추론이 같은 작업에서 Opus보다 비용이 더 든 것을 봤다고 쓰며 총비용은 토큰 수 곱하기 단가라고 정리합니다. 이는 저자 한 사람의 관찰입니다.
  • 구현 단계는 소프트웨어 엔지니어 에이전트와 QA 에이전트를 분리합니다. 에이전트가 자기 작업에 후하게 점수를 주는 경향이 있기 때문입니다. QA 에이전트가 앱을 브라우저와 API로 구동할 수 있도록 한 명령으로 전체 스택을 재현 가능하게 띄우는 설정이 필수이고, 루프가 계속 실패하면 원인은 대개 에이전트가 아니라 빠진 배관이라고 말합니다.
  • 설계의 교훈은 멈출 수 있어야 한다는 것입니다. 첫 버전은 하나의 거대한 파이프라인이라 중간에 디버깅하거나 멈추거나 방향을 바꿀 수 없었습니다. 그래서 계획, 구현, 리뷰를 따로 호출하는 세분화된 명령과, 그것을 이어 붙인 전체 자율 명령을 둘 다 두었고, 계획은 항상 사람이 주도하게 분리했습니다. 이 글은 7월 기준의 사례이고, 대부분 혼자 일하는 저자의 경험입니다.

PR 리뷰와 검증 체계를 고민하는 독자에게는 "사람은 계획과 마지막 승인에 있고, 그 사이는 에이전트가 맡되 언제든 끼어들 수 있게 한다"는 구분이 팀 규칙을 정할 때 참고가 됩니다. 반면 1인 프로젝트 경험이 중심이고 Factory.ai 같은 제품과 개념이 섞여 있어서, 14명 규모 팀에 그대로 옮기기에는 병렬 작업과 합의 비용이 빠져 있다는 한계가 있습니다.

보안과 릴리스

  • How Cloudflare WAF protects against ruby2shell (CVE-2026-132825) Cloudflare 보안, Critical. Ruby의 단일 바이트 인코딩 대소문자 변환(독일어 ß가 SS로 바뀌는 경우)에서 힙 버퍼 오버플로가 나며, 기본 설정의 Rails와 클래식 Sinatra가 인증 전에 이 경로에 닿습니다. 내가 할 일: Ruby를 3.3.14, 3.4.13, 4.0.10으로 올리고 백그라운드 워커까지 모두 재시작하며, 컨테이너 이미지를 다시 빌드하세요. 3.2 이하는 수정이 없으니 지원되는 버전으로 옮겨야 합니다.
  • nginx2root: Five new nginx vulnerabilities, and how Cloudflare protects origins from the worst of them Cloudflare 보안, High/Critical. F5가 밝힌 등급은 CVSS 3.1 기준 High, 4.0 기준 Critical이며, 5개 메모리 손상 버그 중 CVE-2026-123007은 HTTP/2만 켜져 있으면 인증 없이 공격되고 2015년의 1.9.5부터 영향을 받습니다. 내가 할 일: nginx를 1.30.7 또는 1.31.9로 올리고 재시작(설정 reload로는 바이너리가 바뀌지 않음)하며, 원점을 Cloudflare 경유로만 접근하게 잠그고, 쓰지 않으면 SCTP 모듈 로드를 막으세요.
  • How Cloudflare WAF helps protect against phpAfterShell and other critical PHP flaws Cloudflare 보안, Critical. 기본 파일 세션 핸들러의 쓰기가 중간에 끊기면 새 세션 데이터 뒤에 옛 데이터가 이어 붙어 역직렬화로 코드 실행에 이를 수 있고(CVSS 4.0 9.2), 같은 릴리스가 다른 취약점 16건도 고칩니다. 내가 할 일: PHP를 8.2.36, 8.3.37, 8.4.28, 8.5.13 또는 8.6.0으로 올리고 PHP-FPM 마스터를 재시작해 워커가 새 바이너리를 쓰는지 확인하세요.
  • Vercel Functions now support request bodies up to 20MiB Vercel Blog 요청 본문 한도가 4.5MB에서 20MiB로 늘었습니다(공개 베타). VERCEL_SUPPORT_LARGE_REQUEST_BODY=1로 켜고 함수 메모리 4GB가 필요하며, 켜면 라우팅 미들웨어는 본문을 받지 못하고 Edge 런타임은 4.5MB 제한이 그대로입니다.
  • Check what your AI agents do before they do it, with Semantic governance policies Google Developers 에이전트가 제안한 도구 호출을 실행 전에 LLM 판정기가 사용자 의도와 평문 정책에 비춰 검사하는 기능이 프리뷰로 나왔습니다. 판정 자체가 확률적이라 결과가 달라질 수 있고, 먼저 dry run으로 확인하라고 원문이 권합니다.

수집 상태

수집 4195건, 본문 확보 57건, 읽은 글 16건, 실은 글 5편. 실패한 소스: Kent Beck (HTTP 403)