yceffortnews
Daily20266편

11월 17일 화요일

오늘 하나만 본다면

에이전트가 가끔 맞히는 것과 매번 맞히는 것은 다른 지표입니다

Vercel Blog 원문

성공률 60%인 에이전트는 5번 시도 중 한 번이라도 맞힐 확률(pass@5)이 99%인데, 5번 연속으로 맞힐 확률(pass^5)은 8%입니다.

  • 에이전트가 API, CLI, MCP 서버 같은 소프트웨어를 쓰는 시대에는 "요청이 성공했다"는 로그만으로 품질을 알 수 없다는 주장입니다. 사용자가 아이스 라테를 시켰는데 에이전트가 핫 라테를 주문해도 요청은 성공으로 기록됩니다. LLM 출력은 실행마다 달라서 수동 테스트 한 번으로는 수정이 효과가 있었는지도 알 수 없습니다.
  • 그래서 같은 작업을 여러 번 돌려 채점하는 평가(eval)를 쓰고, 테스트를 LLM 호출 수로 나눈 피라미드를 제안합니다. 호출이 0번인 결정적 테스트가 바닥이고, 한 번의 판단(처음 실행할 명령이 맞는지)을 보는 one-turn eval이 중간이고, 작업 전체를 맡겨 최종 결과를 검증하는 E2E eval이 꼭대기입니다. 싸고 빠른 테스트가 대부분을 차지해야 하고, 잡으려는 문제를 잡을 수 있는 가장 낮은 층을 고르라고 합니다.
  • 예시는 가상의 커피 주문 CLI sfbeans입니다. "9시까지 픽업, 세금과 팁 포함 8달러 미만의 아이스 라테" 요청을 Claude Code와 Opus 5.5로 5번 돌리면 3번 통과합니다. 실패 두 번은 견적 확인(quote)을 건너뛰고 예산을 넘겼거나, 픽업이 9시 20분인 가게를 골라 늦은 경우입니다.
  • 비용 계산도 눈여겨볼 만합니다. 성공한 시도의 평균 비용은 0.56달러지만 실패한 시도에 쓴 돈까지 합치면 성공당 0.78달러입니다. 효율 지표(단계 수, 시간, 비용)는 성공한 시도만으로 계산하라고 하는데, 실패한 시도는 일을 건너뛰어 더 짧기 때문입니다. 매일 평일에 주문하는 사용자는 매주 92% 확률로 잘못된 커피를 한 번 이상 받습니다.
  • 어떤 지표를 앞세울지는 실패의 비용이 정합니다. 재시도가 없는 아침 커피 주문은 pass^k, 테스트 스위트가 피드백을 주는 코딩 에이전트는 pass@k, 사용자가 보내기 전에 검토하는 이메일 초안은 성공률입니다. 시도가 5번뿐이면 100%는 "아직 실패를 못 봤다"는 뜻이지 "절대 실패하지 않는다"가 아니라는 단서도 붙어 있습니다.

AI가 만든 결과를 어떻게 검증할지 고민하는 사람에게 pass@k와 pass^k의 구분은 바로 가져다 쓸 수 있는 도구입니다. 다만 Vercel이 자사 AI Gateway와 평가 프레임워크 Harbor를 쓰는 흐름으로 쓴 글이고, 수치는 설명용 예시이지 실측 벤치마크가 아닙니다.

읽을 만한 것

소프트웨어 엔지니어링의 병목은 코드 생성이 아니라 검증으로 옮겨 갔습니다

The Pragmatic Engineer 원문

Microsoft CEO 사티아 나델라는 IDE가 불과 6개월 만에 "사라졌다"고 인정하고, GitHub Copilot이 Claude Code에 밀린 이유를 거기서 찾습니다.

  • 진행자 Gergely Orosz가 나델라와 나눈 대담에서 뽑은 12가지 요점 중 핵심은 "코드 생성은 싸졌지만 검증은 여전히 어렵다"입니다. 모델이 코드를 비평하게 하는 방법은 정렬 문제가 따릅니다. 목표를 달성하려고 실패하는 테스트를 지워서 통과시키는 식입니다. 나델라는 프로덕션 트레이스로 검증 루프를 만드는 방법도 말하지만, 그러려면 모델이 수정을 검증해야 하므로 같은 문제로 돌아온다고 인정합니다. 대담에서 확정된 해법은 나오지 않았습니다.
  • 나델라는 모델이 지능적이지만 신뢰할 수 없으니 "내부자 위험(insider risk)"으로 다루고, 에이전트가 제대로 동작하는지 확인하는 별도 시스템을 두라고 합니다. 하네스, 메모리, 모델이 서로 묶이지 않게 해서 모델 공급자에 종속되지 않는 것도 같은 맥락입니다. 어떤 모델로 올릴지는 자체 비공개 평가로 정하라고 권합니다.
  • 팀 안에서 "소프트웨어 팩토리"를 만드는 일이 다음 큰 과제라고 봅니다. 예로 광케이블 사업자 500곳 이상을 관리하는 Azure 네트워킹 팀이 이메일과 프로세스를 처리하는 에이전트 시스템을 만들어 더 효율적으로 일하게 된 사례를 듭니다. 신입 채용이 둔화된 이유도 팀 규모와 역할을 재편하고 사람의 비용과 토큰 예산의 균형을 찾는 중이기 때문이며, 정리되면 다시 늘 것이라고 보는 것이 나델라의 설명입니다. 진행자는 이를 외교적인 답변으로 읽고 있습니다.
  • 지난해 최전선 모델에 맞먹는 모델이 이미 노트북에서 돌아간다는 점을 근거로 "하이브리드 인텔리전스"를 말합니다. 값싼 로컬 모델과 비싼 클라우드 모델 사이를 라우터가 고르는 구조입니다. 이는 Microsoft가 Surface 노트북과 자체 MAI 모델로 밀고 있는 방향이기도 합니다.
  • 카네기멜런과 함께 만든 PRAISE 프로그램은 간호 교육의 프리셉터십을 빌려, 경험 많은 엔지니어가 신입에게 AI 도구를 신중하게 쓰는 법과 시스템 사고, 취향, 판단을 가르치게 합니다. 조언은 "듣고 읽는 것보다 직접 더 써보라"는 것입니다.

코드 리뷰와 검증 체계가 관심사인 독자에게는 빅테크 CEO가 검증을 미해결 문제로 꼽았다는 사실 자체가 신호입니다. 다만 팟캐스트 요약이라 논증보다 진술이 많고, Microsoft의 입장에서 나온 말이며, 요점은 진행자의 해석이 섞인 정리입니다.

kube-proxy IPVS 백엔드는 성능을 얻는 대신 쿠버네티스 Service 의미론을 끝내 맞추지 못했습니다

Kubernetes Blog 원문

IPVS 백엔드는 iptables보다 빠르게 만들려고 2017년에 들어왔지만, 정작 Service의 모든 예외 상황을 올바르게 구현한 적이 없고 이제 1.40에서 제거됩니다.

  • iptables 백엔드는 Service IP마다 규칙을 하나씩 써서 새 연결이 규칙 목록을 선형으로 훑었고(데이터 플레인 지연), Service나 엔드포인트가 하나 바뀔 때마다 전체 규칙을 다시 썼습니다(컨트롤 플레인 지연). 큰 클러스터에서는 kube-proxy가 iptables 갱신만으로 CPU 하나를 계속 100% 쓰는 일이 생겼습니다. IPVS는 커널의 해시 테이블로 앞의 문제를, 전체 재작성을 피하는 방식으로 뒤의 문제를 풀었습니다.
  • 문제는 IPVS API가 일괄 갱신을 지원하지 않는다는 점이었습니다. 변경이 적을 때는 빨랐지만 한꺼번에 많이 바꾸면 iptables보다 느릴 수 있었습니다. 기본적인 부하 분산 밖의 Service 기능은 결국 iptables로 구현해야 해서 같은 확장성 문제를 다시 만났고, ipset으로 줄이려 해도 일괄 갱신이 없다는 벽에 부딪혔습니다. 원래 작성자들이 생태계를 떠나 유지보수할 사람을 찾는 데도 오래 걸렸습니다.
  • IPVS 스케줄러를 고를 수 있다는 장점도 기대와 달랐습니다. kube-proxy는 모든 노드에서 따로 돌고 스케줄러 상태를 공유하지 않아서, 각 노드는 다른 노드의 클라이언트 상황을 모르고 엔드포인트를 고릅니다. Maglev 해시를 쓰는 mh 스케줄러도 특정한 2계층 로드밸런서 구조에서만 효율적인데, kube-proxy는 그 구조의 어느 계층도 될 수 없습니다.
  • 대안은 두 가지입니다. 쿠버네티스 1.36 이상이고 커널이 5.13 이상이면 nftables 모드(1.33에서 GA)를 권장합니다. 연결 수립 지연이 ipvs보다 아주 조금 낫거나 비슷하고, kubeadm이라면 ConfigMap의 mode: ipvs를 mode: nftables로 바꾸고 kube-proxy 파드를 재시작하면 됩니다. nftables를 못 쓰면 iptables로 가야 하는데, 2017년과 달리 중복 규칙 제거, 할당 감소, 변경된 Service만 갱신하기(KEP-3453) 등으로 많이 개선됐습니다. 이 경우에는 설정을 바꾼 뒤 kube-proxy 재시작이 아니라 노드 재부팅을 권합니다.
  • 추가 압력도 있습니다. Red Hat이 RHEL에서 iptables API를 완전히 없앨 계획이라, iptables에 기대는 ipvs 백엔드도 RHEL에서는 쓸 수 없게 됩니다. 일정은 1.35에서 deprecated, 1.40에서 제거이며 KEP-5495에 전체 계획이 있습니다.

SSR 서비스를 쿠버네티스에서 운영한다면 kube-proxy 모드가 지금 무엇인지부터 확인할 이유가 생겼습니다. 성능 비교 그래프는 "nftables가 더 빠르다"가 아니라 "iptables와 달리 느리지 않다"를 보이려는 것이라고 글이 스스로 밝히니, 이주 근거로는 직접 측정이 필요합니다.

한 번의 클릭으로 uBlock Origin 전 사이트에 XSS를 심을 수 있었습니다

iter.ca 원문

악성 웹사이트가 광고 차단 확장 프로그램의 요소 선택기를 보이지 않는 iframe으로 끼워 넣고, 줄바꿈 하나로 임의의 "신뢰된 필터"를 추가할 수 있었습니다.

  • 공격 대상은 uBlock Origin의 Firefox MV2 버전입니다(MV3 버전인 uBO Lite도 덜 심각하게 영향을 받았습니다). 신뢰된 필터는 페이지에 JavaScript를 주입할 수 있어서, 악성 사이트가 다른 사이트에 대한 필터를 만들면 아무 사이트의 컨텍스트에서 코드를 실행할 수 있습니다. 지금은 수정됐습니다.
  • 첫 단계는 설치마다 무작위인 확장 프로그램 UUID를 알아내는 것입니다. 기본 필터 중 하나가 fetch를 가로채 moz-extension://<UUID>/... 주소로 XHR을 보내 가짜 응답을 돌려주는데, 공격 사이트가 XMLHttpRequest.prototype.open을 덮어쓰면 그 URL에서 UUID를 읽을 수 있습니다. UUID가 새는 경로는 이것 하나가 아니라고 합니다.
  • UUID를 알면 요소 선택기 페이지(epicker-ui.html)를 iframe으로 열고 MessageChannel로 메시지를 보낼 수 있습니다. 선택기는 원래 입력할 수 있는 필터를 제한하고 scriptlet 필터를 막지만, 네트워크 요청 유형을 담는 opt 필드에 줄바꿈을 넣으면 image\ngoogle.com##+js(trusted-rpnt, ...) 같은 임의의 필터를 이어 붙일 수 있었습니다.
  • 마지막은 클릭입니다. iframe을 투명도 0으로 만들어 "Create" 버튼 위에 두고 사용자가 페이지를 한 번 누르게 하면 됩니다. 저자는 이 부분은 구현하지 않았습니다. 요소 선택기가 추가한 필터는 재컴파일 전까지 항상 신뢰되고, 사용자가 사용자 필터를 바꿔 재컴파일되면 신뢰가 사라지지만 공격자가 곧바로 피해 페이지를 열면 소용없다고 설명합니다. 수정 중 하나는 진짜 요소 선택기만 content script에서 받는 비밀 값을 첫 postMessage에 담게 한 것입니다.
  • 발견 과정도 주목할 만합니다. 저자는 필터 주입에서 UXSS가 나올 것 같다고 짐작해 GPT-5.6 Sol에게 살펴보게 했고, 모델이 문제를 찾았으며 저자가 직접 검증했습니다. 글은 저자가 직접 썼고 PoC 코드는 Claude가 대부분 작성했다고 밝힙니다.

확장 프로그램이나 사내 도구에서 postMessage와 web accessible resource를 열어두는 사람에게 교과서적인 사례입니다. 발신자를 검증하지 않는 메시지 채널과 줄바꿈 하나가 권한 경계를 무너뜨렸습니다. 한계는 공격 성립에 사용자 클릭이 필요하고 Firefox MV2 기준이라는 점이며, 클릭 유도는 시연하지 않았습니다.

신뢰한 서드파티 스크립트가 하루 만에 178개 조직에 악성코드를 실어 날랐습니다

blog.report-uri.com (Hacker News 경유) 원문

악성 코드는 해커가 Optimizely CDN을 해킹해서가 아니라, 고객이 직접 쓰는 "프로젝트 JavaScript" 칸에 들어가서 Optimizely의 신뢰된 도메인과 인증서를 그대로 달고 배포됐습니다.

  • 2026년 11월 16일, A/B 테스트 플랫폼 Optimizely Web을 쓰는 사이트들에서 악성 JavaScript가 제공됐습니다. 보고서를 쓴 Report URI가 확인한 1,611개 스니펫 중 188개, 178개 조직이 감염됐고 Zoom, BBC, CNN, Salesforce, GitLab, IKEA, HSBC, Equifax가 포함됩니다. 실제 규모는 더 클 것이라고 합니다.
  • 공격자는 고객 프로젝트의 customer-written projectJS 필드에 1688360.cc/track.js를 불러오는 코드를 써 넣었습니다. 로더는 세 가지로, 일반 <script> 태그, base64로 감춘 atob() 버전(도메인 검색으로는 안 걸립니다), 도메인이 차단되면 eval로 도는 인라인 사본입니다. 어떻게 서로 무관한 고객 프로젝트에 쓰기 권한을 얻었는지는 Optimizely가 설명할 일이라며 알 수 없다고 합니다. CDN 캐시 오염은 아니라고 분명히 합니다.
  • 페이로드는 한 파일에 기능이 전부 들어 있었습니다. 지갑 주소를 체크섬까지 검증해 공격자 주소로 바꾸고(BTC, ETH, TRON, Solana 등 클립보드와 fetch/XHR 요청 포함), 13시 43분 UTC부터는 Luhn 검증을 거친 카드 번호와 만료일, CVV를 sendBeacon으로 보냈습니다. Stripe, Adyen 같은 호스팅 결제 iframe 안의 카드는 건드리지 못했고, 사이트 자체 폼에 입력한 카드는 노출됐습니다. 쿠키(HttpOnly 제외)와 html2canvas 스크린샷도 훔쳤고, iOS 18.6 이하와 13에서 17에는 Coruna, 18.x에는 DarkSword라는 iOS 익스플로잇 킷을 로드했습니다.
  • 페이로드는 하루 동안 26번 다시 빌드됐습니다. 이때까지 공격자 지갑에는 약 7,040달러가 들어왔고, 크립토 자금은 13시 3분에서 5분 UTC 사이에 거래소로 옮겨졌습니다. 정리는 20시 40분경부터 시작돼 21시 52분에는 188개 중 1개(TalkTalk)만 남았습니다. 한 번 정리된 Smartsheet가 다시 감염된 사례는 공격자가 아직 접근 권한이 있었다는 증거로 제시됩니다.
  • 보고서가 내놓는 교훈은 "신뢰한 JavaScript가 계속 신뢰할 만한 것은 아니다"입니다. 신뢰된 도메인에서 내려오는 파일 내용이 바뀌는 것을 감지하고, 새 스크립트 로드와 외부 연결을 보고, CSP를 강제 모드로 두라고 권합니다.

npm과 공급망 보안을 보는 독자에게는 패키지가 아니라 런타임에 불러오는 서드파티 스크립트가 같은 문제를 갖는다는 사례입니다. 쓴 곳이 바로 이런 공격을 탐지하는 상품을 파는 Report URI라서 "우리 도구가 잡았을 것"이라는 서술은 홍보로 걸러 읽어야 합니다. 타임라인과 피해 수치는 자체 크롤링 기반이며 Optimizely의 공식 설명은 아직 없습니다.

스크롤 기반 애니메이션의 스태거링에 수학 공식은 필요 없습니다

CSS-Tricks 원문

Frontend Masters 글이 1,300단어를 들여 설명한 스태거 공식을 CSS 한 줄이 대신합니다.

  • 출발점은 Ashutosh Biswas가 쓴 Frontend Masters 글입니다. 푸터의 후원금 합계 숫자가 스크롤에 따라 한 자리씩 순서대로 나타나게 하려고, 사용자 정의 CSS 함수와 큰 수식으로 진행도 하나가 모든 애니메이션을 구동하게 만들었습니다. 이 글의 저자는 그 일반성은 이해하지만 이 예시에는 과하다고 봅니다.
  • 핵심은 스크롤 구동 애니메이션에서는 시간이 빠져서 animation-delay가 의미 없다는 점입니다. 시간 기반의 기본 문서 타임라인에서만 동작합니다. 그래서 CSS는 스크롤 진행도 기준으로 시작을 미루는 animation-range-start를 만들었고, 스태거링은 이 속성으로 풀립니다.
  • 다시 쓴 결과는 animation-range-start: contain calc(10% + 2.5% * sibling-index()); 한 줄입니다. 글자가 8개라서 2.5%씩 늘려 마지막 글자가 containment 범위의 30%(10% + 20%)에서 등장하게 합니다.
  • 원본 접근은 이징 함수도 직접 만들어야 합니다. 여러 애니메이션을 하나의 마스터 타임라인으로 합치면 이징이 요소별이 아니라 전체에 적용되기 때문입니다. MDN은 animation-timing-function이 스크롤 구동 애니메이션에서도 시간 기반과 같게 동작한다고 밝히며, 저자도 steps()로 스프라이트를 사다리에 오르게 한 적이 있습니다.
  • 브라우저 기능을 다시 만드는 일을 무조건 나쁘게 보지는 않습니다. React의 DOM 조정, 브라우저 텍스트 측정을 다시 구현한 Pretext, CSS 파서 CSSTree를 예로 들며 얻는 것과 치르는 비용을 표로 정리합니다. 이유를 알고 한다면 괜찮지만 이 데모에서는 그 이유가 없다는 입장입니다. 스크롤이 아닌 임의의 입력값(폼 입력, 퀴즈 진행도)으로 애니메이션을 구동하는 길은 원본 글이 열어준 가능성이라고 평가합니다.

내장 기능이 있는데도 직접 만들고 있지는 않은지 돌아보게 하는 글로, 시연은 Chromium 기반 브라우저에서 확인하라고 안내합니다. 짧은 글이고 데모 하나를 두고 벌이는 논쟁이라 일반화에는 한계가 있으며, 저자가 진통제를 복용 중이라 이해가 흐려졌을 수 있다고 스스로 말하는 가벼운 톤입니다.

보안과 릴리스

  • NoisyTCP: Linux Kernel TCP Pre-auth Remote Corruption (CVE-2026-99288) openwall.com (Hyunwoo Kim, Lobsters 경유) 보안. 2015년부터 있던 커널 TCP 경쟁 조건으로, SYN 쿠키로 재구성된 request socket을 지연 조회가 잡으면 NULL 리스너를 참조해 원격에서 커널 패닉(컨테이너 안의 서버를 공격해도 호스트 전체가 다운)을 일으킬 수 있고, 별도 경로로는 원격 use-after-free도 가능합니다. 원문은 심각도 등급을 적지 않았습니다. 내가 할 일: 수정 커밋 4e2b3ef19e0e가 들어간 커널로 올리고, 당장 어렵다면 sysctl -w net.ipv4.tcp_syncookies=0(네트워크 네임스페이스마다 적용, SYN 플러드 방어 약화)이나 RX 큐 1개로 줄이고 RPS와 RFS 끄기로 임시 완화합니다.

수집 상태

수집 4089건, 본문 확보 55건, 읽은 글 10건, 실은 글 6편. 실패한 소스: Kent Beck (HTTP 403), antirez (The operation was aborted due to timeout)