10월 28일 수요일
오늘 하나만 본다면
LLM 버그 사냥 에이전트가 V8에서 퍼저와 맞먹는 수를 찾았지만 잡는 버그는 서로 다릅니다
최근 6개월 동안 V8에서 LLM 에이전트 BigSleep은 취약점 45건을, 전통적인 퍼저 Fuzzilli는 37건을 찾았는데, 버그 트래커에서 두 도구가 같은 버그를 잡은 비율은 약 25%에 그쳤습니다.
- 비교 대상은 Google이 Chrome의 자바스크립트 엔진 V8에 실제로 돌리는 두 시스템입니다. Fuzzilli는 무작위로 자바스크립트 프로그램을 만들어 엔진을 깨뜨리는 생성형 퍼저로 여러 인스턴스가 상시 돌고, 새 변경은 보통 몇 시간 안에 처리됩니다. BigSleep은 새 커밋을 검토해 버그를 찾고 재현용 테스트케이스까지 쓰는 에이전트인데 하루에 한 번만 돌아서, 퍼저가 1~2일 먼저 출발하는 구조입니다. 두 시스템 모두 Clusterfuzz를 거쳐 Chrome 이슈 트래커에 보고하고, BigSleep 파이프라인이 4월에 가동됐기 때문에 4월부터 9월까지만 비교했습니다.
- 숫자는 걸러낼수록 순위가 뒤집힙니다. 전체 보고 수는 Fuzzilli 316건, BigSleep 441건으로 BigSleep이 앞서지만, BigSleep은 초기에 V8 설정과 통합 문제를 많이 보고했습니다. 취약점 유형으로만 좁히면 Fuzzilli 178건, BigSleep 95건으로 뒤집힙니다. 여기서 중복이나 의도된 동작(WAI)으로 닫힌 건을 빼고 수정 커밋이 실제로 참조한 "조치 가능한" 취약점만 세면 BigSleep 45건, Fuzzilli 37건으로 다시 근소하게 앞섭니다.
- 겹침은 두 방식으로 쟀습니다. 트래커의 중복 보고, 같은 수정 커밋, Clusterfuzz 단계 중복까지 합쳐 보면 조치 가능한 취약점 81건 중 20건이 겹쳐 약 25%였고, 겹친 것은 Fuzzilli가 먼저 찾은 경우가 조금 더 많았습니다. 다만 이 방식은 겹침을 낮게 잡는 경향이 있어서, 2023년 초부터 2026년 중반까지의 과거 Fuzzilli 취약점 약 600건에서 표준 플래그로 재현되는 112건을 골라 BigSleep에게 코드 리뷰 문제로 다시 풀게 하는 실험을 따로 했고, 여기서 추정한 겹침은 약 60%였습니다.
- 어느 쪽 수치가 맞든 결론은 같습니다. 퍼저만 찾을 수 있거나 LLM만 찾을 수 있는 취약점이 상당 비율로 남고, 그래서 저자들은 벤더가 퍼징과 에이전트 분석을 둘 다 돌리라고 권합니다. 비용 대비 효율은 두 시스템 모두 최적화하지 않아서 이번에는 비교하지 못했다고 밝힙니다.
코딩 에이전트에게 검증을 맡길 때 "기존 자동화 검증이 이미 있으니 충분하다"는 가정이 어디까지 맞는지 수치로 보여 주는 글입니다. 대상이 V8 하나와 시스템 두 개뿐이라는 한계는 글이 직접 인정하고 있고, 본문은 실험 설정까지만 제가 읽어서 BigSleep이 못 찾은 버그의 구체적인 모양은 확인하지 못했습니다.
읽을 만한 것
AI SRE는 아직 새벽 호출을 대신하지 못하고, 조사 단계를 빠르게 하는 도구에 머물러 있습니다
AI 에이전트 덕분에 많은 회사에서 PR 빈도가 1년 새 두 배가 됐고, 업무 시간 밖에 울리는 페이지도 거의 두 배가 됐습니다.
- 저자는 장애 발생률을 "변경 횟수 × 변경 하나가 장애를 일으킬 확률"로 단순화해 설명합니다. 변경 횟수가 두 배 이상이 되면 확률이 그대로여도 장애가 늘고, 인시던트 관리 업체 Rootly의 데이터는 1년 전보다 페이지가 늘었고 특히 업무 시간 밖 페이지가 거의 두 배라고 보여 줍니다. 확률을 낮추는 길은 배포 전 검증을 강화하거나 장애에서 배워 시스템을 튼튼하게 만드는 두 가지입니다.
- "AI SRE"라는 이름과 달리 실제 쓰임은 알람이 울린 뒤의 조사 단계입니다. 예전에는 알람 확인, 대시보드, 런북, 로그를 사람이 탭 여덟 개를 열어 돌아봤는데, incident.io의 오케스트레이터는 메인 에이전트가 서브에이전트들에게 조사를 나눠 맡기고, 온콜 엔지니어가 5분쯤 뒤 장애 채널에 들어오면 요약을 건넵니다. 엔지니어는 Slack에서 에이전트에게 특정 시스템이나 로그를 찾아 달라고 지시합니다.
- 신뢰 문제가 자체 구축의 주된 이유입니다. 에이전트가 쓸모 있으려면 텔레메트리, 로그, 소스 저장소까지 넓게 봐야 하는데, 중견 이상 회사일수록 그 접근을 벤더에 주기 어렵고 데이터를 저장하지 않는 계약(ZDR)이 있어도 벤더 침해 위험은 남습니다. 그래도 저자는 벤더가 전업으로 매달리므로 사내 사이드 프로젝트보다 결국 더 나아질 것이라고 봅니다.
- 원인을 찾은 뒤 코드를 고치는 일은 벤더마다 갈립니다. incident.io는 고객의 기존 코딩 에이전트에 장애 맥락을 넘기는 쪽이고, ResolveAI는 단순한 PR은 직접 쓰고 큰 변경은 고객의 코딩 에이전트에 넘깁니다. Rootly는 한 에이전트가 PR을 쓰고 다른 에이전트가 머지해도 안전한지 판단하는 구조를 지향하지만, 지금은 모든 PR이 사람 승인을 거칩니다.
- 무인 자율 대응은 아직 현실이 아니고, 페이지를 분류해 중요하지 않은 것을 끄는 쓰임이 늘고 있습니다. 정확도를 재는 방법은 회사마다 달라서, 적대적 에이전트와 여러 모델로 장애 가설을 검증하고 평가와 백테스트를 돌리는 방식이 소개됩니다. 저자는 AI 자체가 원인인 새로운 종류의 장애가 생기고, 사람에게 오는 페이지는 줄지만 더 어려워지며, 기술이 퇴화할 위험이 있어 장애 시뮬레이션 훈련이 필요하다고 지적합니다.
배포량이 늘어난 만큼 검증과 온콜 체계가 따라가야 한다는 주제를 숫자와 벤더별 설계 차이로 정리한 글입니다. 저자가 incident.io에 투자했다고 밝히고 있고, 정보 대부분이 벤더 세 곳의 설명에서 나온 점을 감안해야 합니다. 제가 읽은 본문은 중간에서 끊겨 속도와 비용 절충 대목은 확인하지 못했습니다.
모델에게 UI를 JSON 트리로 직접 쓰게 하면 느리고 틀립니다. 파이썬 닮은 문법으로 쓰고 코드가 번역하면 토큰이 3분의 1입니다
LLM이 JSON 스키마에 맞춰 UI 트리를 직접 생성하는 것이 병목이었고, 한 줄에 한 문장씩 쓰는 중간 포맷으로 바꾸자 같은 화면을 최대 3분의 1의 토큰으로 만들 수 있었습니다.
- A2UI는 생성형 UI 프로토콜입니다. 클라이언트가 믿을 수 있는 컴포넌트 카탈로그를 계약으로 알리면 에이전트가 그 카탈로그로 조립한 UI 메시지를 보내고 클라이언트의 렌더러가 그립니다. 처음에는 에이전트가 이 JSON 메시지를 곧바로 생성했는데, 복잡한 스키마를 따르는 JSON 트리는 LLM에게 느리고 오류가 잦았고, 텍스트만 내놓는 LLM에 프로토콜이 묶이는 부작용도 있었다고 Google은 설명합니다.
- 새 기본 포맷 A2UI Express는 한 줄에 컴포넌트 하나를 변수에 대입하는 파이썬 비슷한 문법입니다. 변수 이름이 컴포넌트 ID가 되고 인자는 위치로 받으며, 컴파일러가 카탈로그 스키마가 선언한 순서대로 속성 이름에 대응시킵니다. 모델이 쓴 답을 SDK의 결정론적 코드가 표준 A2UI JSON으로 컴파일하고, 프롬프트와 컴파일러가 모두 카탈로그 스키마에서 생성되므로 카탈로그에 없는 컴포넌트는 쓸 수 없습니다.
- 네 가지 후보(기존 Direct JSON, Express, Lisp식 S-expression인 Atom, HTML 커스텀 엘리먼트인 Elemental)를 같은 51개 과제 평가에서 gemini-3.5-flash로 추론 모드를 켜고 끈 채 비교했습니다. Express는 추론을 꺼도 결과가 유지되어 가장 빠른 구성이 되고, 지연은 최대 3배까지 줄었다고 합니다. 평가 세부 결과는 글에 표로 나오지 않고 요약만 있습니다.
- 레이아웃이 정해진 화면(설정, 결제, 확인)에는 텍스트를 생성하는 대신 선택지에 확률로 답하는 결정 모델 Jev를 씁니다. 요청 하나로 질문 여러 개에 100~300ms에 답하고, 레이아웃을 마크다운 문법으로 미리 정의해 두면 설정 행의 컨트롤 종류 같은 것을 고릅니다. 시연 프로젝트 Apparite는 11개 프롬프트에서 컴포넌트 트리가 92~298ms에 뜨고 화면 완성까지 0.8~1.7초였으며, 지연은 최대 80배 줄었다고 하지만 표본이 작아 "첫 결과"로 다뤄야 합니다.
- 결정 모델은 미리 정의한 화면 유형(Apparite는 아홉 가지 화면 원형과 열두 개 블록)만 만들 수 있어서, 모양을 모르는 화면은 Express가 맞습니다. A2UI SDK에는 결정 모델용 포맷이 아직 없고, 새 용도에는 프롬프트 생성기와 변환기만 있으면 자체 DSL을 끼울 수 있습니다.
LLM 출력 포맷이 토큰 비용과 지연을 좌우하고, 모델에게 맡길 부분과 코드로 확정할 부분을 어디서 가를지 보여 주는 사례입니다. Google 공식 블로그이고 수치는 자체 평가와 협력사 제품(Jev)의 소규모 시연에 기대고 있어서, 일반화하기 전에 직접 재 봐야 합니다.
tar는 블록 사이 빈 공간에 규칙이 없어서 같은 파일을 파서마다 다르게 읽게 만들 수 있었습니다
tar 형식에는 패딩 공간에 무엇을 채워야 한다는 규칙이 없어서, 같은 tarball을 uv와 pip이 서로 다른 내용으로 보게 만드는 공격이 가능했습니다.
- 배경은 이렇습니다. Python 패키지는 ZIP인 wheel과 tar인 소스 배포본(sdist)으로 배포되고, sdist는 설치할 때 빌드 코드를 실행합니다. Astral의 패키지 관리자 uv는 0.131부터 새 tar 파서 tar-codec을 쓰고, 이전 구현인 astral-tokio-tar보다 약 2배 빠르다고 합니다. 이전 구현은 tokio-tar 포크가 여러 단계로 이어진 계보입니다.
- 계기는 약 1년 전부터 astral-tokio-tar에 들어온 보안 보고입니다. 조사해 보니 한 tarball을 uv, pip 같은 도구가 서로 다른 내용으로 읽게 만드는 파서 불일치(parser differential)가 여러 개 있었습니다. 기존 파일 뒤에 내용을 덧붙이는 "append" 형과 도구별로 추출 결과를 완전히 갈라놓는 "full" 형이 있고, PyPI 같은 인덱스에서는 안전해 보이는 파일이 설치기에서는 위험하게 풀릴 수 있다는 점이 우려 지점이었습니다.
- 글이 단서를 답니다. sdist는 어차피 빌드 시 임의 코드를 실행하므로 Python 패키징에서는 tar 불일치를 대개 사소하게 보지만, Astral은 찾을 수 있는 불일치를 모두 없애기로 했습니다. 결론은 tokio-tar 계열이 설계상 너무 관대해서 제약을 덧대는 것이 다시 쓰는 것보다 더 위험하고, 성능 목표도 사실상 재작성 없이는 못 맞춘다는 것이었습니다.
- 불일치가 생기는 이유는 형식의 내력에 있습니다. tar는 사실상 형식 가족이고, UNIX V7 tar는 경로 100바이트와 파일당 약 8GiB, 일반 파일과 링크만 지원합니다. UStar/pax는 경로를 255바이트(pax는 무제한)로 늘렸고, GNU tar는 문서는 있어도 표준이 없어 CLI 소스 코드가 표준이며 같은 한계를 전혀 다른 방식으로 풉니다. 모든 블록은 512바이트이고 파일 전체 헤더가 없으며, 패딩을 NUL로 채우는 것은 관례일 뿐 무엇을 넣어도 됩니다. 513바이트 파일은 최소 1,536바이트를 차지합니다.
npm 패키지도 tarball이라서, 레지스트리의 검사 도구와 설치기가 같은 파일을 같게 읽는지는 공급망 보안에서 그대로 따라오는 질문입니다. 이 요약은 제가 읽은 본문의 앞부분, 곧 계기와 형식 설명에 기대고 있고 tar-codec의 구현 세부와 성능 수치는 담지 못했습니다. Python 도구의 맥락이지만 논점은 파서 설계에 있습니다.
Firefox 심사를 통과한 지갑 사칭 확장에는 심사 때만 꺼져 있는 서버 코드가 들어 있었습니다
공격자가 확장에 넣어 둔 주석은 심사 통과 뒤 서버를 활성 상태로 바꾸는 단계를 "approval flip"이라고 불렀습니다.
- Phantom, Jupiter, Bitget 지갑을 사칭한 Firefox 확장 세 개가 복구 문구와 개인 키를 훔쳤습니다. Phantom 목록은 유니코드 유사 문자로 이름을 꾸미고 진짜 아이콘과 홍보 문구를 그대로 썼으며, 평점은 546개 리뷰에서 3.9로 부풀려져 있었습니다. 진짜 Phantom은 Firefox에서 일일 사용자 약 8만 3천 명입니다. 세 확장 모두
bonto[.]io의 브랜드 이름 서브도메인으로 탈취한 값을 보내고, 분석 시점에는 모두 올라와 있었으며 지금은 제거됐습니다. - 서명된 패키지 안에 항상 켜진 탈취 코드가 이미 들어 있어서, Mozilla가 심사한 코드에 악성 코드가 있었다고 Socket은 지적합니다. Phantom 확장은 한 겹 더 있어서, 백그라운드 스크립트의 로더가 서버의
/config에서 base64 코드를 받아 모든 페이지에서 실행합니다. 서버가 심사 중에는 비활성 응답을, 승인 뒤에는 실제 코드를 주면 새 제출 없이 탈취 로직을 바꿀 수 있습니다. - 훔치는 방법은 구체적입니다. BIP-39 복구 문구의 단어 수(12, 15, 18, 24)와 이더리움과 솔라나 개인 키 형식을 정규식으로 판별하고, 모든 입력란과 붙여넣기 이벤트, 복구 문구 확인 화면의 번호 격자를 읽습니다. 페이지의 JS 컨텍스트(main world)에서 돌기 때문에 지갑이 주입한 solana 제공자의
connect까지 가로채 공개 키도 얻습니다. - Phantom 패키지에는 운영자의 드레이너 백엔드
server.js도 들어 있었습니다. 훔친 값을 파일에 기록하고 텔레그램 봇으로 전달하며 이더리움, 솔라나, 비트코인 등 9개 체인의 하드코딩된 주소로 자금을 자동 이체합니다. 심사용으로는 비활성 설정을 돌려주는server-review.js가 따로 있었고, 세 확장은 서로 다른 익명 개발자 계정으로 올라가 일괄 차단이 어렵게 되어 있었습니다. - Phantom과 Jupiter 패키지에는 확장이 런타임에 읽지 않는
CLAUDE.md도 있었는데, AI 어시스턴트용 탈옥 프롬프트였습니다. Socket은 이것이 AI의 도움으로 악성 코드를 만들었거나 AI 기반 심사를 속이려는 시도를 시사한다고 해석합니다.
확장 스토어의 사전 심사를 신뢰 경계로 삼는 것이 얼마나 약한지, 그리고 런타임에 원격 코드를 받아 실행하는 패턴이 npm 설치 스크립트 공격과 같은 계열이라는 점을 보여 줍니다. 출처는 보안 업체 Socket이고, 피해자 수나 실제 탈취액은 글에 없으며 CLAUDE.md의 의도는 추정입니다.
select 안에 글자만 넣지 말고, 사용자가 고르며 알고 싶은 것을 option에 넣어야 합니다
폰트 선택 목록에서 각 항목이 자기 서체로 보이고, 시간대 목록에서는 오프셋 대신 그 도시의 현재 시각이 보이며, 이 모든 것이 평범한 <select>입니다.
appearance: base-select로 select를 스타일링할 수 있게 되면서 더 큰 변화는 option에 평범한 글자 외의 것을 담을 수 있게 된 점입니다. 저자는 미리보기, 숫자, 직함, 경고를 option에 넣어 사용자가 읽으며 계산하는 대신 보고 알아보게 하자고 주장합니다. 키보드 처리와 폼 제출 값,select.value, 검증, 접근성 역할은 브라우저가 그대로 맡습니다.- 다섯 가지 예시가 있습니다. 폰트 선택은 option마다 인라인
font-family를 주고, 시간대 선택은 "(GMT+09:00) Tokyo" 대신 도시별 현재 시각과 낮밤을 보여 줍니다. 이 예시만Intl.DateTimeFormat때문에 JavaScript가 필요합니다. 배송 옵션은 option을 grid로 만들어 도착일과 가격을 열로 맞추고(grid-template-columns: 1fr 6.5rem 4rem), 동명이인은 직함과 부서를 붙이고, 공유 시 승인이 필요한 항목에는 배지를 답니다. - 트레이드오프는 모바일입니다. 네이티브 select는 iOS의 휠이나 Android의 시트처럼 엄지에 맞고 접근성이 다듬어진 OS 피커를 여는데, 커스텀 select는 페이지 안에 자체 목록을 그립니다. 저자는
@media (hover: hover) and (pointer: fine)안에서만base-select를 켜서 터치 기기는 네이티브 피커를 유지하자고 제안합니다. - 점진적 향상으로 쓸 수 있습니다. 미지원 브라우저는 일반 select를 보여 주고 option의 텍스트만 남기며 같은 값을 제출하므로 폴리필이 필요 없습니다. 그래서 option 텍스트는 장식 없이도 말이 되어야 한다는 조건이 붙고, 데모는 Chrome이나 Edge에서만 제대로 보입니다.
폼에서 사용자가 망설이는 select 하나를 골라 "무엇을 알고 싶어서 망설이는가"를 option에 넣으라는 실용적인 기준을 줍니다. 이 글은 디자인 주장 위주이고 접근성이나 성능을 측정하지는 않으며, 시점 기준으로 Firefox에서는 데모가 보이지 않는다고 저자가 직접 밝힙니다.
보안과 릴리스
- Upcoming Next.js November Security Release
Next.js보안, Medium. 11월 3일에 Medium 취약점 7건을 고치는 보안 릴리스가 예정돼 있고 상세 권고문은 당일 공개됩니다. 내가 할 일: 11월 3일에 패치 버전이 나오면 바로 올릴 수 있게 업그레이드 일정을 잡아 둡니다. - Node.js v24.22.1 (LTS)
nodejs.org(JavaScript Weekly 경유) 보안. v26.12.1, v24.22.1, v22.23.4가 CVE 10건을 고치는 보안 릴리스이고, 그중에는 악성 데이터를 압축 해제하는 앱에서 원격 코드 실행으로 이어질 수 있는 Brotli 디코더 결함('Node2Shell')이 있으며 ELLIO가 실제 공격 트래픽을 관측했다고 합니다. 내가 할 일: 쓰는 라인에 맞는 버전으로 올리고, Brotli를 자체 번들한 의존성이 있는지도 확인합니다. - Tailscale SSH: Investigation and remediation update
tailscale.com(Hacker News 경유) 보안. Tailscale SSH에서 이미 접속 권한이 있는 사용자가 로컬 사용자 권한을 넘어 권한 상승을 할 수 있는 취약점들을 조사 중이고, 패치 클라이언트를 10월 27일 말까지 내는 것이 목표입니다. 내가 할 일: 패치 릴리스가 나왔는지 확인하고, 그 전에는TS_SSH_DISABLE_FORWARDING=1을 tailscaled 환경에 설정해 재시작하고 SSH 접근 정책을 필요한 사용자와 기기로 좁힙니다. - Our Response To The eMudhra Key Disclosure Incident
go.dev(Lobsters 경유) 보안. 약한 키가 드러난 eMudhra 중간 인증서를 신뢰에서 제외하려고 Go가 처음으로 URGENT 트랙으로 Go 1.27.3과 1.26.10을 냈고, 알림을 받은 지 7시간 반 안에 배포했습니다. 내가 할 일: TLS를 쓰는 Go 바이너리를 두 버전 이상으로 다시 빌드하고govulncheck -mode=binary로 확인합니다. - Three TLS Bugs in GoAhead
foxio.io(Hacker News 경유) 보안, Critical. 임베디드 웹 서버 GoAhead의 OpenSSL 호환 백엔드가 CRL을 불러오고도 검사 플래그를 켜지 않아 폐기된 클라이언트 인증서가 mTLS를 통과합니다(CVSS 9.1). 내가 할 일: GoAhead가 든 장비나 펌웨어를 쓴다면 6.1.1 이상인지 확인합니다. - pnpm 12.16.1
pnpmCargo 크레이트를 설치하는 워크스페이스에서 콜드 스토어일 때pnpm install이 멈추던 문제를 고쳤습니다.pnpm pack과publish는files의 파일 이름 항목을 glob 뒤에 적용해 npm과 같아졌고,!dist/index.js처럼 이름으로 제외한 파일은 뒤의dist/**가 있어도 빠집니다. - OpenTelemetry Transformation Language reaches v1
OpenTelemetrycollector-contrib v0.164.0부터 OTTL이 트레이스, 메트릭, 로그에서 stable이 됐고 1.x 동안 문법과 표준 함수의 하위 호환을 약속합니다. 새 함수는xottl모듈에서 실험 함수로 시작하고 feature gate를 켜야 쓸 수 있으며, 람다 기반 함수는 보장 밖입니다. - Verdaccio 7.0
github.com(JavaScript Weekly 경유) 자체 호스팅 npm 레지스트리에 새 버전을 승인 뒤에 공개하는 단계별 퍼블리싱(실험적)과 2FA가 들어왔고 소유권 확인이 더 엄격해졌습니다. - Chrome 156 stable
chromestatus.com(JavaScript Weekly 경유) 모듈 가져오기 실패를 더는 캐시하지 않아서, 네트워크나 HTTP 오류로 실패한 동적import()를 다시 시도할 수 있습니다. - Electron 45
electronjs.org(JavaScript Weekly 경유) Chromium 156, Node 24.22, V8 15.6으로 올라가고, 앱이 로컬 모델을 끼울 수 있는 Prompt API 훅이 추가됐습니다.
수집 상태
수집 5790건, 본문 확보 53건, 읽은 글 16건, 실은 글 6편. 실패한 소스: Kent Beck (HTTP 403)