Daily20262편
10월 26일 월요일
오늘 하나만 본다면
컨텍스트가 길어질수록 모델은 지시보다 앞서 나온 예시를 따르고, 해법은 하네스의 몇 줄짜리 결정 로직입니다
100만 토큰 컨텍스트 창을 내세운 Gemini 2.5는 포켓몬을 플레이하다가 컨텍스트가 10만 토큰을 넘자 새 계획을 세우는 대신 자기 과거 행동을 반복했는데, 이 사실은 기술 보고서 부록에만 적혀 있었습니다.
- 2024년 말에는 컨텍스트 창만 충분히 크면 검색 증강(RAG)도 에이전트 설계도 필요 없다는 기대가 있었습니다. Gemini 1.5가 100만 토큰으로 128K 수준에서 크게 도약했고 Llama 4 Scout는 1000만 토큰까지 갔지만, 추론이 어려워 널리 쓰이지 못했습니다. 저자는 컨텍스트가 길어지면 담을 수 있는 정보와 함께 오류도 늘어난다고 봅니다.
- 실패 유형은 네 가지입니다. 환각이나 잘못된 사실이 들어가 빠져나오지 못하는 오염(poisoning), 컨텍스트가 길어져 모델이 자기 지식보다 컨텍스트에 쏠리는 분산(distraction), 무관한 정보가 답에 영향을 주는 혼동(confusion), 도구와 스킬 정보가 서로 충돌하는 충돌(clash)입니다. 오염의 예로, 포켓몬 원작에서는 경비원에게 레모네이드를 줘야 하는데 리메이크판은 아이스티로 바뀌었습니다. Gemini 2.5는 가중치에 남은 리메이크판 기억 때문에 원작을 하면서도 몇 시간 동안 차를 찾아 헤맸다고 합니다.
- 분산은 Camassa와 Shiller의 논문 "Do as I Say, Not as I Do"로 보여줍니다. 모델에게 "모든 질문에 러시아어로 답하라"고 지시한 뒤, 지시와 반대로 프랑스어로 답한 대화 예시를 쌓고 질문하면 모델이 지시 대신 예시를 따릅니다. Gemma 3 12B 같은 작은 모델은 반대 예시 몇 개만으로도 지시 준수율이 절반 아래로 떨어지고, Opus 4.6도 예시가 훨씬 많아지면 같은 현상이 나타났습니다. 저자는 CSS를 계속 고치며 어긋난 시도가 쌓인 대화가 바로 이런 반대 예시가 쌓이는 상황이라고 지적합니다.
- 대응 도구는 여섯 가지이고 새 문제가 생겨도 이 목록은 그대로라고 합니다. 관련 정보를 끌어오는 증강, 노출할 도구를 고르는 로드아웃, 빈 히스토리로 서브에이전트를 띄우는 격리, 필요 없어진 도구 결과를 지우는 가지치기, 마크다운이나 DB 같은 환경에 저장하는 오프로딩, 그리고 흔히 컴팩션이라 부르는 요약입니다. 저자가 만난 어느 기업 팀은 엔지니어마다 스킬 600개를 시작 시점에 불러와 에이전트 성능이 갑자기 나빠졌고, 저자는 로드아웃으로 걸러내라고 권했다고 합니다.
- 저자가 DSPy로 보인 예시 하네스에서 에이전트는 while 루프이고, 위 기법은 작은 결정 모델이 "이 도구가 필요한가", "이 턴이 아직 필요한가"를 판정하는 함수 하나씩입니다. 전부 합쳐도 변경이 16줄 안팎이라고 합니다. 가지치기는 프롬프트 캐시를 깨뜨릴 수 있으니 주의하라는 단서가 붙습니다. 저자 본인은 컨텍스트가 20만~30만 토큰에 이르면 새로 시작합니다.
왜 볼 만한가: 코딩 에이전트를 쓰는 팀이 컨텍스트를 언제 비우고 무엇을 남길지 정하는 기준을 얻을 수 있고, 반대 예시가 쌓이면 지시를 무시한다는 점은 AI 코드 리뷰와 검증 체계에도 닿습니다. 다만 컨퍼런스 발표를 옮긴 글이라 논문과 사례가 요약 수준이고, 책 출간을 앞둔 저자의 관점이라는 점을 감안해야 합니다.
읽을 만한 것
토큰 가격은 올라갈 것이라는 예상과 달리, 경쟁 구조 때문에 계속 내려갈 것입니다
에이전트로 코딩할 때 토큰 비용의 96~99%는 캐시 읽기라서, 캐시 읽기 단가를 75% 내린 모델은 전체 비용이 70~75% 내려갑니다.
- 6월 GPT-5.6 이후 OpenAI와 Anthropic은 몇 달 사이에 가격을 연달아 내렸습니다. GPT-5.6 Luna는 7월에 80% 인하되었고, 9월 22일 출시된 GPT-6 Sol은 임시 할인 중이던 GPT-5.6 Sol의 입출력 가격을 다시 절반으로 줄인 $2/$10(백만 토큰당)이었습니다. 같은 날 Opus 5.5는 Opus 5보다 총비용이 40~60% 낮았고, 9월 29일 GPT-6.1 Sol은 캐시 읽기 가격을 반으로 깎아 모델군 전체가 누적 75% 저렴해졌다고 합니다. Vercel의 AI Gateway 데이터에서 토큰당 비용은 4월의 43.3% 수준입니다.
- 저자는 원인을 경쟁과 낮은 전환 비용으로 봅니다. 하네스에서 토글 하나나 OpenRouter의 모델 문자열 하나로 모델을 바꿀 수 있어 모델이 상품에 가까워졌다는 것입니다. DeepSeek V4 Flash는 4월에 입력 $0.14, 캐시 읽기 $0.0028로 나와 큰 화제였습니다. 캐시 읽기 비율이 2%로, OpenAI와 Anthropic의 5~10%보다 낮았기 때문입니다. 7월의 Luna 인하는 이 오픈 웨이트 모델에 대한 대응으로 추정합니다.
- 오픈 웨이트 모델은 호스팅 업체가 늘어날수록 더 싸집니다. OpenRouter에서 DeepSeek V4 Flash를 호스팅하는 업체는 5월에 13곳이었는데 갱신판인 1017 버전은 29곳입니다. 캐시 적중률을 반영한 실효 입력 비용으로 보면 Cloudflare와 DeepInfra가 DeepSeek 자체 가격의 10% 이내까지 붙어 있습니다. 며칠 전 나온 Moonshot AI의 Kimi K3.1 Pro는 Opus 5.5(58점)에 가까운 55점을 입출력 가격 절반($2/$10)에 내놓았습니다.
- 가격이 곧 오를 것이라는 "우버식 보조금" 가설에 대해 저자는 반대합니다. 우버와 달리 두 회사는 가격 결정권을 독점하지 않고, 추론 사업의 진입 장벽도 높지 않으며, 업체들은 적자 모델이면 서빙을 접고 그 컴퓨트를 수익 모델에 돌릴 것이라는 논리입니다. 그래서 "토큰의 진짜 비용"은 가격이 한계비용과 같아지는 지점이 될 수 있다고 말합니다.
- 저자는 IPO를 앞둔 두 회사가 주 수입원을 깎는 점이 이상하다고 인정하면서, 추론 자체의 마진이 80%에 이른다는 보도를 인용합니다(단서가 붙은 보도입니다). 본인은 Codex 구독에서 효율이 4배가 되자 사용량 한도를 5분의 1로 줄였다고 하며, 이는 한 사람의 사례입니다.
왜 볼 만한가: AI 코딩 도구를 팀에 도입할 때 비용 전제를 점검하는 근거가 되고, 가격이 아니라 캐시 읽기 단가가 실비를 좌우한다는 점은 컨텍스트 설계와도 이어집니다. 다만 원문 제공분은 중간에서 끊겨 구독 마진 논의의 결론까지는 확인하지 못했고, 가격 전망은 저자의 추론이며 IPO와 마진 관련 내용은 소문과 유출 보도에 기대고 있습니다.
보안과 릴리스
- POSIX wordexp(3) is dangerous
yossarian.net(Lobsters 경유) 보안. C의wordexp(3)은 틸드 확장(~/foo)에 자주 추천되지만 기본 설정에서$(cat /etc/passwd)같은 명령 치환까지 실행하고,WRDE_NOCMD플래그도 musl과 macOS처럼 셸에 위임하는 구현에서는 일부 패턴을 놓쳐 우회됩니다. 내가 할 일: 네이티브 애드온이나 CLI 도구에서 신뢰할 수 없는 입력에wordexp을 쓰고 있다면 직접 틸드만 치환하는 코드로 바꿉니다. - Faster pnpm installs
Vercel BlogVercel에서 pnpm 설치 시 이전 배포의 의존성 검증 결과를 재사용해, 빌드 캐시가 복원된 Pro 배포의 평균 설치 시간이 14% 줄었습니다. 의존성이 그대로면 공급망 정책 검증이 2.5초에서 생략되어 설치가 135ms 만에 끝난 예가 실렸고, 설정 없이 모든 플랜에 적용됩니다.
수집 상태
수집 5781건, 본문 확보 34건, 읽은 글 10건, 실은 글 2편. 실패한 소스: Kent Beck (HTTP 403). 본문 추출에 실패한 7건(Vercel 변경 내역 2건, pnpm 11.28.8 릴리스 등)은 후보에서 빠졌습니다. 기술 심화에 맞는 글이 오늘 후보에 없어 기준 개수(5편)를 채우지 않았습니다.