Fable 5 sa vrátil za prísnejším filtrom; prevádzka patrí na Sonnet 5
Dňa 30. júna padli exportné kontroly na Fable 5 a vyšiel Claude Sonnet 5 za $2 / $10. Vlajkový model sa vrátil s klasifikátorom, ktorý podľa Anthropicu častejšie označí neškodné programovanie, a vtedy odpovedá Opus 4.8. Prečo „viac než 99 %“ platí pre jednu techniku, prečo je skutočná úspora Sonnet 5 asi 13 % na požiadavku a prečo majú logy zaznamenať model, ktorý naozaj odpovedal.
Tento týždeň dostal Anthropic späť svoj vlajkový model. V utorok 30. júna zrušilo ministerstvo obchodu USA exportné kontroly, ktoré na Claude Fable 5 uvalilo o osemnásť dní skôr, a 1. júla model opäť obsluhoval používateľov na celom svete, tentoraz za novým kybernetickým klasifikátorom, o ktorom sám Anthropic hovorí, že častejšie označí bežné programátorské požiadavky. V ten istý utorok, s oveľa menším hlukom, vyšiel Claude Sonnet 5 za $2 a $10 za milión tokenov. Titulky patrili prvej udalosti. Druhá priniesla model, na ktorom by sa teraz mala testovať väčšina produkčnej prevádzky.
Je to druhé pokračovanie článku Model na 72 hodín, týždeň po texte Zamknuté podľa pasu. Jediný výpočet nižšie, ktorý je náš, je ako náš aj označený.
Vlajkový model sa vrátil a za ním stojí druhý
Minister obchodu Howard Lutnick zrušil kontroly 30. júna listom Tomovi Brownovi z Anthropicu. Verejne k tomu povedal: „Za posledné dva týždne sme s Anthropicom úzko spolupracovali na analýze a schválení modelu Fable 5, aby sme zabezpečili súlad naprieč vládou USA a posilnili vedúce postavenie Ameriky v AI.“ Anthropic oznámil, že Fable 5 bude od stredy 1. júla dostupný používateľom na celom svete na Claude Platform a že AWS, Google Cloud a Microsoft Foundry prídu na rad „čo najrýchlejšie“. Nezávislý test datovaný 1. júla už našiel model aktívny na Amazon Bedrock, a to aj v regióne eu-west-1. Predplatitelia ho dostali v rozsahu „do 50 % týždenných limitov do 7. júla“.
Model samotný sa nezmenil. Stále to bol claude-fable-5 za $10 na vstupe a $50 na výstupe za milión tokenov, s kontextovým oknom 1 mil. tokenov. Zmenil sa filter pred ním a číslo, ktoré k nemu patrí, treba čítať pomaly.
Veta Anthropicu znie: „Nový klasifikátor znamená, že konkrétna technika opísaná v správe Amazonu je zablokovaná vo viac než 99 % prípadov.“ Jedna technika, tá, ktorú nahlásili výskumníci Amazonu. Infosecurity Magazine k tomu istému textu dopĺňa, že vo „veľmi malom zlomku prípadov“ môže model stále odpovedať, no nie ničím „dosť podrobným na to, aby to pomohlo útočníkovi“. Výskumníci z centra CAISI pri ministerstve obchodu otestovali staré aj nové ochranné mechanizmy a podľa tej istej správy ich označili za „mimoriadne silné“.
„Viac než 99 %“ opisuje jednu nahlásenú techniku. Nie je to miera blokovania jailbreakov vo všeobecnosti a nehovorí nič o tom, ako často filter zastaví bežnú prácu.
V tom druhom bode bol Anthropic nezvyčajne priamy: nový klasifikátor je podľa neho vykúpený tým, že častejšie označí neškodné požiadavky pri bežnom programovaní a ladení. A keď požiadavku označí, „pošle sa namiesto toho na Opus 4.8“. Dňa 2. júla zverejnil pravidlá, ktorými sa filter riadi, v štyroch úrovniach:
- Zakázané použitieRansomvér, wipery, malvér, riadiaca infraštruktúra útokov. Blokuje sa.
- Rizikové dvojaké použitie„Hacking, penetračné testy, red teaming a bug bounty“, vývoj exploitov. Na Fable 5 sa blokuje, čo je pre bezpečnostný tím skutočné obmedzenie.
- Menej rizikové dvojaké použitieSpravodajstvo z otvorených zdrojov, hľadanie zraniteľností, ktoré zvládnu aj existujúce nástroje. Monitoruje sa a z opatrnosti sa občas blokuje.
- Neškodné použitie„Bezpečné programovanie a oprava jednoduchých alebo už identifikovaných zraniteľností v kóde“, záplaty, reakcia na incidenty. Povolené, s monitoringom. Práve sem dopadajú falošné poplachy navyše.
Model, ktorý sa 1. júla vrátil, boli teda v praxi dva modely: Fable 5 pre väčšinu požiadaviek a Opus 4.8 pre všetko, čo sa klasifikátoru nepozdávalo, s hranicou, ktorú narýchlo naladil filter.
Model, ktorý vyšiel o deň skôr
Claude Sonnet 5 vyšiel 30. júna pod ID claude-sonnet-5 a bol hneď dostupný všade: na Claude API, Amazon Bedrock, Claude Platform on AWS, Google Cloud aj Microsoft Foundry. Stal sa predvoleným modelom v plánoch Free a Pro. Kontextové okno má 1 mil. tokenov, čo je zároveň predvolená aj najvyššia hodnota, a výstup do 128 000 tokenov. Na rozdiel od Fable 5 podporuje nulové uchovávanie údajov (ZDR) pre organizácie, ktoré takú dohodu majú.
Cena bola $2 za milión vstupných a $10 za milión výstupných tokenov, označená ako úvodná do 31. augusta, so zvýšením na $3 a $15 naplánovaným na 1. septembra. Čítanie z cache stojí $0,20 a Batch API znižuje vstup aj výstup na polovicu, teda na $1 a $5.
Čísla z benchmarkov uvádza dodávateľ: pochádzajú zo system card Anthropicu a Sonnet 5 v nich beží na najvyššom úsilí. Na SWE-bench Pro dosiahol 63,2 oproti 58,1 pre Sonnet 4.6, 58,6 pre GPT-5.5 a 55,1 pre Gemini 3.5 Flash. Opus 4.8 má 69,2, rovnaké číslo, aké bolo v našom júnovom grafe. Na OSWorld-Verified dosiahol Sonnet 5 81,2 oproti 78,5 u predchodcu. Na GDPval-AA v2, rebríčku Artificial Analysis pre odbornú znalostnú prácu, má Elo 1618 oproti 1395. Šesť bodov za Opus 4.8 v najťažšom programátorskom riadku, za 40 % jeho ceny za token.
Anthropic ho označuje za priamu náhradu Sonnet 4.6 s tromi zmenami správania: adaptívne premýšľanie je predvolene zapnuté, starý ručný rozpočet na premýšľanie vracia chybu 400 a rovnako ju vracia každá iná než predvolená hodnota temperature, top_p alebo top_k. Je tu aj štvrtá zmena, ktorá nič nerozbije, a predsa pohne faktúrou. Dokumentácia hovorí: „Ten istý vstupný text vyprodukuje približne o 30 % viac tokenov než na Claude Sonnet 4.6.“ Oznámenie uvádza „zhruba 1,0–1,35× podľa typu obsahu“.
Tu je výpočet, a je náš, urobený z čísel Anthropicu. Cena $2 oproti $3 je koeficient 0,667. O tridsať percent viac tokenov je koeficient 1,30. Po vynásobení stojí rovnaká požiadavka asi 0,87 toho, čo stála na Sonnet 4.6: zhruba o 13 % menej, nie o 33 %. Pri cene $3 a $15, ktorá je naplánovaná na september, bude tá istá požiadavka stáť asi o 30 % viac než na starom modeli.
O trinásť percent lacnejšie za lepší model je stále dobrý obchod. Je to však iná veta než tá na cenníkovom slide a vlastné číslo zistíte len tak, že si vlastné prompty prepočítate endpointom na počítanie tokenov.
Tichý fallback znamená, že odpovedá iný model
Tú časť návratu Fable 5, na ktorej v produkcii záleží najviac, je ľahké prehliadnuť. Keď klasifikátor zasiahne, používateľ odpoveď dostane. Príde z Opus 4.8. Rovnaký prompt, iný model, iný výstup. Pre každého klienta, ktorý nikdy nečíta, ktorý model odpovedal, je táto výmena tichá.
Na API je správanie výslovné a dokumentácia je v tom presná. Odmietnutá požiadavka je HTTP 200 so stop_reason: "refusal" a s hodnotou stop_details.category z množiny cyber, bio, frontier_llm, reasoning_extraction alebo general_harms. Ku kategórii cyber dokumentácia dodáva: „Túto kategóriu môže spustiť aj neškodná práca v kybernetickej bezpečnosti.“ Za odmietnutie, ktoré príde pred akýmkoľvek výstupom, neplatíte, no požiadavka sa vám stále počíta do rate limitov.
Ak si zapnete serverový parameter fallbacks, API zopakuje požiadavku na inom modeli v rámci toho istého volania. Odpoveď uvedie model, ktorý odpovedal, v poli model na najvyššej úrovni, odovzdanie označí obsahovým blokom fallback a každý pokus zapíše do usage.iterations. Platia dve obmedzenia. Parameter je beta a funguje len na Claude API; nie je dostupný na Amazon Bedrock, Google Cloud ani Microsoft Foundry, teda práve na platformách, ktoré tím v EÚ používa na regionálne ukotvenie, takže tam si opakovanie napíšete sami alebo použijete middleware v SDK. A dokumentácia upozorňuje, že rate limity záložného modelu treba nastaviť na očakávaný objem odmietnutí, inak sa fallbacky pri záťaži zmenia späť na odmietnutia.
Pre každého, kto to prevádzkuje v produkcii, z toho plynú tri veci:
- Logujte model, ktorý volanie obslúžil, nie model, o ktorý ste žiadali. To pole existuje. Auditná stopa, ktorá zaznamená iba požadované ID modelu, je pri každej označenej požiadavke nesprávna.
- Evalujte trasu ako dvojicu. Eval, ktorý ohodnotil Fable 5, nehovorí nič o odpovediach Opus 4.8, ktoré sú teraz primiešané do tej istej trasy. Testovanou jednotkou je dvojica.
- Dátové podmienky kontrolujte po trasách. Fable 5 je Covered Model, ktorý vyžaduje 30-dňové uchovávanie údajov a bez výslovného súhlasu Anthropicu nie je dostupný v režime nulového uchovávania; bez zapnutého uchovávania vráti API chybu 400. Sonnet 5 pod ZDR beží. Pri mnohých regulovaných záťažiach to rozhodne o trase skôr než akýkoľvek benchmark.
Náš pohľad
Dve udalosti tohto týždňa tvoria jeden argument. Návrat vlajkového modelu je príbeh o prístupe a prístup sa vrátil za rovnakých podmienok, za akých zmizol: listom, a nič nebráni ďalšiemu listu. Analytik, ktorého citoval CIO, to zhrnul jednou vetou: „Obnovený prístup nie je obnovená istota.“ Trasa, ktorá menuje claude-fable-5, potrebuje aj dnes písaný fallback z toho istého dôvodu ako 12. júna.
Sonnet 5 je príbeh o tom, kam má ísť objem. Model šesť bodov za Opus 4.8 na SWE-bench Pro, za 40 % jeho ceny za token, s oknom 1 mil. tokenov a bez povinného uchovávania údajov je prirodzeným prvým kandidátom pre väčšinu tried úloh v routing policy. Dôležité je slovo kandidát. Čísla sú od dodávateľa, tokenizér hýbe cenou a premýšľanie je teraz predvolene zapnuté, takže krok povýšenia je rovnaký ako vždy: pustite naň vlastnú evalovú sadu, porovnajte cenu za požiadavku, nie cenu za token, a až potom zmeňte predvolený model. Fable 5 zostáva tým, čím bol pred zákazom: výnimkou pre jednotlivé trasy, pre prácu, ktorá na všetkom lacnejšom zlyhá.
Ak chcete druhý pár očí na routing policy, na to, čo vaše logy zaznamenajú, keď vám dodávateľ vymení model pod rukami, alebo na evalovú bránu pre prechod zo Sonnet 4.6 na Sonnet 5, je to práca, ktorú v Sebrone robíme. Adresa je info@sebrona.com.
Zdroje
Odkiaľ pochádzajú čísla, citáty a dátumy. Benchmarky uvádza dodávateľ, ak riadok nehovorí inak. Citáty sme preložili z angličtiny.
- Anthropic, „Redeploying Claude Fable 5“Celosvetový návrat 1. júla, cloudové platformy „čo najrýchlejšie“, akcia 50 % do 7. júla, veta o „viac než 99 %“, priznaná cena pri neškodnom programovaní a fallback na Opus 4.8.
- Anthropic, kybernetické ochrany a rámec pre jailbreakyŠtyri úrovne použitia a to, čo klasifikátor v každej robí.
- Oznámenie, dokumentácia a system card Claude Sonnet 5Dátum vydania, ID modelu, predvolený model v plánoch, limity kontextu a výstupu, tri zmeny správania, čísla o tokenizéri, podpora ZDR a tabuľka benchmarkov (SWE-bench Pro, OSWorld-Verified, GDPval-AA v2). Číslo 69,2 pre Opus 4.8 je z oznámenia.
- Cenník a dokumentácia modelov AnthropicuVšetky cenníkové ceny vo Fig. 01, sadzby za cache a batch, ID a limity Fable 5 a harmonogram úvodnej ceny Sonnet 5.
- Refusals and fallback; API and data retentionTvar odpovede pri odmietnutí a kategórie, účtovanie odmietnutí, beta parametra fallbacks a kde nie je dostupná, upozornenie na rate limity a 30-dňové uchovávanie pre Covered Models.
- Tlač o zrušení kontrolLutnickovo vyhlásenie a list Tomovi Brownovi (NBC News, CIO); „veľmi malý zlomok prípadov“ a hodnotenie CAISI (Infosecurity Magazine); regióny Bedrocku 1. júla (DevelopersIO); citát analytika, Sanchit Vir Gogia z Greyhound Research (CIO).
- Zámerne vynechanéTerminal-Bench 2.1. Prepisy grafu Anthropicu od tretích strán dávajú pre Opus 4.8 dve rôzne čísla a system card žiadne neuvádza, takže necitujeme ani jednu stranu toho porovnania.