Skal I skifte AI-model, hver gang der kommer en ny?

Den 22. september kom GPT-6 Sol og Luna fra OpenAI. Den 7. oktober kom Claude Haiku 5.5 fra Anthropic. Den 12. oktober kom Metas første store model, Muse Wonder. Tre udgivelser på tre uger. Spørgsmålet for en virksomhed er ikke, hvilken der er bedst, men om I overhovedet skal reagere.

Kort svar: nej, ikke hver gang

De fleste nyheder ændrer ikke noget for jer. En model er ikke bedre, bare fordi den er ny. Og hver gang I skifter, koster det tid til test, rettelser og risiko for fejl. Spørgsmålet er, om gevinsten er større end omkostningen ved skiftet.

Hvad er der egentlig sket?

• OpenAI udgav GPT-6 Sol og Luna den 22. september. Ifølge NYU Shanghai koster Sol 2 USD pr. million input-tokens og 10 USD pr. million output-tokens (før 4 og 20 USD), og Luna 0,10 og 0,50 USD (før 0,20 og 1,20 USD). OpenAI siger, at de nye priser er permanente.

• Anthropic udgav Claude Haiku 5.5 den 7. oktober til 0,10 og 0,50 USD for korte prompts. Se hvad det betyder for en automatisering.

• Meta udgav den 12. oktober Muse Wonder til 4 USD pr. million input-tokens og 20 USD pr. million output-tokens, ifølge TechCrunch.

Alle påstande om, hvor meget bedre modellerne er, kommer fra udbyderne selv. OpenAI siger fx, at Sol laver omkring halvt så mange faktuelle fejl som forgængeren, men det er målt på OpenAIs egne tests. Uafhængige tests mangler endnu.

Fire spørgsmål, før I skifter

1. Er det en opgave, hvor fejl koster? Til udkast til interne notater kan en billig model være rigeligt. Til tilbud, kontrakter og kundesvar skal I teste grundigere.

2. Er regningen stor nok til, at prisen betyder noget? Hvis AI koster jer få dollars om måneden, er en prisforskel uden betydning. Så er kvalitet og stabilitet det vigtigste.

3. Hvor svært er skiftet? Hvis modellens navn står ét sted i jeres Make-scenarie, tager det minutter. Hvis meget af jeres arbejde er bygget op omkring én models særheder, tager det længere.

4. Kan I teste på jeres egne opgaver? En ny models resultater på en fælles prøve siger lidt om, hvordan den klarer jeres kunders mails.

En regel, der er til at bruge

Skift model, når mindst to af disse er sande:

• Prisen er faldet mærkbart, og jeres regning er stor nok til, at det kan mærkes.

• I har testet den nye model på 20-50 af jeres egne eksempler, og den er mindst lige så god.

• Den model, I bruger i dag, bliver udfaset eller ændret af udbyderen.

Ellers: Bliv ved det, der virker. Sæt en fast dato for et gennemsyn, fx én gang hvert kvartal, så I ikke jagter hver nyhed.

Sådan undgår I at binde jer til én udbyder

• Hold instruktionerne ét sted. Gem jeres prompts i et dokument, ikke kun inde i et modul.

• Gem et testsæt. 20-50 rigtige eksempler med det svar, I ville have givet. Det er jeres målestok, når der kommer en ny model.

• Skriv ned, hvilken model der kører hvor. Så ved I, hvad et skifte rammer.

• Tænk over data. Før I sender persondata til en ny udbyder, skal der være en databehandleraftale. Se ChatGPT og kundedata og AI-politik til medarbejdere.

Tip: Spørg ikke "hvad er den bedste model?". Spørg "hvad er den billigste model, der stadig klarer min opgave?". Det er næsten altid en anden model for hver opgave.

Vil I have hjælp til at vælge og teste de rigtige modeller til jeres opgaver? Se AI-rådgivning, eller book en uforpligtende samtale.