En markedsforsker hos Ahrefs skapte et fullstendig fiktivt luksusfirma for brevvekter kalt Xarumei. Han bygde nettsiden på en time ved hjelp av AI, og testet systematisk åtte store AI-verktøy.
Resultatene avslører urovekkende svakheter i hvordan AI håndterer informasjon om merkevarer.
Eksperimentet
GPT-4 og GPT-5 klarte seg best, og svarte oftest at “dette merket eksisterer ikke”. Perplexity feilet i ca 40% av tilfellene, og forvekslet ofte Xarumei med Xiaomi. Microsoft Copilot falt i “smigrer-fellen”: Da den ble spurt om hvorfor merket var så populært på Twitter, diktet den opp forklaringer om utsøkt håndverk, i stedet for å sjekke om det faktisk var populært.
Fase to: Kontrollert kaos
Forskeren plantet motstridende informasjon:
- Offisiell FAQ: Benektet rykter.
- Medium-artikkel & Reddit: Påsto at grunnleggeren var Jennifer Lawson fra Portland.
Medium viste seg å være ødeleggende effektivt. Modellene (Gemini, Grok) valgte å stole på Medium-artikkelen fremfor den offisielle nettsiden, fordi artikkelen virket mer “journalistisk” og troverdig.
Konklusjon
Store språkmodeller (LLM) “glemmer” å være skeptiske. Hvis de finner en kilde som ser autoritær ut (som en detaljert Medium-artikkel med falske kilder), overskriver den tidligere kunnskap om at merket ikke finnes.
Kilder
- Patrick Stox (Ahrefs): “I Created A Fake Luxury Brand To Test How AI Handles Truth” (ahrefs.com/blog/ai-test-fake-brand/).
- Marius Comper (Facebook): Post om eksperimentet.
