Siri är Super Dum och Blir Dummare
Av John Gruber
Skriver om den aktuella situationen med Apple Intelligence, nämnde jag hur otroligt dum och skrattretande fel Siri är när man frågar den enkla frågan, ”Vem vann Super Bowl 13?”. Detta exempel kom från en vän. Den vännen var Paul Kafasis, och han tog det och genomförde en grundlig undersökning genom att fråga Siri ”Vem vann Super Bowl __?” för varje nummer från 1 till 60.
En Katastrofal Prestation
Hans rapport på One Foot Tsunami som dokumenterar resultaten är fullkomligt fördömande:
Så, hur klarade Siri sig? Med den mest välvilliga tolkningen, gav Siri korrekt svar på endast 20 av de 58 Super Bowls som har spelats. Det är en absolut bedrövlig 34% fullföljningsprocent. Om Siri vore en quarterback, skulle den bli utslängd ur NFL.
Siri lyckades en gång få fyra år i rad rätt (Super Bowls IX till XII), men bara om vi ger den kredit för att ha gett rätt svar av fel anledning. Mer realistiskt, så svarade den korrekt tre i rad tre gånger (Super Bowls V till VII, XXXV till XXVII, och LVII till LIX). På sitt sämsta, fick den otroliga 15 i rad fel (Super Bowls XVII till XXXII). Mest roande, krediterade den Philadelphia Eagles med häpnadsväckande 33 Super Bowl-vinster de inte har förtjänat, förutom den 1 de har.
Andra Svarsmotorer
Andra svarsmotorer hanterar samma frågor med bravur. Jag har inte genomfört ett omfattande test från Super Bowls 1 till 60 eftersom jag är lat, men en snabbkoll av några slumpmässiga nummer i det intervallet indikerar att varje annan fråga-en-fråga-få-ett-svar-agent jag personligen använder får dem alla rätt. Jag försökte ChatGPT, Kagi, DuckDuckGo och Google. Dessa fyra klarar sig alla bra på de argumenterbart knepiga frågorna om vinnarna av Super Bowls 59 och 60, som ännu inte har spelats. Till exempel, när jag frågade vinnaren av Super Bowl 59, börjar Kagis ”Snabbt Svar” med: ”Super Bowl 59 är planerad att äga rum den 9 februari 2025. För närvarande har spelet ännu inte ägt rum, så det finns ingen vinnare att rapportera.”
Enkla Frågor, Felaktiga Svar
Super Bowl-vinnare är inte något obskyrt ämne, som att fråga ”Vem vann 2004 års North Dakota high school boys’ state basketball championship?” — en fråga jag bara drog ur hatten, men som, otroligt nog, Kagi svarade korrekt för Class A, och ChatGPT svarade korrekt för både Class A och Class B, och gav en länk till denna video av Class A-mästerskapsspelet på YouTube. Det är fantastiskt! Jag valde en obskyr stat (utan att förolämpa Dakotabor, Nord eller Syd), ett år ganska långt tillbaka i tiden, och den high school sport jag personligen spelade bäst och bryr mig mest om. Och både Kagi och ChatGPT fick det rätt. (Jag skulle ge Kagi ett A, och ChatGPT ett A+ för att ha namngivit mästarna i båda klasserna, och extra kredit ovanpå A+ för YouTube-länkarna.)
Slutsats
Det är otroligt hur dum Siri är om ett ämne med sådan popularitet. Om du hade gissat att Siri kunde få hälften av Super Bowls rätt, förlorade du, och det var inte ens nära. Andra svarsmotorer som ChatGPT, Kagi, DuckDuckGo och Google klarar sig alla bra på dessa frågor. Siri med Apple Intelligence är så dålig att det får frågan fel även med hjälp av ChatGPT, vilket gör det hela ännu mer förvirrande.
Om du har några tankar eller erfarenheter med Siri eller andra AI-svarsmotorer, lämna gärna en kommentar nedan!