Die Journalisten Dalvin Brown, Kara Dapena und Joanna Stern testeten ChatGPT, Claude, Copilot, Gemini und Perplexity in Bezug auf alltägliche Fähigkeiten. Jeder Chatbot wurde mit Fragen konfrontiert, die Redakteure und Kolumnisten des Wall Street Journal formuliert hatten. Die Antworten wurden von einer unabhängigen Jury nach Kriterien wie Genauigkeit, Nützlichkeit und Gesamtqualität bewertet.
Die Kategorie „Gesundheit“ umfasste etwa Fragen zu Schwangerschaft, Gewichtsabnahme, Depression und Symptomen. ChatGPT schnitt hier am besten ab, während Gemini in der Kategorie „Finanzen“ überzeugte, in der es um Themen wie Erbschaften, Renten und Zinssätze ging. Beim Kochen überzeugte ChatGPT mit kreativen und realistischen Menüs, während Gemini den Test mit einer Frage nach einem gluten- und milchfreien Schokoladenkuchen für sich entschied. In der Kategorie „Kreatives Schreiben“ überzeugte Copilot durch Witze und originelle Antworten, während Perplexity mit journalistischer Kompetenz glänzte.
Insgesamt zeigten sich die Chatbots hilfreich und vermieden Kontroversen, wobei Perplexity am häufigsten als Gewinner hervorging. Die Unterschiede zwischen den Chatbots verdeutlichen zugleich, dass jeder für verschiedene Zwecke geeignet ist.