Stanford-HAI-Studie: Mehr als die Hälfte der Claude-Chats betrifft ernsthafte Arbeit

Eine Stanford-Gruppe hat eine Viertelmillion anonymisierter Gespräche zwischen Menschen und Claude, dem Chatbot von Anthropic, ausgewertet. Die Studie wird vom Stanford Institute for Human-Centered AI unterstützt. Die Fachzeitschrift Nature Human Behaviour hat sie zur Veröffentlichung angenommen.

Die zentrale Zahl lautet 56 %. Laut der Mitteilung von Stanford HAI^[1] erreicht deutlich mehr als die Hälfte der Kooperationen die Stufe „consequential“ oder eine höhere.

Wer gemessen hat und auf welcher Datengrundlage

Grundlage der Studie ist die reale Nutzung. Die Gespräche stammen von echten Nutzern, die mit echten Aufgaben beschäftigt sind.

Die Forschenden haben Insights eingesetzt, das Analysewerkzeug von Anthropic. Mit Insights suchten sie Antworten auf drei Fragen.

• Hat die Arbeit, die Menschen der KI übertragen, echtes Gewicht?
• Wie viel Kontrolle behält die Person im Gespräch?
• Wo entsteht Reibung zwischen Mensch und KI, und wann hilft diese Reibung der Zusammenarbeit oder bringt sie zum Scheitern?

Federführend ist Diyi Yang, Informatikprofessorin in Stanford und Senior Fellow von HAI. Gleichberechtigte Erstautoren sind Yijia Shao und Dora Zhao, Doktoranden in ihrem Labor.

Mehr als die Hälfte der Arbeit hat ernsthafte Folgen

56 % der Kooperationen erreichen die Stufe „consequential“ oder eine höhere. Der Begriff bezeichnet Aufgaben mit ernsthaften und schwer rückgängig zu machenden Folgen.

Laut Shao bringen Nutzer manchmal banale Aufgaben mit, etwa den Entwurf einer E-Mail. Viel häufiger geht es jedoch um Arbeit mit hohem Risiko, die sich nur schwer umkehren lässt.

Yang sieht in der Zahl ein Gegenargument zu den düstersten Prognosen über KI. Ihrer Ansicht nach nutzt die große Mehrheit das Modell als Quelle für Ideen und Einwände. Das Modell stellt die Argumentation seiner Nutzer auf die Probe.

Drei Zahlen, die in der Mitteilung fehlen

Im öffentlichen Text sind die 56 % die einzige Prozentangabe. Um sie einordnen zu können, braucht es drei Angaben, über die die Mitteilung schweigt.

1. Genaue Stichprobe. Die Mitteilung spricht von „einer Viertelmillion“ Gesprächen. Es fehlen die genaue Zahl, der Erhebungszeitraum und die Art der Nutzer.
2. Verteilung. Die 56 % fassen die Stufe „consequential“ und die darüberliegenden Stufen zusammen. Es fehlen der Anteil jeder einzelnen Stufe und der Anteil der banalen Aufgaben.
3. Klassifizierungsmethode. Die Mitteilung nennt Insights als Werkzeug. Unklar bleibt, wer jedem Gespräch seine Stufe zuweist und mit welcher Kontrolle.

Daten und Werkzeug stammen von Anthropic, demselben Unternehmen, das Claude entwickelt.

Wenn die Aufgabe Gewicht hat, wird der Austausch länger

Das zweite Ergebnis betrifft das Verhalten. Laut Zhao beteiligen sich Nutzer stärker, wenn das Risiko steigt. Gespräche über ernsthafte Aufgaben dauern fast doppelt so lange wie solche über gewöhnliche Aufgaben.

Der Zusammenhang verknüpft das Gewicht der Aufgabe mit der Länge des Austauschs. Es bleibt eine Korrelation.

Die Mitteilung nennt das Verhältnis, lässt aber die durchschnittlichen Gesprächslängen weg. Außerdem beschreibt sie eine nützliche oder schädliche „Reibung“, doch der verfügbare Text endet, bevor er Daten zu diesem Punkt liefert.

Daten aus der Praxis, Methode noch verschlossen

Seit Jahren bin ich der Meinung, dass ein Benchmark den Test misst und die reale Arbeit außen vor lässt. Hier stammt die Messung aus der realen Arbeit. Deshalb verdient die Studie Aufmerksamkeit.

Das Fachgebiet, das diesen Austausch untersucht, heißt Mensch-KI-Interaktion, wie der Wikipedia-Eintrag^[2] zusammenfasst. Ein Großteil dieses Fachgebiets arbeitet mit kontrollierten Experimenten.

Der Wert der 56 % hängt von der verwendeten Skala ab. Eine auf eine bestimmte Weise definierte Skala ergibt diese Zahl. Eine andere Skala kann eine andere ergeben.

Welche These vor dem Vorstand trägt

Die Zahl stützt eine klare These. Menschen nutzen KI für ernsthafte Arbeit und bleiben länger im Gespräch, wenn die Aufgabe Gewicht hat.

Die These von der KI als Abkürzung für banale Aufgaben verliert an Kraft. Nach dieser Messung beschreibt sie nur einen kleineren Teil der Fälle.

Für alle, die Datenanalyse verantworten, zeigt die Studie, dass sich reale Nutzung auch in großem Maßstab messen lässt. Das Ergebnis ist allerdings nur so viel wert wie die Regel, nach der jedes Gespräch eingestuft wurde.

Derzeit sind die 56 % ein Wert aus dem Produktivbetrieb, dessen Methode noch nicht offengelegt ist. Er sollte mit Quelle und mit seinen Grenzen zitiert werden.