MCI-Forschung: Wo KI endet, beginnt menschliche Expertise

KI kann brainstormen – aber Menschen entscheiden, was wirklich zählt

Künstliche Intelligenz kann viele Vorschläge machen – doch sie versteht nicht, welche wirklich zählen. Das belegt eine neue Studie, die in Decision Analysis erschienen ist, einem der weltweit führenden Fachjournale für Entscheidungsforschung, herausgegeben von INFORMS. Die Ergebnisse sind aufschlussreich – und für alle relevant, die mit KI bessere Entscheidungen treffen wollen.

Johannes Ulrich Siebert, Professor am MCI, und Jay Simon, Professor an der American University in Washington D.C., haben gemeinsam untersucht, wie gut generative KI-Tools Zielsysteme für komplexe Entscheidungssituationen entwickeln können und wo ihre Grenzen liegen. Die transatlantische Forschungskooperation unterstreicht die wachsende internationale Vernetzung und Forschungsstärke des MCI im Bereich Entscheidungsanalyse und künstliche Intelligenz.

Um das zu untersuchen, verglichen Simon und Siebert KI-generierte Zielsysteme mit jenen professioneller Entscheidungsanalytiker. Mehrere führende KI-Modelle wurden beauftragt, Zielsysteme für sechs reale Entscheidungssituationen zu entwickeln: von Gebäudeevakuierungen über Cybersicherheit bis hin zu Investitionsentscheidungen in der Pharmaforschung. Die Ergebnisse wurden anhand von neun Kriterien einer strukturierten Methode zur Entscheidungsfindung bewertet und mit publizierten, von erfahrenen Experten entwickelten Zielsystemen verglichen.

Das Ergebnis ist differenziert: KI liefert häufig plausible und gut formulierte Einzelvorschläge. Bei Kriterien wie Verständlichkeit, Messbarkeit und operativer Umsetzbarkeit schnitten die KI-Tools solide ab. Doch sobald die Gesamtheit der Ziele betrachtet wird, zeigen sich klare Schwächen. Die Zielsysteme sind oft unvollständig, enthalten Redundanzen und vermischen grundlegende Ziele mit sogenannten Mittelzielen – also Aspekten, die nur indirekt relevant sind. Ralph Keeney, ein Pionier der Entscheidungsforschung, brachte es nach Durchsicht der KI-generierten Listen auf den Punkt: „Beide Listen sind besser als das, was die meisten Einzelpersonen erstellen könnten. Für eine qualitativ hochwertige Entscheidungsanalyse sollte man sie jedoch nicht verwenden.“

Deutlich bessere Ergebnisse entstehen erst, wenn KI durch gezielte Prompting-Strategien strukturiert angeleitet und ihre Vorschläge durch menschliche Expertise kritisch hinterfragt werden. Besonders wirksam erwies sich die Kombination aus einem schrittweisen Anleitungsverfahren, das die KI zu strukturiertem Denken führt, sowie einem Rückkopplungsverfahren, bei dem Experten die KI-Ausgabe gezielt kritisieren und zur Überarbeitung auffordern – ein Ergebnis mit direkter Relevanz für Organisationen, Behörden und politische Entscheidungsträger, die unter Unsicherheit wichtige Entscheidungen treffen müssen.

Aus diesen Erkenntnissen leiten Simon und Siebert ein praxisorientiertes Vier-Schritte-Modell ab: Zunächst erarbeiten Entscheidungsträger eigenständig eine erste Zielsammlung, bevor die KI ihrerseits Vorschläge generiert. Beide Listen werden zusammengeführt und konsolidiert. Im dritten Schritt verbessert die KI die Qualität einzelner Ziele, während Experten die Kohärenz des Gesamtsystems sicherstellen. Abschließend erfolgt eine ganzheitliche Qualitätsprüfung – idealerweise gemeinsam mit allen relevanten Entscheidungsträgern – und stellt so sicher, dass am Ende nicht KI, sondern menschliches Urteil das letzte Wort hat.

„Diese Studie zeigt exemplarisch, wofür das MCI steht: Forschung auf internationalem Niveau, die gleichzeitig praxisrelevante Antworten auf drängende Fragen unserer Zeit liefert“, so MCI-Head of Research & Development Martin Pillei.

„Generative KI sollte menschliche Expertise ergänzen, nicht ersetzen", betont MCI-Professor Siebert. „Wenn Mensch und KI zusammenarbeiten und jeweils ihre Stärken einbringen, entstehen bessere Entscheidungsgrundlagen – für Organisationen ebenso wie für politische Entscheidungsträger.“ Simon ergänzt: „KI kann aufzählen, was möglicherweise relevant ist. Zu entscheiden, was wirklich zählt, bleibt Aufgabe des Menschen.“ Alle Ergebnisse und das vollständige Vier-Schritte-Modell sind zugänglich unter: https://doi.org/10.1287/deca.2025.0387