Wann KI, wann eine Regel reicht

Wir bauen Buchungs-, Dispositions- und Planungssysteme für Betriebe, denen die Standardlösung nicht passt. Mit KI da, wo sie nachweislich besser ist, und ohne, wo eine feste Regel dasselbe kann. Woran wir das festmachen, steht hier. Zwei der fünf Beispiele auf unserer Startseite kommen ohne KI aus.

Der größte offene Test dazu

Für Absatzprognosen im Handel gibt es einen Wettbewerb, an dem jeder teilnehmen kann. Er heißt M5, und ausgewertet wurde er im International Journal of Forecasting. Gerechnet wurde mit echten Zahlen von Walmart: 30.490 Fälle, wobei ein Fall ein Artikel in einer Filiale ist, gut 3.000 Artikel in zehn Filialen über gut fünf Jahre.

Das Ergebnis war eindeutig. Alle vorderen Plätze gingen an lernende Programme. Sie schlugen sämtliche üblichen Rechenverfahren, auch alle Mischungen daraus. Der Sieger lag über zwanzig Prozent besser.

Warum sie gewonnen haben

Die Auswertung nennt den Grund: Die Sieger haben nicht jeden Artikel für sich gelernt, sondern alle zusammen. Was das Programm am Brötchen in Filiale drei sieht, wendet es auf das Croissant in Filiale eins an.

Damit ist auch gesagt, wann es nicht funktioniert. Zwei Teilnehmer haben ihre lernenden Programme auf einzelne Artikel angesetzt, jeden für sich. Beide landeten im hinteren Feld.

Für einen Betrieb heißt das:

• Vier Filialen, achtzig Artikel, drei Jahre Kassendaten. Das sind 320 Fälle, weit weniger als im Wettbewerb. Das kann genug sein, um eine Prognose mit KI zu erproben. Ob sie die einfache Regel schlägt, zeigt erst der Vergleich an deinen Daten.
• Ein Laden, ein Produkt, ein Jahr. Hier fehlt die Grundlage. Ein Durchschnitt der letzten Wochen, getrennt nach Wochentagen, kostet nichts und lässt sich jedem erklären. Der Wettbewerb hat diesen Fall nicht gemessen. Er hat nur gezeigt, dass der Vorsprung aus der Menge kam.

Die erste Frage bei einer Prognose ist deshalb nicht, welches Modell, sondern wie viele Filialen und Artikel du hast. Ohne diese Zahl kann dir niemand sagen, ob KI bei dir etwas bringt.

Bei Texten zählt, ob jemand die Quelle prüfen kann

Für Antwortentwürfe, etwa auf Kundenanfragen, sieht es ähnlich zweigeteilt aus. Dass ein Programm sich etwas ausdenkt, lässt sich deutlich verringern: Man lässt es nur mit Dokumenten antworten, die vorher herausgesucht wurden, statt aus dem Gedächtnis. Für feste Antwortformate ist 2024 auf einer Fachtagung belegt worden, dass dieser Weg das Ausdenken verringert. Das ist ein Hinweis, kein Nachweis für deinen Fall.

Der zweite Befund ist unbequemer: Eine Quellenangabe ist noch kein Beleg. Eine Untersuchung namens SourceCheckup hat Menschen nachprüfen lassen, ob die angegebenen Quellen die Aussage überhaupt stützen, an der sie standen. Bei 50 bis 90 Prozent taten sie es nicht. Eine weitere Untersuchung von vierzehn Programmen zeigte: Die Verweise wirkten passend. Die Aussage daneben stützten sie trotzdem oft nicht.

Daraus folgt eine Anforderung an jeden Entwurf, den wir bauen: Der Beleg muss in Sekunden prüfbar sein, von jemandem, der die Sache ohnehin kennt. Wie das genau aussieht, hängt vom Projekt ab. Eine Fußnote, die nie jemand aufschlägt, zählt nicht. Und abgeschickt wird von einem Menschen.

Was eine feste Regel besser kann

Eine Regel hat vier Eigenschaften, die keine KI hat. Drei davon zählen im Alltag mehr als die letzten Prozent Genauigkeit.

• Bei gleicher Eingabe kommt immer dasselbe heraus.
• Sie lässt sich in einem Satz erklären, auch dem Kunden, der nachfragt.
• Sie lässt sich ändern, ohne etwas neu anzulernen.
• Im Betrieb kostet sie nichts.

Wo eine Regel die Antwort hergibt, ist KI nicht nur überflüssig, sondern schlechter. „Der nächste freie Monteur, der das Teil im Wagen hat" ist eine Regel. Wie viele Brötchen morgen gebraucht werden, ist keine.

Wie wir das im Gespräch handhaben

Im Erstgespräch bekommst du eine Richtung, an welchen Stellen KI überhaupt in Frage kommt. Sicher sagen lässt es sich erst nach dem Tag in deinem Betrieb. Vorher wissen wir nicht, wie viel vergleichbares Material es bei dir gibt, und genau daran hängt es nach dem Befund oben.

Erstgespräch vereinbaren, 30 Minuten, kostenlos. Oder vorher ansehen, welche der fünf Beispiele mit und welche ohne KI arbeiten.

Quellen

• Makridakis, S.; Spiliotis, E.; Assimakopoulos, V.: The M5 accuracy competition: Results, findings and conclusions. International Journal of Forecasting. 42.840 Absatzreihen einschließlich aller Summen über Filialen und Warengruppen, davon 30.490 auf Ebene Artikel je Filiale; alle vorderen Plätze reine Verfahren des maschinellen Lernens, über 20 % besser als der beste Vergleichsmaßstab. Der Vorteil stammt laut Auswertung aus dem sogenannten Cross-Learning, dem gemeinsamen Training über alle Reihen.
• Dieselbe Auswertung zur Gegenprobe: die beiden univariaten Beiträge, also je Artikel einzeln trainiert, schnitten schlecht ab.
• Béchard, P.; Marquez Ayala, O. (2024): Reducing hallucination in structured outputs via Retrieval-Augmented Generation. NAACL 2024, Industry Track.
• SourceCheckup: menschliche Nachprüfung von Quellenangaben in langen Antworten, 50–90 % stützten die Aussage nicht vollständig.
• Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents (2026), zum Auseinanderfallen von Verweisqualität und sachlicher Richtigkeit über 14 Modelle.