Wann KI, wann eine Regel reicht

Wir bauen Buchungs-, Dispositions- und Planungssysteme für Betriebe, denen die Standardlösung nicht passt. Mit KI da, wo sie nachweislich besser ist, und ohne, wo eine feste Regel dasselbe kann. Woran wir das festmachen, steht hier. Zwei der fünf Beispiele auf unserer Startseite kommen ohne KI aus.

Der größte offene Test dazu

Für Absatzprognosen im Handel gibt es einen Wettbewerb, an dem jeder teilnehmen kann. Er heißt M5, und ausgewertet wurde er im International Journal of Forecasting. Gerechnet wurde mit echten Zahlen von Walmart: 42.840 Fälle, wobei ein Fall ein Artikel in einer Filiale ist, über mehrere Jahre.

Das Ergebnis war eindeutig. Alle vorderen Plätze gingen an lernende Programme. Sie schlugen sämtliche üblichen Rechenverfahren, auch alle Mischungen daraus. Der Sieger lag über zwanzig Prozent besser.

Warum sie gewonnen haben

Die Auswertung nennt den Grund, und er ist der eigentliche Punkt dieser Seite: Die Sieger haben nicht jeden Artikel für sich gelernt, sondern alle zusammen. Was das Programm am Brötchen in Filiale drei sieht, wendet es auf das Croissant in Filiale eins an.

Damit ist auch gesagt, wann es nicht funktioniert. Zwei Teilnehmer haben ihre lernenden Programme auf einzelne Artikel angesetzt, jeden für sich. Beide landeten im hinteren Feld.

Für einen Betrieb heißt das:

Vier Filialen, achtzig Artikel, drei Jahre Kassendaten. Das ist ungefähr die Lage, in der gemessen wurde. Hier lohnt sich KI.
Ein Laden, ein Produkt, ein Jahr. Hier fehlt die Grundlage. Ein Durchschnitt der letzten Wochen, getrennt nach Wochentagen, kostet nichts und lässt sich jedem erklären. Der Wettbewerb hat diesen Fall nicht gemessen. Er hat nur gezeigt, dass der Vorsprung aus der Menge kam.

Wer dir KI verkauft, ohne vorher zu fragen, wie viele Filialen und Artikel du hast, verkauft dir das Wort und nicht die Wirkung.

Bei Texten zählt, ob jemand die Quelle prüfen kann

Für Antwortentwürfe, etwa auf Kundenanfragen, sieht es ähnlich zweigeteilt aus. Dass ein Programm sich etwas ausdenkt, lässt sich deutlich verringern: Man lässt es nur mit Dokumenten antworten, die vorher herausgesucht wurden, statt aus dem Gedächtnis. Für feste Antwortformate ist das 2024 auf einer Fachtagung belegt worden, für medizinische Fragen mit Verbesserungen im zweistelligen Prozentbereich.

Der zweite Befund ist unbequemer, und er ist uns wichtiger: Eine Quellenangabe ist noch kein Beleg. Eine Untersuchung namens SourceCheckup hat Menschen nachprüfen lassen, ob die angegebenen Quellen die Aussage überhaupt stützen, an der sie standen. Bei 50 bis 90 Prozent taten sie es nicht. Eine Arbeit von 2026 fand dasselbe über vierzehn Programme hinweg: funktionierende Verweise auf passende Seiten, und darunter als schwächster Punkt ausgerechnet die sachliche Richtigkeit.

Daraus folgt eine Anforderung an jeden Entwurf, den wir bauen: Der Beleg muss in Sekunden prüfbar sein, von jemandem, der die Sache ohnehin kennt. Wie das genau aussieht, hängt vom Projekt ab. Eine Fußnote, die nie jemand aufschlägt, zählt nicht. Und abgeschickt wird von einem Menschen.

Was eine feste Regel besser kann

Eine Regel hat vier Eigenschaften, die keine KI hat. Drei davon zählen im Alltag mehr als die letzten Prozent Genauigkeit.

Bei gleicher Eingabe kommt immer dasselbe heraus.
Sie lässt sich in einem Satz erklären, auch dem Kunden, der nachfragt.
Sie lässt sich ändern, ohne etwas neu anzulernen.
Im Betrieb kostet sie nichts.

Wo eine Regel die Antwort hergibt, ist KI nicht nur überflüssig, sondern schlechter. „Der nächste freie Monteur, der das Teil im Wagen hat" ist eine Regel. Wie viele Brötchen morgen gebraucht werden, ist keine.

Wie wir das im Gespräch handhaben

Im Erstgespräch bekommst du eine Richtung, an welchen Stellen KI überhaupt in Frage kommt. Sicher sagen lässt es sich erst nach dem Tag in deinem Betrieb. Vorher wissen wir nicht, wie viel vergleichbares Material es bei dir gibt, und genau daran hängt es nach dem Befund oben.

Erstgespräch vereinbaren, 30 Minuten, kostenlos. Oder vorher ansehen, welche der fünf Beispiele mit und welche ohne KI arbeiten.

Quellen

Makridakis, S.; Spiliotis, E.; Assimakopoulos, V.: The M5 accuracy competition: Results, findings and conclusions. International Journal of Forecasting. 42.840 Absatzreihen, alle vorderen Plätze reine Verfahren des maschinellen Lernens, über 20 % besser als der beste Vergleichsmaßstab. Der Vorteil stammt laut Auswertung aus dem sogenannten Cross-Learning, dem gemeinsamen Training über alle Reihen.
Dieselbe Auswertung zur Gegenprobe: die beiden univariaten Beiträge, also je Artikel einzeln trainiert, schnitten schlecht ab.
Béchard, P.; Marquez Ayala, O. (2024): Reducing hallucination in structured outputs via Retrieval-Augmented Generation. NAACL 2024, Industry Track.
SourceCheckup: menschliche Nachprüfung von Quellenangaben in langen Antworten, 50–90 % stützten die Aussage nicht vollständig.
Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents (2026), zum Auseinanderfallen von Verweisqualität und sachlicher Richtigkeit über 14 Modelle.