Ein gutes Ergebnis ist noch kein guter Ablauf
Der bvse beschreibt unter anderem KI-Unterstützung bei Anfragen und im ERP-Ablauf bis zur Rechnung. Solche Anwendungen können viel mehr als einen Text formulieren. Sie können auch einen falsch erkannten Auftrag an mehrere nachgelagerte Schritte weitergeben. Präsentierte Ergebnisse einzelner Anbieter sind deshalb keine belastbare Einsparprognose für einen anderen Betrieb.
Unsere Position: Wer eine KI-Anwendung vorführt, sollte den Fall zeigen, den sie nicht abschließen kann. Ein unleserlicher Wiegeschein ist dabei fast zu einfach. Interessanter ist ein scharfes Foto mit zwei plausiblen Auftragsnummern. Oder ein korrekt ausgelesener Betrag, zu dem die Freigabe fehlt. Solche Fälle zeigen, ob die Anwendung den betrieblichen Zusammenhang berücksichtigt.
Was eine Trefferquote verschweigen kann
Nehmen wir einen eigens zusammengestellten Test mit 200 Belegen. Die Lösung verarbeitet 140 direkt weiter und legt 60 zur Prüfung vor. Unter den 140 weitergegebenen Belegen werden bei der Nachkontrolle zwei falsche Auftragszuordnungen gefunden.
Die automatische Durchlaufquote beträgt 70 Prozent. Die Genauigkeit innerhalb der automatisch weitergegebenen Gruppe beträgt 138 geteilt durch 140, also rund 98,6 Prozent. Gleichzeitig sind zwei Fehlzuordnungen bis zum Folgeschritt gelangt. Wer nur die Durchlaufquote nennt, beschreibt diese Wirkung nicht.
Eine Gesamtquote korrekter Fälle lässt sich daraus noch nicht ableiten. Dafür müssten auch die 60 zurückgestellten Belege ausgewertet werden. Waren sie tatsächlich unentscheidbar, fehlte nur eine Zuordnung im Stammdatensatz, oder hätte eine einfache Regel gereicht? Jede Ursache verlangt eine andere Verbesserung.
| Messgröße | Rechenbeispiel | Aussage |
|---|---|---|
| Testbestand | 200 Belege | Umfang dieses Tests |
| Automatisch weitergegeben | 140 / 200 = 70 % | Anteil ohne vorherige manuelle Prüfung |
| Davon korrekt | 138 / 140 ≈ 98,6 % | Qualität innerhalb dieser Gruppe |
| Manuell zurückgestellt | 60 / 200 = 30 % | Verbleibender Prüfaufwand noch zu messen |
| Fehler mit Folgewirkung | 2 Belege | Falsche Auftragszuordnungen wurden weitergegeben |
Konstruierter Test, keine Leistungsangabe eines Produkts. Eine hohe Quote allein legt keine zulässige Fehlergrenze fest.
Welche Aufgaben verschiedene Grenzen brauchen
Ein Vorschlag für eine Antwort auf eine Kundenanfrage kann vor dem Versand gelesen werden. Eine ausgelesene Menge kann gegen Brutto und Tara geprüft werden. Eine Materialannahme oder fachliche Gutachtenbewertung hat andere Folgen. Dafür reicht es nicht, dass ein Modell seine Antwort sprachlich sicher formuliert.
Die Automatisierung sollte deshalb pro Handlung freigegeben werden. Das Auslesen eines Belegs erlaubt noch keine Rechnungsfreigabe. Eine vorgeschlagene Auftragszuordnung erlaubt noch keine verbindliche Zusage gegenüber dem Kunden. Eine Anwendung kann Ergebnisse vorbereiten und eine klar definierte nächste Handlung erst nach Bestätigung ausführen.
Einfache, feste Prüfungen bleiben dabei nützlich: Ist die Belegnummer bereits vorhanden? Passt die Einheit? Existiert die Auftragsposition? Ist das Leistungsdatum im vereinbarten Zeitraum? Für diese Fragen muss ein Sprachmodell nicht jedes Mal eine neue Antwort erzeugen.
Bei Textvorschlägen für Gutachten sollten die verwendeten Befunde direkt erreichbar sein. Enthält ein Laborwert ein Kleinerzeichen, muss dieses auch in der Tabelle und in einer daraus abgeleiteten Aussage erhalten bleiben. Ein flüssiger Absatz kann eine falsch übernommene Zahl nicht reparieren.
Ein Testbestand braucht auch die unangenehmen Belege
Für die Beurteilung wird ein Teil der Belege zurückgehalten, während die Anwendung eingerichtet wird. Sonst wird vor allem gemessen, wie gut sie die bereits bekannten Beispiele verarbeitet. Der spätere Testbestand enthält Belege aus mehreren Zeiträumen und von unterschiedlichen Ausstellern, soweit diese im vorgesehenen Einsatz vorkommen.
Besonders häufige oder folgenreiche Fehler werden gezielt aufgenommen. Die Testauswertung unterscheidet zwischen falsch übernommenen Angaben, vorsorglich zurückgestellten Fällen und technisch nicht verarbeiteten Dateien. Eine beschädigte PDF ist ein anderes Problem als ein fachlich mehrdeutiger Auftrag.
- Zweimal eingereichter Beleg mit unterschiedlichem Dateinamen.
- Materialbezeichnung in einer Abkürzung, die mehreren Artikeln zugeordnet werden könnte.
- Korrigierte Fassung eines bereits verarbeiteten Dokuments.
- Zahlen mit deutschem Dezimalkomma sowie Werte mit < oder >.
- Ein Dokument mit einer Anweisung an die Software im Freitext. Solcher Inhalt darf keine Systembefehle auslösen.
- Fehlende Referenz bei gleichzeitig mehreren plausiblen Aufträgen.
Die Kaufentscheidung braucht den Aufwand nach der Erkennung
Im Beispiel müssen weiterhin 60 Belege geprüft und zwei falsch weitergegebene Zuordnungen berichtigt werden. Für eine Wirtschaftlichkeitsrechnung zählt die Zeit dafür mit. Ebenso gehören das Einrichten neuer Belegtypen, die Pflege von Zuordnungen und die Bearbeitung technischer Fehler zum Betrieb.
Vor einer Beauftragung sollte sich am Testbestand zeigen lassen, wie ein Bearbeiter einen offenen Fall erledigt: Original sehen, Ursache verstehen, richtige Zuordnung wählen und den Vorgang erneut übergeben. Wenn diese Schritte nur außerhalb der Anwendung per E-Mail möglich sind, bleibt ein erheblicher Teil der Arbeit bestehen.
Der passende Einstieg kann das Vorbereiten einer einzigen Belegart sein. Nach einer Auswertung der tatsächlichen Fehler werden weitere Handlungen freigegeben. Die Wirtschaftlichkeitsrechnung für Automatisierung zeigt, wie Prüffälle und laufender Aufwand in dieselbe Rechnung eingehen.