Entschlüsselung von IDP: 52 Definitionen im Intelligent Document Processing Kontext 1/4 – Metriken

Willkommen zum 1. Teil unserer 4-teiligen Blog-Serie über die Definitionen der Intelligent Document Processing (IDP), in der wir uns mit grundlegenden Schlüsselbegriffen im Kontext von IDP beschäftigen werden.

Im 1. Teil werden wir uns auf Metriken konzentrieren und ihre Bedeutung bei der Erfassung und Messung der Leistung von IDP-Lösungen untersuchen. In den folgenden Teilen werden wir weitere wesentliche Aspekte wie die Technologie (2), das Deployment (3) und die Industrien (4) im Zusammenhang mit IDP behandeln. Indem wir diese Begriffe klar definieren, möchten wir ein umfassendes Verständnis von IDP und seinen Komponenten vermitteln, damit Unternehmen leichter und klarer durch die Welt der Dokumentenautomatisierung navigieren können. Also lassen Sie uns in die Welt der IDP-Metriken eintauchen und eine solide Grundlage für unsere Erkundung dieser bahnbrechenden Technologie legen.

Die OCR Accuracy wird definiert als der Prozess, bei dem die Ausgabe der OCR mit der Originalversion desselben (Ground-Truth) Textes verglichen wird. Die für die Messung verwendeten Metriken sind der Character Error Rate (CER) und der Word Error Rate (WER). Andere Accuracy-Messungen können die Accuracy des Systems (für die gesamte Ausgabe) oder die Accuracy spezifischer Aufgaben (z. B. Dokumentenklassifizierung, Feldextraktion) umfassen.

Im IDP-Kontext bezieht sich die Automation Rate auf den Prozentsatz der Dokumente oder Datensätze, die erfolgreich und automatisch ohne manuelle Intervention verarbeitet werden können. Diese Metrik gibt an, wie gut ein IDP-System Dokumente oder Daten automatisch verarbeiten kann, ohne menschliches Zutun. Eine höhere Automation Rate zeigt einen höheren Grad an Effizienz und eine reduzierte Abhängigkeit von manueller Arbeit bei der Bearbeitung von Dokumentenaufgaben an.

AHT ist eine wichtige Metrik zur Messung der Effektivität der Digitalen Prozessautomatisierung. Sie bezieht sich auf die durchschnittliche Zeit, die ein Mensch benötigt, um eine Transaktion oder ein Dokument zu bearbeiten.

CER ist eine Metrik, die zur Bewertung der Accuracy von Texterkennungssystemen verwendet wird, insbesondere im Kontext von Optical Character Recognition (OCR) oder Intelligent Character Recognition (ICR). Sie misst den Prozentsatz der falsch erkannten Zeichen im Vergleich zur Gesamtzahl der Zeichen im Referenz (Ground-Truth) Text. Eine niedrigere CER deutet auf eine höhere Genauigkeit bei der Zeichenerkennung hin.

Confidence kann als „Zuverlässigkeitswert“ für KI-Modelle und -Algorithmen definiert werden. Ein Vertrauenswert ist eine Zahl zwischen 0 und 1, die die Wahrscheinlichkeit repräsentiert, dass die Ausgabe eines Machine-Learning-Modells korrekt ist und eine Anfrage eines Benutzers erfüllt.

Der F1 Score ist eine Metrik im Bereich des maschinellen Lernens und bewegt sich zwischen 0 und 1. Er wird als harmonisches Mittelmaß von Precision und Recall definiert. Der Score bietet eine ausgewogene Bewertung der Fähigkeit des Modells, relevante Informationen korrekt zu identifizieren und gleichzeitig sowohl falsch-positive als auch falsch-negative Ergebnisse zu minimieren. Ein höherer F1 Score deutet auf ein genaueres und zuverlässigeres IDP-System hin.

Manual Effort bezieht sich auf die Anstrengungen und Aufgaben, die von Einzelpersonen durch manuelle Prozesse durchgeführt werden, im Gegensatz zu Automatisierung oder automatisierten Prozessen.

Precision ist eine Bewertungsmetrik für KI-Modelle und wird hauptsächlich für Aufgaben der Informationsrückgewinnung verwendet. Sie beschreibt den Anteil der Vorhersagen, die mit den Annotationen im Testdatensatz übereinstimmen. Einfacher ausgedrückt misst die Precision die Genauigkeit der positiven Vorhersagen und kann als Maß für die Qualität betrachtet werden.

Ähnlich wie Precision, ist Recall eine Bewertungsmetrik für KI-Modelle. Er beschreibt den Anteil der im Testdatensatz richtig vorhergesagten Annotationen. Einfacher ausgedrückt misst Recall die Vollständigkeit der positiven Vorhersagen und kann als Maß für die Quantität betrachtet werden.

ROI ist das Verhältnis zwischen dem Nettogewinn (über einen bestimmten Zeitraum) und der Investition (Kosten, die sich aus einer Investition von Ressourcen zu einem bestimmten Zeitpunkt ergeben). Ein hoher ROI bedeutet, dass die Gewinne der Investition im Vergleich zu den Kosten günstig ausfallen. Als Leistungskennzahl wird ROI verwendet, um die Effizienz einer Investition zu bewerten oder die Effizienz mehrerer verschiedener Investitionen zu vergleichen.

STP ist ein Begriff, der den Prozess bezeichnet, bei dem ein Dokument vollständig von einer IDP-Lösung verarbeitet wird, ohne dass menschliches Eingreifen oder Überprüfung erforderlich ist, und somit die Verarbeitungsphase „gerade durchläuft“ und zum Zielsystem gelangt, ohne dass ein Validator involviert ist.

Um individuelle Confidence Scores in handlungsfähige Daten umzuwandeln, muss ein Schwellenwert angewendet werden, der statistisch festlegt, ob die Daten wahrscheinlich korrekt oder inkorrekt sind. Ein Schwellenwert ist ein Wert zwischen 0 und 1 und kann beispielsweise als Filterparameter verwendet werden.

TTV ähnelt dem Return on Investment (ROI), aber anstelle des finanziellen Erfolgs einer Investition impliziert er die Erreichung der Effektivität einer Investition. Im Fall von IDP bezieht sich das auf die Zeit, die benötigt wird, um ein optimales Maß an Accuracy und Precision bei der Extraktion von Daten aus Dokumenten zu erreichen – je länger die Zeit, desto geringer der Return on Investment.

WER ist eine Metrik, die zur Bewertung der Genauigkeit von Texterkennungsalgorithmen verwendet wird. Sie berechnet den Prozentsatz der falsch erkannten Wörter im Vergleich zur Gesamtzahl der Wörter im Referenztext. Wie die Character Error Rate (CER) deutet ein niedriger WER auf eine bessere Leistung und höhere Genauigkeit hin.