Entschlüsselung von IDP: 52 Definitionen im Intelligent Document Processing Kontext 2/4 – Technologie

Willkommen zum 2. Teil unserer 4-teiligen Blogserie mit dem Titel „52 Definitionen im Intelligent Document Processing Kontext“.

Im 2. Teil tauchen wir in die entscheidenden technologischen Aspekte ein, die es den Intelligent Document Processing (IDP) Systemen befähigen, Verarbeitung von Dokumenten zu revolutionieren. In den weiteren Teilen werden andere wesentliche Aspekte wie Metriken (1), Deployment (3) und Industrien (4) im Zusammenhang mit IDP behandelt. Begleiten Sie uns, während wir die faszinierende Welt der IDP-Technologie erkunden und ihre transformative Wirkung auf Produktivität, Datenextraktion und Geschäftsabläufe aufdecken. Bleiben Sie dran für weitere aufschlussreiche Artikel in dieser Serie!

Die Barcode Recognition identifiziert Barcodes aus Eingabedateien, wie Dokumenten und Bildern.

Capture kann als Software definiert werden, die Informationen in Geschäftsprozesse einliest, inklusive Erfassung, Klassifizierung und Umwandlung von unstrukturierten und teilstrukturierten Informationen in erweiterte nutzbare Daten. Sie erkennt und extrahiert sinnvolle, genaue und nutzbare Informationen aus mehrkanaligen Eingaben. Sie kann auch als erste Phase der Dokumentenverarbeitung betrachtet werden, die das Erkennen von Eingaben umfasst.

Classification ist der Prozess der Kategorisierung von Dokumenten und ihrer Sortierung in vortrainierte Dokumentenklassen basierend auf Layout und Inhalt.

Data Augmentation ist ein vollautomatischer Prozess, der mehr Varianz für das Training schafft und den Bedarf an umfangreicher Datenbereitstellung reduziert. Es handelt sich um eine Machine Learning-Methode, die dazu dient, Overfitting beim Training eines Machine Learning-Modells zu mildern, indem Modelle auf leicht modifizierten Kopien von bestehenden Daten trainiert werden.

Data Extraction bezieht sich auf den Prozess des Abrufens von Daten aus typischerweise unstrukturierten oder schlecht strukturierten Datenquellen zur weiteren Datenverarbeitung oder -speicherung.

Data Fields beziehen sich auf die Schlüsselelemente, die aus strukturierten Dokumenten während der automatischen Datenextraktion extrahiert werden. Dieser Begriff wird meist im Kontext der Formularverarbeitung oder Tabellenextraktion verwendet.

Data Ingestion bezieht sich hauptsächlich auf den Prozess des Sammelns, Importierens und Ladens von Daten aus verschiedenen Quellen in ein Speichersystem oder eine Datenverarbeitungsplattform. Mögliche Methoden umfassen Echtzeitdatenaufnahme und Stapelverarbeitung.

Data Labeling (oder Data Annotation) beinhaltet den Prozess des Hinzufügens von Metadaten, Attributen oder anderen Anmerkungen zu Rohdaten, um deren Nutzen für Machine Learning zu erhöhen. Dieser Prozess umfasst Aufgaben wie Beschriftung, Objekterkennung, Erstellung von Bounding Boxes, Textkategorisierung, Sentimentanalyse oder jede Aufgabe, bei der zusätzliche Informationen hinzugefügt werden, um mehr Kontext oder Struktur zu bieten.

Data Validation ist der Prozess der Überprüfung extrahierter Daten auf mehrere Genauigkeitspunkte, inklusive ob die korrekten Daten extrahiert wurden und ob die extrahierten Daten selbst korrekt sind. Dies kann manuell (Human in the Loop) oder automatisch (gegen eine Datenbank oder Regeln) erfolgen.

Deep Learning ist Teil der breiteren Familie der Machine Learning-Methoden, basierend auf künstlichen neuronalen Netzen mit repräsentativem Lernen. Es ermöglicht Maschinen die Verarbeitung großer Informationsmengen und die Ausführung komplexerer Aufgaben.

Document Splitting erfolgt oft zusammen mit Document Classification. Dabei wird Machine Learning verwendet, um Dokumente in kleinere Batches oder Seiten zu teilen.

Entity Extraction (auch bekannt als Entity Recognition) ist eine Teil-Aufgabe der Informationsextraktion, die benannte Entitäten in unstrukturiertem Text lokalisieren und in vordefinierte Kategorien klassifizieren kann, wie beispielsweise der Name einer Person, die ID-Nummer, Adresse, Organisation usw.

Ground Truth sind Informationen, die als real oder wahr bekannt sind und durch direkte Beobachtung und Messung gewonnen wurden. Im Machine Learning repräsentiert es das ideale erwartete Ergebnis und wird durch das Labeling von Daten zur Schulung von KI-Modellen erzeugt.

Im Machine Learning bezieht sich HITL darauf, dass Menschen Computern bei der richtigen Entscheidungsfindung während des Modellbaus helfen. Im IDP-Kontext beschreibt HITL einen menschlichen Mitarbeiter, der Teil des Überprüfungsprozesses ist, um Ergebnisse, die nicht direkt durch die automatische Verarbeitung gingen, manuell zu korrigieren und zu validieren.

ICR ist eine Erweiterung der Optical Character Recognition (OCR), die oft bei Handschrifterkennung verwendet wird. Bei PLANET AI ist es eine Komponente des Recognition-Features.

Ein Key-Value Pair verknüpft zwei Daten-Elemente: der „Key“ ist ein eindeutiger Identifikator, der den Datensatz definiert, und der „Value“ ist der identifizierte Wert. Die Key-Value Pair Extraction erkennt und extrahiert Key-Value Pair-Strukturen aus Dokumenten, hauptsächlich im Kontext der Formular- oder Tabellenextraktion verwendet.

Plattformen mit Low-Code Fähigkeiten unterstützen visuelle Programmierabstraktionen, wie modellgetriebene, metadatenbasierte Programmierung und Erstellung von Benutzeroberflächen. Sie enthalten eine Datenbank und werden für schnelle Anwendungsentwicklung mit vereinfachtem Tooling für den Softwareentwicklungs-Lebenszyklus verwendet.

Ein (Machine Learning) Model wurde trainiert, spezifische Muster zu erkennen und zu interpretieren. Benutzer trainieren ein Modell mit einem Datensatz, indem sie einen Algorithmus für Schlussfolgerungen und Lernen aus den Daten bereitstellen.

Neural Networks, auch bekannt als Artificial Neural Networks (ANNs) oder simulierte neuronale Netzwerke (SNNs), bilden eine Untergruppe des Machine Learnings und sind das Herzstück von Deep Learning-Algorithmen.

No Code Entwicklungstools abstrahieren den Code vollständig, indem sie eine visuelle „was du siehst, ist was du bekommst“ Benutzeroberfläche für den Bau einer Anwendung bereitstellen, einschließlich des Datenmodells, der Geschäftslogik, der Abläufe und der Benutzeroberfläche (UI).

OCR ist ein Prozess, der gedruckten Text in maschinenlesbaren Text und digital zugängliche Dateien umwandelt. Sub-Typen umfassen Intelligent Character Recognition (ICR) und Intelligent Word Recognition (IWR), die beide oft für die Handschrifterkennung verwendet werden.

Redaction erkennt und entfernt sensible Informationen aus Dokumenten.

Signature Detection wird verwendet, um Signaturen in Dokumenten zu lokalisieren und sie als Bildausschnitte zu extrahieren. Es kann mit Signature Verification kombiniert werden.

Signature Verification verwendet Merkmale einer Unterschrift einer Person als biometrische Technik zur Authentifizierung der Identität. In IDP können Bildausschnitte von Signaturen zur Validierung gegen eine Datenbank verwendet werden.

Table Recognition erkennt Tabellen in Dokumenten und liefert Ergebnisse basierend auf der Tabellenstruktur. Sie kann als spezialisierte Form der Informationsauslese betrachtet werden und kann auch Teil eines OCR/Capturing-Prozesses sein.