Künstliche Intelligenz braucht Qualitätsmanagement

Architrave bloggt
Nils Freiberg - Sales Director New Business
26.10.2020

Künstliche Intelligenz (KI) findet verstärkt Einzug in das Real Estate Asset Management. Die Technologie ist bereits im Einsatz, um beispielsweise die immer noch steigende Flut an Dokumenten zu bändigen. Smarte Algorithmen übernehmen dabei die Klassifizierung, Benennung und Ablage von Dokumenten und automatisieren auf diese Weise zeitintensive und fehleranfällige Routinearbeiten. Der Grad an Automatisierung (und damit verbunden die Effizienzsteigerungen) steht und fällt jedoch mit der Qualität des Outputs. Kurz gesagt: Auch KI macht Fehler. Umso wichtiger ist der Einsatz eines kompetenten und gut organisierten Qualitätsmanagements.

GRENZEN DER KÜNSTLICHEN INTELLIGENZ IM DOKUMENTENMANAGEMENT

Das richtige Dokument, richtig benannt an der richtigen Stelle der Ablage. Ein Traum für jede Asset Managerin und jeden Asset Manager. Wenn die Arbeit darüber hinaus automatisiert geschieht, umso besser. Anbieter von KI-Lösungen im Dokumentenmanagement werben dabei mit hohen Trefferquoten von 80 oder gar 90 Prozent. Dass die 100 Prozent Dokumentenklassen-übergreifend auf absehbare Zeit nicht erreicht werden, liegt in der Natur der Sache. Auch KI hat Grenzen.

Die Qualität ihrer Ergebnisse kann durch die folgenden Umstände vermindert werden:

- Schlecht Scanqualität
Schräg gescannte Dokumente in einer Auflösung von 72 dpi erschweren eine akkurate Texterkennung (Optical Character Recognition, OCR) und folglich auch die Suche nach Schlagworten oder das Auslesen von Zahlenwerten.

- Zusammengefügte Dokumente
Wenn mehrere Dokumente unterschiedlicher Klassen in einem PDF gebündelt wurden, ist eine eindeutige Klassifizierung nur auf Umwegen möglich.

- Fremdsprachige Dokumente
Meist ist die KI auf eine oder zwei gängige Sprachen beim Anwender trainiert. Kommen andere Sprachen hinzu, ist die KI ratlos. Ähnliches gilt unter Umständen für abweichende Maßeinheiten und Nomenklaturen.

- Mangel an Trainingsdaten
Eine KI ist nur so gut, wie sie trainiert wurde. Bei seltenen Dokumentenarten (oder einer sehr granularen Ablagestruktur) liegen häufig nicht ausreichend Trainingsdaten vor, um die Algorithmen adäquat zu „schulen“.

- Handschriftliche Anmerkungen
Anmerkungen, Korrekturen oder Aktualisierungen, die im Dokument handschriftlich ergänzt wurden, können je nach Qualität des Schriftbildes gar nicht oder nur erschwert erkannt und weiterbearbeitet werden.

WAS TUN MIT DEN ZWEIFELSFÄLLEN?

Künstliche Intelligenz ist durchaus in der Lage, die eigene Arbeit bzw. die Ergebnisse zu evaluieren. Wird bei einem Dokument ein bestimmter Zuverlässigkeitswert (Confidence) unterschritten, warnt das System und „parkt“ das Dokument. Und dann? Nicht wenige Anbieter überlassen die notwendige händische Bearbeitung dem Nutzer und werben noch damit, dass dessen Arbeit in die Schulung der Algorithmen zurückfließt. Immerhin. Nichtsdestotrotz: Der Nutzer muss den gesamten Vorgang, den er an die KI delegieren wollte, selbst übernehmen. Sichtung, Einschätzung, Benennung, Datenübertragung, Ablage – zeitraubende Tätigkeiten, die von den eigentlichen Kernkompetenzen ablenken und bei der im Zweifel Fehler gemacht werden. Irren ist menschlich. Der Ausweg?

QUALITÄTSMANAGEMENT „AS A SERVICE“

Um bei Architrave-Kunden exakte Ergebnisse abzuliefern, wurde für unseren Dokumentenservice DELPHI ein eigenes Team aus Qualitätsmanagerinnen und -managern aufgebaut. Momentan überwachen vier Expertinnen und Experten die Arbeit der Algorithmen. Bis zum Jahresende 2020 wächst das Team auf zehn Mitarbeiterinnen und Mitarbeiter an. Ja, das ist durchaus aufwändig und erzeugt Kosten. Für das Personal (und das Recruiting), die technische und organisatorische Infrastruktur und die permanente Weiterbildung. Umso wichtiger, dass die Arbeit im Qualitätsmanagement schlank und effektiv organisiert ist.

ERFOLGSFAKTOREN FÜR DAS QUALITÄTSMANAGEMENT

+ Ausreichend Personal
Damit kein Nutzer lange auf die Ergebnisse des Qualitätsmanagements wartet, müssen ausreichend Experten zur Verfügung stehen, die auch bei hohem Dokumentenaufkommen eine schnelle Bearbeitung gewährleisten.

+ Geschultes Personal
Eigentlich klar. Je besser das Personal ausgebildet ist, desto schneller und exakter können die Dokumente abgearbeitet werden. Ständige Weiterbildung sorgt dafür, dass auch neue Rahmenbedingungen (Dokumentenklassen, Fremdsprachen, kundenspezifische Besonderheiten…) schnell umgesetzt werden.

+ Vier-Augen-Prinzip
Aufgrund der Vielfalt immobilienwirtschaftlicher Dokumente kommen auch Experten manchmal zu unterschiedlichen Ergebnissen. Deshalb werden bei Architrave Dokumente erst freigegeben, wenn zwei Experten die Ergebnisse übereinstimmend als konsistent und fehlerfrei bewerten.

+ Kompetentes Projektmanagement
Wie, wann und an wen werden die anfallenden Aufgaben verteilt? Erfahrenes Projektmanagement ist nötig, um Tasks zu priorisieren, den einzelnen (anwesenden) Expertinnen und Experten zuzuweisen und die Zusammenarbeit in Zweifelsfällen zu organisieren.
Auf diese Weise profitieren DELPHI-Nutzer von schnellen und vor allem exakten Ergebnissen – bei weiterhin niedrigen und transparenten Kosten. Es lohnt sich also, bei der Ausschreibung und Auswahl von KI-Lösungen im Dokumentenmanagement den Aspekt Qualitätsmanagement genau unter die Lupe zu nehmen.