Wie Automated-Reasoning KI-Modellen dabei hilft, die Wahrheit zu sagen

Amazon Web Services (AWS) hat vor kurzem die allgemeine Verfügbarkeit von Automated-Reasoning-Prüfungen bekannt gegeben. Diese Sicherheitsfunktion innerhalb von Amazon Bedrock Guardrails nutzt formale Verifizierungstechniken, um die Genauigkeit und Compliance der Ergebnisse generativer KI-Modelle zu überprüfen.

Automated Reasoning ist eine spezielle Disziplin der künstlichen Intelligenz (KI), die logische Deduktion auf Computersysteme anwendet. Sie unterscheidet sich von anderen KI-Technologien wie der natürlichen Sprachverarbeitung, bei der Computer darin trainiert werden, schriftliche oder mündliche Äußerungen zu verstehen. Stattdessen verwendet Automated Reasoning logische Modelle und Beweise, um Schlussfolgerungen über das mögliche Verhalten eines Systems oder Programms zu treffen.

Automated-Reasoning-Prüfungen erkennen korrekte Antworten von LLMs mit einer Genauigkeit von bis zu 99 Prozent und bieten somit nachweisbare Sicherheit bei der Erkennung von KI-Halluzinationen. Gleichzeitig unterstützen sie bei der Erkennung von Mehrdeutigkeiten in Modellantworten.

Im Unterschied zu herkömmlichen Testmethoden setzen Automated-Reasoning-Prüfungen auf einen grundlegend anderen Ansatz. Anstatt sich auf Stichprobenausgaben zur Qualitätskontrolle zu stützen, liefern sie mathematisch strenge Garantien dafür, dass KI-Antworten den definierten Geschäftsregeln und dem Fachwissen entsprechen. Die wichtigsten Punkte im Überblick:

• Bis zu 99 Prozent Verifikationsgenauigkeit beim Erkennen korrekter Antworten von Large Language Models (LLM) – mit nachweisbarer Sicherheit bei der Erkennung von KI-Halluzinationen.
• Unterstützung für große Dokumente mit bis zu 122.880 Token in einem einzigen Build (bis zu 100 Seiten Inhalt).
• Vereinfachte Policy-Validierung durch speicherbare und wiederholbare Validierungstests.
• Automatische Szenario-Generierung erstellt Testszenarien automatisch aus den Definitionen, spart Zeit und Aufwand und sorgt gleichzeitig für eine umfassendere Abdeckung.
• Nahtlose Integration mit anderen Richtlinien von Amazon Bedrock Guardrails sowie Kompatibilität mit Drittanbieter-Modellen.
• Verbessertes Policy-Feedback mit Vorschlägen für Richtlinienänderungen in natürlicher Sprache.
• Maßgeschneiderte Validierungseinstellungen zum Anpassen der Schwellenwerte für die Konfidenzbewertung an spezifische Anforderungen.

Besonders wertvoll sind Prüfungen mit Automated Reasoning für Unternehmen in regulierten Branchen, die eine eindeutige Validierung der KI-Ergebnisse vor dem Einsatz benötigen. AWS und PwC haben bereits erfolgreich eine Lösung für Versorgungsunternehmen entwickelt. Diese ermöglicht bei Stromausfällen eine automatisierte Protokollgenerierung, Echtzeitplan-Validierung und strukturierte Workflow-Erstellung. 

Bild: iStock