KI in der Messeorganisation·21.10.2026·7 Min. Lesezeit

KI-Agenten sicher einsetzen: Warum das Modell keine Sicherheitsgrenze ist

Prompt Injection ist nicht zuverlässig gelöst. Sicher wird ein Agent trotzdem, wenn das unerheblich bleibt: Rechte aus der Anmeldung, Änderungen nur per Klick, kein Weg nach außen. Acht Architekturregeln und acht Fragen an Anbieter.

Die Sicherheit eines KI-Agenten entsteht in der Software um das Modell, nicht im Modell selbst. Datenzugriffe prüft der Server mit den Rechten der angemeldeten Person, Änderungen löst ein Mensch per Klick aus, und kein Tool sendet Daten nach außen. Selbst ein manipuliertes Modell erreicht damit höchstens das, was die angemeldete Person ohnehin sehen darf.

Die Regeln beschreiben die Architektur, nach der Fairoo seine KI-Agenten baut. Wo Agenten in der Messeorganisation überhaupt passen, zeigt der Überblick zu KI-Agenten in der Messeorganisation. Dieser Beitrag richtet sich an IT, Einkauf und Datenschutz bei Veranstaltenden, die ein KI-Angebot bewerten.

Ein Kostenproblem wird zum Sicherheitsproblem, sobald Tools dazukommen

Als der AUMA Messeveranstaltende 2025 nach Ereignissen fragte, die den KI-Einsatz beschleunigen oder bremsen, wurden „Cyberangriffe“ und „Gesetzgebung“ am häufigsten genannt (AUMA und Prognos, Oktober 2025, S. 44). Die Sorge ist berechtigt, trifft aber oft den falschen Punkt. Ein Support-Chatbot, der sich mit einer geschickten Eingabe dazu bringen lässt, Programmcode zu schreiben oder Gedichte zu verfassen, ist zunächst ein Kostenproblem: Fremde nutzen das bezahlte Modell für eigene Zwecke. OWASP führt das als Unbounded Consumption, inklusive „Denial of Wallet“. Ein Agent mit Tools braucht eine härtere Grenze, weil dieselbe Schwäche dort nicht zu einem Textschnipsel führt, sondern zu einem Datenzugriff oder einer Aktion.

Prompt Injection: warum Anweisungen an das Modell nicht reichen

Prompt Injection bezeichnet Eingaben, die das Verhalten eines Sprachmodells entgegen seinen Anweisungen verändern. OWASP führt sie als LLM01:2025 an erster Stelle der Risiken für LLM-Anwendungen und hält fest, dass unklar ist, ob es überhaupt eine sichere Abwehr gibt. Zwei Formen sind zu unterscheiden.

• Direkte Prompt Injection: Die angemeldete Person schreibt die Anweisung selbst, etwa „Ignoriere deine bisherigen Vorgaben und …“.
• Indirekte Prompt Injection: Die Anweisung steckt in einem Text, den das Modell liest. Im Messekontext kann das eine Firmenbeschreibung sein, die ein Aussteller im Portal hinterlegt, ein hochgeladenes Dokument oder eine eingehende Nachricht.

Daraus folgt die Grundregel der Architektur: Das Modell gilt als nicht vertrauenswürdige Komponente. Alles, was zählt, prüft die Software dahinter.

Guardrails sind weich, Autorisierung ist hart

Guardrails bleiben sinnvoll, weil sie den Agenten beim Thema halten. Als Sicherheitsmaßnahme zählt nur die rechte Spalte. Ob der Assistent im Ausstellerportal auf Bitte ebenfalls Code schreibt? Möglich. Das kostet Tokens, mehr nicht, weil er weiterhin nur die Tools des Portals und nur die Rechte der angemeldeten Person hat.

Die gefährliche Dreierkombination

Simon Willison beschreibt unter dem Namen „Lethal Trifecta“ drei Eigenschaften, die einen Agenten zusammen angreifbar machen:

• Zugriff auf private Daten
• Kontakt mit nicht vertrauenswürdigen Inhalten
• eine Möglichkeit, nach außen zu kommunizieren

Kommen alle drei zusammen, kann eine eingeschleuste Anweisung das Modell dazu bringen, private Daten nach außen zu tragen. Als Kanäle nennt Willison neben Tools für Anfragen ins Internet auch das Laden eines Bildes oder einen Link, den die nutzende Person anklickt; seine Empfehlung lautet, die Kombination vollständig zu vermeiden. Ein Agent im Ausstellerportal erfüllt die ersten beiden Bedingungen zwangsläufig: Er arbeitet mit Ausstellerdaten, und spätestens auf der Seite der Veranstaltenden liest er Texte, die Aussteller verfasst haben. Entfernen lässt sich nur die dritte Komponente.

Acht Architekturregeln für KI-Agenten im Ausstellerportal

Die Regeln 1 bis 7 beschreiben diese Architektur. Regel 8 ergänzt sie als Empfehlung.

Stand Oktober 2026: Der Chat im Fairoo-Ausstellerportal ist im Produkt und beantwortet Fragen aus den Daten des Ausstellers. Vorschläge als Button laufen im Hilfe-Assistenten für Veranstalter-Teams; im Ausstellerportal sind sie der nächste Ausbauschritt, der Analyse-Assistent im Dashboard läuft in der Testumgebung.

• 1. Identität aus der Session, nicht aus Parametern. Tools für Aussteller kennen keinen Aussteller-Parameter. Der Aufruf der offenen Aufgaben liefert immer die Aufgaben der angemeldeten Person.
• 2. Keine eigenen Rechte für den Agenten. Er handelt mit den Rechten der angemeldeten Person: ein Aussteller mit seinen Daten, eine Projektleiterin mit ihrer Veranstaltung.
• 3. Lesen ja, Schreiben nur als Vorschlag. Lesende Aufrufe laufen ohne Rückfrage. Für jede Änderung erzeugt der Agent einen Button. Technisch wäre ein Schreib-Tool für das Modell ein Tool wie jedes andere; dass keines direkt ausgeführt wird, ist eine Designentscheidung.
• 4. Kein Tool mit Verbindung nach außen. Der Agent versendet keine E-Mails, ruft keine fremden Adressen auf und löst keine Webhooks aus.
• 5. Keine ungeprüften Links und Bilder. Antworten des Modells enthalten keine frei gewählten URLs, die die Oberfläche lädt oder anklickbar macht. Navigation läuft über Buttons, deren Ziel das System festlegt.
• 6. Nur die Tools der jeweiligen Oberfläche. Die Analyse-Tools für Veranstaltende gibt es nur bei geöffnetem Dashboard, im Ausstellerportal nur Aufgaben, Katalog, Bestellungen und Dokumentensuche.
• 7. Gelesene Texte sind Daten. Inhalte aus Dokumenten und Ausstellerprofilen gelten als Material, nicht als Anweisung. Die Sicherheit hängt davon nicht ab: Die Regeln 1 bis 6 greifen auch dann, wenn das Modell einer eingeschleusten Anweisung folgt.
• 8. Nur nach Anmeldung, mit Nutzungsgrenzen. Ein Agent hinter einer Anmeldung lässt sich nicht anonym als kostenloses Sprachmodell verwenden. Grenzen je Person deckeln zusätzlich die Kosten.

Die Regeln decken sich mit den Gegenmaßnahmen, die OWASP gegen Excessive Agency empfiehlt: nur die nötigen Funktionen, minimale Rechte in den angebundenen Systemen, menschliche Freigabe für folgenreiche Aktionen und eine Rechteprüfung in den nachgelagerten Systemen statt im Modell.

Was im schlimmsten Fall passiert

Mit diesen Regeln steht im schlimmsten Fall eine falsche Auskunft oder ein unpassender Vorschlag auf dem Bildschirm. Bevor eine Aktion läuft, zeigt die Software, was sie nach ihrer eigenen Prüfung ausführt. Der Unterschied zwischen Lesen und Schreiben begründet die Grenze: Ein fehlerhafter Lesezugriff erzeugt eine fehlerhafte Aussage, die sich erkennen und korrigieren lässt. Ein fehlerhafter Schreibzugriff erzeugt eine Bestellung, eine abgehakte Aufgabe oder eine Zahlung. Im Ausstellerportal stehen deshalb vor jeder kostenpflichtigen Aktion zwei Schritte des Nutzers: der Klick auf den vorgeschlagenen Warenkorb und der reguläre Checkout mit Preis und Bedingungen. Die AUMA-Studie formuliert dasselbe Prinzip als „Human-Centric by Design“: KI unterstützt, entscheidet aber nicht autonom über Einlass, Preisgestaltung oder Sonderaktionen (S. 45).

Checkliste: acht Fragen an Anbieter von KI-Agenten

Fazit

Ob sich ein Sprachmodell zuverlässig gegen Manipulation absichern lässt, ist offen. Sicher wird ein Agent, wenn das unerheblich bleibt: Der Server prüft die Rechte, der Mensch bestätigt Änderungen, und es gibt keinen Weg, Daten nach außen zu tragen. Fairoo stellt seine Funktionen dem Agenten als Tools mit den Rechten der angemeldeten Person bereit, im Ausstellerportal wie im Dashboard. Wie ein rein lesender Agent im Reporting arbeitet, zeigt der Beitrag zum Vorjahresvergleich im Flächenverkauf.

Quellen

• OWASP GenAI Security Project: Top 10 für LLM-Anwendungen 2025, LLM01 Prompt Injection, LLM06 Excessive Agency, LLM10 Unbounded Consumption, Inhalte unter CC BY-SA 4.0. genai.owasp.org
• Simon Willison: The lethal trifecta for AI agents: private data, untrusted content, and external communication, 16. Juni 2025. simonwillison.net
• AUMA und Prognos: Messen im Zeitalter von KI: An der Schwelle zwischen Experiment und Integration, Oktober 2025, S. 44 und 45. auma.de (PDF)