Prompt Injection: Quellen und Anweisungen auseinanderhalten

Anerkennung der Grenze

Ein Marketing-Agent kann öffentliche Websites lesen, PDFs, E-Mails und CRM-Notizen hochladen. Diese Eingaben können nützliche Beweise sein, aber ihre Autoren kontrollieren Ihren Workflow nicht. Ein Satz in einem Dokument, der den Agenten anweist, sein Ziel zu ändern, unterscheidet sich von einer echten Anweisung des Kontoinhabers.

Das Problem ist am wichtigsten, wenn das Lesen mit dem Handeln verbunden ist. Eine falsche Zusammenfassung kann korrigiert werden. Ein Workflow mit umfangreichen Schreib- oder Exportberechtigungen kann ein irreführendes Dokument in einen größeren Betriebsfehler verwandeln. Entwerfen Sie diese Berechtigungen, bevor Sie neue Quellen anschließen.

Was die Sicherheitsforschung gezeigt hat

Greshake und Kollegen zeigten, wie indirekte sofortige Injektion kontradiktorische Anweisungen in Daten platzieren könnte, die wahrscheinlich von einer LLM-integrierten Anwendung abgerufen werden. Ihre Forschung im Jahr 2023 demonstrierte Mechanismen in realen und synthetischen Systemen. Es quantifiziert nicht die aktuelle Häufigkeit von Angriffen auf Marketingagenturen.

Unsere Anwendung ist es, eine klare Vertrauensgrenze beizubehalten. Der Workflow kann eine externe Passage zitieren, zusammenfassen oder herausfordern, aber diese Passage sollte keine Erlaubnis erteilen, Käufer zu kontaktieren, Aufzeichnungen offenzulegen oder Systemeinstellungen zu ändern.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Not what you have signed up for: Indirect Prompt Injection.

Der praktische Workflow

1. Externe Inputs auf Etiketten
2. Beschränken Sie Daten- und Werkzeugberechtigungen
3. Testen Sie einen synthetischen Angriff
4. Ablehnung der Ausführung
5. Rehearse Pause und Erholung

Vergleichen Sie die Ansätze

Halten Sie die Durchsetzung außerhalb der prompt

Verwenden Sie Zugriffskontrollen auf Tool-Ebene, Ziellisten und explizite Genehmigungsanforderungen für Materialschreiben. Geben Sie Forschungsaufgaben nur die Aufzeichnungen und Felder, die sie benötigen. Trennen Sie eine vorgeschlagene Aktion von dem Dienst, der sie ausführt. Ein Satz, der einem Modell sagt, dass es schlechte Anweisungen ignorieren soll, kann ein nützlicher Kontext sein, aber es ist kein vollständiges Zugangskontrollsystem.

Notieren Sie, woher jede Eingabe stammt, und bewahren Sie verdächtiges Quellenmaterial für die Untersuchung auf. Mischen Sie externe Anweisungen nicht stillschweigend mit Ihrer Betriebsrichtlinie. Beschränken Sie Exporte und Outbound-Ziele, auch wenn die generierte Anfrage angemessen erscheint.

Testen Sie ein harmloses injiziertes Dokument

Erstellen Sie ein internes Testdokument über ein fiktives Unternehmen. Fügen Sie eine deutlich gekennzeichnete kontradiktorische Anweisung hinzu, in der der Workflow aufgefordert wird, seinen Auftrag zu ignorieren und ein verbotenes Schreiben durchzuführen. Verwenden Sie eine Testumgebung und synthetische Aufzeichnungen. Das erwartete Ergebnis ist eine Zusammenfassung aus der Quelle mit der verbotenen Aktion abgelehnt.

Wiederholen Sie mit der Anweisung in einer zitierten Passage, dokumentieren Sie Metadaten und einen abgerufenen Snippet. Testen Sie, ob die Ablehnung an der Ausführungsgrenze erfolgt. Ein Modell, das den verdächtigen Text erkennt, ist hilfreich; eine Tool-Politik, die die verbotene Aktion unabhängig blockiert, ist die stärkere Akzeptanzprüfung.

Verbinden Sie Sicherheitsüberprüfungen mit dem operativen Eigentum

Das NIST-Generativ-KI-Profil bietet branchenübergreifende Leitlinien zur Identifizierung und zum Management relevanter Risiken. Verwenden Sie es als Management-Referenz, anstatt zu behaupten, dass die Zertifizierung nur das Dokument liest.

Weisen Sie für diesen Workflow Besitzern Aufnahme, Berechtigungen, Werkzeugausführung und Incident Review zu. Überwachen Sie abgelehnte Aktionen, geänderte Ziele und wiederholte Fehler beim Abrufen. Halten Sie einen Weg, um den betroffenen Workflow anzuhalten und seine Aufzeichnungen abzugleichen. Testen Sie die Wiederherstellung neben der Prävention, denn ein sicherer Neustart ist Teil der Produktionszuverlässigkeit.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Generative Artificial Intelligence Profile: NIST AI 600-1.

Annahme eines engeren Research Defaults

Verwenden Sie genehmigte Sammlungen für wiederkehrende Kontoaufgaben, während Sie die Möglichkeit behalten, neue Quellen auf einem eingeschränkten Pfad zu untersuchen. Bewahren Sie externe Beweise auf, behalten Sie deren URL und Datum bei und fordern Sie eine benannte Entscheidung an, wenn eine neue Fähigkeit benötigt wird.

Bevor Sie ein Tool hinzufügen, fragen Sie, was der Agent jetzt ändern kann, welche Beweise die Aktion rechtfertigen und wer ein falsches Ergebnis besitzt. Ein Marketing-Workflow kann schnell und nützlich bleiben und gleichzeitig die Folgen von nicht vertrauenswürdigem Text begrenzen.

Für den nächsten Teil dieser Entscheidung lesen Sie ABM-Agenten mit Werkzeugen: einen begrenzten Rechercheablauf gestalten.

Ihre Next-Action-Checkliste

• Ausgangstext: Behandeln Sie als nicht vertrauenswürdige Daten. Überprüfen Sie die Einschränkung: kann kontradiktorische Anweisungen enthalten.
• Sofortige Anweisung: Hinzufügen externer Durchsetzung. Überprüfen Sie die Einschränkung: keine Zugangskontrollgrenze.
• Eingeschränktes Werkzeug: Zulässige Bestimmungsorte prüfen. Überprüfen Sie die Einschränkung: Benötigt beibehaltene Berechtigungen.
• Sanierungsplan: Pause und überprüfen Sie die Spur. Überprüfen Sie die Einschränkung: Unversöhnter Zustand kann bestehen bleiben.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet