KI-Digitalisierung-E-Government

Prompt-Injektion (Prompt Injection) bezeichnet eine Angriffstechnik gegen KI‑Systeme, bei der manipulierte Eingaben dazu dienen, die vorgesehenen Anweisungen (z. B. System‑ oder Entwicklerprompts) zu übersteuern. Dadurch kann das Modell zu unerwünschten Ausgaben oder Handlungen veranlasst werden, etwa zum Umgehen von Sicherheitsregeln oder zum Preisgeben vertraulicher Informationen. Man unterscheidet direkte Prompt-Injektion (die schädliche Anweisung steht im Nutzerinput) und indirekte Prompt-Injektion, bei der das System fremde Inhalte wie Webseiten, Dokumente oder E-Mails verarbeitet, die versteckte Instruktionen enthalten. Im Verwaltungskontext ist das relevant, wenn KI z. B. Bürgeranfragen zusammenfasst oder Aktennotizen aus externen Quellen verarbeitet und dabei durch eingeschleuste Anweisungen zu falschen oder unzulässigen Ergebnissen gelenkt werden könnte.