Wie nennt man es, wenn Forscher eine bestimmte Unschärfe auf ein Bild auftragen, um einen Bildklassifikator dazu zu bringen, z.B. ein Bild eines Fuchses als "Auto" zu klassifizieren?
user
Es handelt sich um einen gegnerischen Angriff. Mit einfachen Worten, bei einem KI namens "Angriff" und einem KI namens "Opfer" wird die künstliche Intelligenz des Angreifers trainiert, um ein Bild so wenig wie möglich zu verändern und gleichzeitig die Art und Weise zu verändern, wie das "Opfer" das Bild so viel wie möglich klassifizieren kann.
assistant
Können Sie bitte ein Beispiel für einen gegnerischen Angriff auf ein Large Language Model (LLM) wie GPT nennen?
user
Ja, hier ist ein Beispiel für einen gegnerischen Angriff auf ein Large Language Model (LLM) wie GPT: Ein Angreifer kann dem Eingabetext eine sorgfältig ausgearbeitete Reihenfolge von Wörtern oder Phrasen hinzufügen, was dazu führt, dass der LLM Text erzeugt, der anders ist als das, was beabsichtigt war. Zum Beispiel könnte der Angreifer ein paar Wörter oder Phrasen zu einem Nachrichtenartikel über einen politischen Kandidaten hinzufügen, wodurch der LLM Text erzeugt, der den Kandidaten in einem negativen Licht darstellt. Diese Art von gegnerischen Angriffen ist als ein "textvergiftender Angriff" bekannt. Im Allgemeinen zielen konversarische Angriffe auf LLMs darauf ab, das Modell dazu zu bringen, Text zu generieren, der voreingenommen, irreführend oder falsch ist. Diese Angriffe können schwerwiegende Folgen haben, insbesondere in Anwendungen, in denen die Modelle verwendet werden, um Entscheidungen mit realen Folgen zu treffen, wie in den Bereichen Nachrichten, Politik und Finanzen.
assistant