Traditionelles GAN:s hat Probleme, wenn die Daten im diskreten Format sind, da es keine Derivata zwischen wahren und falschen Werten gibt. Wie kann also GAN:s Text erzeugen können? Einige Quellen behaupten, dass der Text in einem Transformatorenmodell vorverarbeitet werden sollte, aber sind die Werte noch nicht diskret?
user
Um Text mithilfe von GANs zu erzeugen, ist es notwendig, die Herausforderung der diskreten Natur von Textdaten zu bewältigen. Eine Lösung ist es, den Text durch Kodierung in einen kontinuierlichen Raum mit einem transformatorbasierten Sprachmodell vorzuverarbeiten. Diese Transformation ermöglicht es der GAN, den Text als kontinuierliches Signal zu behandeln, anstatt als eine Reihe von diskreten Tokens, und Standard-GAN-Architekturen zu verwenden. Nach der Generierung wird die Ausgabe aus dem Generatornetzwerk wieder in Textform dekodiert und erzeugte Textsequenzen.
assistant
Wie kann man Voreingenommenheiten in der Ausbildung und Daten eines ML-Modells ansprechen?
user
Unten sind einige der Techniken und Prozesse, die wir implementieren können, um Bias in ML zu adressieren. Anonymisierung und direkte Kalibrierung: Entfernen von Namen und Geschlecht Pronomen aus Dokumenten, wie sie verarbeitet werden, ist ein guter erster Schritt, wie dies ohne klare Markierungen geschützter Klassen. Obwohl dies ein wichtiger Anfang ist, ist es keine vollständige Lösung. Diese Signale zeigen sich immer noch an vielen Orten, die unmöglich sind, völlig zu entwirren. Forschung hat gezeigt, dass die Bias in Zweitordnung Verbindungen bleibtzwischen den Wörtern: Zum Beispiel, -female- und -male- assoziierte Wörter immer noch cluster und kann immer noch unerwünschte Signale für die Algorithmen als Ergebnis bilden. Dennoch, Randomisierung Namen, wie wir Daten in ein Modell einspeisen verhindert, dass der Algorithmus von der Verwendung von Vorkonzeptionen über den Namen in seiner Entscheidungsfindung. Dies ist auch eine gute Praxis in der ersten Wiederaufnahme Screening auch wenn von Menschen getan. Lineare Modelle: Deep-Modelle und Entscheidungsbäume können leichter verbergen ihre Voreingenommenheiten als lineare Modelle, die bieten direkteFür einige Aufgaben kann es dann angebracht sein, die Genauigkeit modernerer Methoden für die einfachen Erklärungen traditioneller Ansätze zu traden. In anderen Fällen können wir Deep Learning als einen "Lehrer"-Algorithmus für lineare Klassifikatoren verwenden: eine kleine Menge an kommentierten Daten wird verwendet, um ein tiefes Netzwerk zu trainieren, das dann Vorhersagen für viele weitere Dokumente erzeugt. Diese bilden dann den linearen Klassifikator. Dies kann tiefe Lerngenauigkeit nähern, aber ermöglicht eineLearning: Wenn ein Modell nicht zuverlässig Geschlecht oder Rasse bestimmen kann, ist es schwierig für es, in einer voreingenommenen Weise durchzuführen. Adversarial Learning teilt die Gewichte in einem tiefen Netzwerk zwischen zwei Klassifikatoren: Einer löst das Problem des Interesses, und der andere bestimmt einige Tatsache wie das Geschlecht des Autors. Der Hauptklassifikator wird wie üblich trainiert, aber der gegnerische Klassifikator, zum Beispiel einGender-Klassifikator, bestraft Gewichte, wenn das Modell eine korrekte Vorhersage macht, bis dieser Klassifikator konsequent scheitert. Wenn die interne Darstellung des Dokuments enthalten Gender-Signal, we .d erwarten wir, dass der zweite Klassifikator schließlich entdecken. Da es kann, können wir davon ausgehen, dass der erste Klassifikator nicht nutzt diese Informationen. Data Cleaning: In vielerlei Hinsicht ist die beste Art und Weise, um Bias in unseren Modellen zu reduzieren ist es, Bias in unseren Unternehmen zu reduzieren.Die Ausbildung von Menschen zu weniger voreingenommenen Entscheidungen und Beobachtungen wird dazu beitragen, Daten zu erstellen, die das Gleiche tun. Mitarbeiterschulungen in Verbindung mit der Überprüfung historischer Daten sind eine gute Möglichkeit, Modelle zu verbessern und indirekt auch andere Arbeitsplatzprobleme zu adressieren. Mitarbeiter werden über allgemeine Voreingenommenheiten und Quellen von ihnen unterrichtet, und überprüfen Trainingsdaten auf der Suche nach Beispielen für voreingenommene Entscheidungen oder Sprache. Die Trainingsbeispiele könnenBeschnitten oder korrigiert, während die Mitarbeiter hoffentlich in ihrer eigenen Arbeit in der Zukunft vorsichtiger werden. Audits und KPI: Maschinelles Lernen ist kompliziert, und diese Modelle existieren in größeren menschlichen Prozessen, die ihre eigenen Komplexitäten und Herausforderungen haben. Jedes Stück in einem Geschäftsprozess kann akzeptabel aussehen, aber das Aggregat zeigt immer noch Voreingenommenheit. Ein Audit ist eine gelegentliche tiefere Untersuchung entweder eines Aspekts eines Unternehmens oder wie ein Beispiel bewegt sich durch den gesamten Prozess, aktiv auf der Suche nachFragen. Key Performance Indikatoren, oder KPIs, sind Werte, die überwacht werden können, um zu beobachten, ob die Dinge in die richtige Richtung trending, wie der Prozentsatz der Frauen promote jedes Jahr. Geprüfte Beispiele können atypisch sein, und KPIs schwanken natürlich, aber die Suche nach möglichen Fragen ist der erste Schritt, um sie zu lösen, aber das kann am Ende erreicht werden. Human Exploration: Dies ist einer der besten Wege, um Probleme in realen Systemen zu finden. Studien, die Arbeitgeber identische Wiederaufnahmen gesendetmit stereotypischen weißen und schwarzen Namen als ihre einzige Variable haben die Einstellung Voreingenommenheiten in Unternehmen Amerika gezeigt. Damit die Menschen mit Inputs spielen oder Suche durch aggregierte Statistiken ist ein wertvoller Weg, um unbekannte systemische Probleme zu entdecken. Für besonders wichtige Aufgaben, können Sie sogar implementieren, bias bounties, . bietet Bargeld Belohnungen für Menschen, die klare Mängel in einer Implementierung finden. Abhängig von Datenempfindlichkeit, könnte dies Zugang zu den Ergebnissen von Modellen in der Praxis sein, soForscher können statistisch zeigen, wie die Modelle in der Vergangenheit voreingenommen gehandelt, oder eine Gelegenheit, gefälschte Daten in einem Versuch zu erstellen, um zu zeigen, dass einige Muster der Verwendung verursacht unerwünschtes Verhalten durch das Modell.
assistant
Können Sie bitte Tl;dr; das bitte?
user