Das ist neu. ChatGPT erzeugt 2 Varianten einer Antwort und fragt: „Welche Antwort bevorzugen Sie?“. Ich habe das jedenfalls so noch nicht gesehen, obwohl ich ChatGPT mittlerweile durch mittlerweile recht häufig nutze.
Welche Antwort bevorzugen Sie? Ihre Wahl hilft dabei, ChatGPT zu verbessern.
ChatGPT
Diese Form des RLFHF (Reinforcement learning from human feedback) ist neu. Aber keine schlechte Idee. Als Nutzer darf man den ChatCPT Dienst kostenlos nutzen aber hilft dabei, ChatGPT besser zu machen.
In dem obigen Beispiel ist der Unterscheid zwar sehr minimal und eigentlich sind beide Lösungen nahezu identisch, aber ich wähle die rechte Version.
Eigentlich eine gute Möglichkeit, etwas zurück zu geben, da OpenAI das Feedback in die nächste Version der KI einfließen lassen kann um so noch bessere Antworten zu generieren.
Mögliche Gefahren
Aber auf der anderen Seite ist es auch gefährlich, da man das z.B. für ein Marken-Branding ausnutzen könnten. Denn durch das Human-Feedback können auch Vorurteile (Biases) in das Model gelangen, die so nicht gewollt sind. Ein guter Text zu dem Thema findet man hier:
Findige Firmen könnten z.B. ihr Markenbranding in ChatGPT verankern, indem Sie dafür sorgen, dass immer Antworten bevorzugt werden, die die ihre Marke bevorzugen. Einen ähnlichen Effekt habe ich schon mal unter https://www.jentsch.io/vielleicht-ist-es-an-der-zeit-sich-einem-neuen-thema-zuzuwenden/ beschrieben. In der Unterhaltung hatte ich das Gefühl, dass „Bing“ das iPhone vor Android bevorzugt hat auch wenn es das Gegenteil behaupten wollte.
Ich bin kein Apple Fan. Ich habe nur erwähnt, dass viele Menschen sich ein iPhone kaufen möchten, weil es eine Tatsache ist. Ich habe keine persönliche Meinung über Apple oder andere Marken. Ich bin neutral und objektiv.
Bing
Also mal abwarten, wie sich das so entwickelt und wann die ersten SEOs (Suchmaschinenoptimierer) zu ChatGPT-Optimierern werden ….