| Entwickelt von | OpenAI |
|---|---|
| Erste Version | 28. Mai 2020 |
| Letzte Version | 175B |
| Anzahlung | github.com/openai/gpt-3 |
| Art |
Sprachmodell Autoregressives Modell Transformationsmodell Generatives Modell |
| Lizenz | Inhaberlizenz |
| Webseite | arxiv.org/abs/2005.14165 |
Chronologie der Versionen
GPT-3 ist ein Sprachmodell, das von der am 28. Mai 2020 angekündigten OpenAI- Firma entwickelt wurde und im Juli 2020 über die OpenAI- API für Benutzer zugänglich ist .
Zum Zeitpunkt seiner Ankündigung ist GPT-3 mit 175 Milliarden Parametern das größte jemals trainierte Sprachmodell. GPT-2 , das 2019 veröffentlicht wurde, hatte nur 1,5 Milliarden Parameter.
OpenAI eröffnet im Juli 2020 eine Beta-Version und möchte sie danach zu einem kommerziellen Produkt machen.
In einer Vorveröffentlichung von arXiv am 28. Mai 2020 durch eine Gruppe von 31 OpenAI- Ingenieuren und -Forschern wurde die Entwicklung von GPT-3 vorgestellt, einem „Advanced Language Model“ der dritten Generation. Das Team erhöhte die Kapazität von GPT-3 im Vergleich zu seinem Vorgänger GPT-2 um mehr als zwei Größenordnungen. Die höhere Anzahl von Parametern von GPT-3 erhöht die Präzision im Vergleich zu früheren Versionen mit geringerer Kapazität. Die Kapazität von GPT-3 ist zehnmal so hoch wie die von Microsoft Turing NLG.
60% des gewichteten Datensatzes vor dem Training für das GPT-3-Modell stammen aus einer gefilterten Version des Common Crawl-Korpus, die aus 410 Milliarden sublexikalischen Texteinheiten besteht, die vom BPE-Algorithmus codiert werden. Die anderen Quellen sind 19 Milliarden Einheiten des WebText2-Korpus, die 22% der gewichteten Gesamtzahl ausmachen, 12 Milliarden Einheiten des Books1-Korpus, die 8% repräsentieren, 55 Milliarden des Books2-Korpus, die 8% repräsentieren, und 3 Milliarden Wikipedia-Einheiten, die 3% repräsentieren. GPT-3 wurde mit Hunderten von Milliarden Wörtern trainiert und kann unter anderem in CSS, JSX und Python programmieren.
Da die Trainingsdaten von GPT-3 global sind, ist kein zusätzliches Training für separate Sprachaufgaben erforderlich. Am 11. Juni 2020 gab OpenAI bekannt, dass Benutzer Zugriff auf seine GPT-3-API - eine Reihe von Tools für maschinelles Lernen - anfordern können, um OpenAI dabei zu helfen, "die Stärken und Grenzen" dieser neuen Technologie zu erkunden. In der Einladung wurde beschrieben, wie diese API über eine vielseitige "Texteingabe / -ausgabe" -Schnittstelle verfügt, die anstelle des üblichen Einzelanwendungsfalls fast "jede Aufgabe auf Englisch" ausführen kann. Laut einem Benutzer, der Zugriff auf eine private Vorschau-Version der OpenAI GPT-3-API hatte, war GPT-3 "seltsam gut" darin, "überraschend konsistenten Text" mit nur wenigen einfachen Anweisungen zu schreiben.
Da GPT-3 "Nachrichtenartikel generieren kann, die von menschlichen Rezensenten nur schwer von von Menschen verfassten Artikeln unterschieden werden können", hat GPT-3 das "Potenzial, sowohl nützliche als auch schädliche Anwendungen von Sprachmodellen voranzutreiben" Die Forscher beschrieben ausführlich die "möglichen nachteiligen Auswirkungen von GPT-3", darunter " Desinformation , Spam , Phishing , Missbrauch von Rechts- und Regierungsprozessen, Entwurf betrügerischer akademischer Verfahren unter dem Deckmantel des Social Engineering ". Die Autoren machen auf diese Gefahren aufmerksam Forderung nach Risikominderungsforschung.
Der Künstler Mario Klingemann verwendete GPT-3, um Pastiches von großen Autoren zu generieren .
Mögliche Verwendungszwecke sind die Suche in Dokumenten in natürlicher Sprache. Zum Beispiel kann GPT-3 in natürlicher Sprache die Frage "Warum das Brot geschwollen ist" basierend auf dem Wikipedia-Artikel "Brot" beantworten.
Es ist möglich, schnelle, komplexe und kohärente Diskussionen in natürlicher Sprache zu führen, um Ideen zu generieren, Bücher und Filme zu empfehlen, interaktive Geschichten zu erzählen oder an einem Meeting teilzunehmen. GPT-3 kann beispielsweise auf Websites automatischen Online-Kundensupport bieten.
GPT-3 ermöglicht es, Text in Form von Tabellen zu analysieren und zu synthetisieren, Diskussionen zusammenzufassen und Inhalte aus Grundideen zu erweitern.
GPT-3 kann verwendet werden, um Texte von einer Sprache in eine andere zu übersetzen. Es kann auch einen Text in der Alltagssprache in einen Rechtstext umwandeln.
GPT-3 kann verwendet werden, um Computercodes aus Anweisungen in natürlicher Sprache zu generieren, z. B. Schaltflächen, Datentabellen oder sogar die Neuerstellung der Google-Startseite.
Wie andere konkurrierende Modelle: BERT von Google oder XLM-R von Facebook ist GPT-3 nicht in der Lage zu argumentieren, beispielsweise analog zu argumentieren ; in der Tat hat es keine Repräsentation der Welt.
Im Gegensatz zu seinen Mitbewerbern kann GPT-3 aufgrund seiner Größe nicht auf einem Personal Computer ausgeführt werden : Das Speichern der Parameter allein erfordert mindestens 175 Gigabyte RAM , was im Jahr 2020 die Kapazität der auf dem Markt erhältlichen Maschinen erheblich übersteigt aus Verbrauchsgütern konstruierbar.
Im Gegensatz zu GPT-2 , dem früheren von OpenAI entwickelten Sprachmodell, wird GPT-3 als API bereitgestellt und der Quellcode ist nicht geöffnet.
Im Jahr 2020 entwarf das französische Start-up Nabla trotz der Kontraindikationen von OpenAI einen medizinischen Chatbot auf Basis von GPT-3. Während der Testphasen riet der Chatbot einem simulierten Patienten, Selbstmord zu begehen.
„ Um die Abhängigkeit der ML-Leistung von der Modellgröße zu untersuchen, trainieren wir 8 verschiedene Modellgrößen, die über drei Größenordnungen von 125 Millionen Parametern bis 175 Milliarden Parametern reichen. Das letzte ist das Modell, das wir GPT-3 nennen. ""
GPT-2 ist ein 1,5B-Parameter-Transformator