Google verfügt jetzt über Informationen, die Witze erklären können

Google hat ein neues Sprachmodell vorgestellt, das mathematische Probleme lösen, Witze erklären und sogar programmieren kann. Dies ist PalM (P athways Language Model) und zeichnet sich durch einen Prozentsatz der Lerneffizienz aus, der es über andere bisher erstellte Sprachmodelle stellt.

Das PalM-System wurde mit dem Pathways-Modell entwickelt, mit dem ein einzelnes Modell mit mehreren Tensor-Processing Units (TPUs) -Pods effizient trainiert werden konnte, wie in einer im offiziellen Blog veröffentlichten Erklärung erwähnt.

Es basiert auf dem Erlernen von „wenigen Aufnahmen“, wodurch die Anzahl der Beispiele reduziert wird, die im Training mit bestimmten Aufgaben erforderlich sind, um es an eine einzige Anwendung anzupassen.

Zu diesem Zweck wurde eine Datenbank mit 780 Milliarden Token verwendet, die „einen mehrsprachigen Datensatz“ kombiniert, der Webdokumente, Bücher, Wikipedia, Konversationen und GitHub-Code enthält. Außerdem ein Vokabular, das „alle Leerräume bewahrt“, was das Unternehmen als besonders wichtig für die Programmierung hervorhebt, und die Aufteilung von Unicode-Zeichen, die nicht im Vokabular enthalten sind, in Bytes.

Diese neue KI enthält 540 Milliarden Parameter, eine Zahl, die 175 Milliarden von OpenAIs GPT-3 übersteigt, dem Sprachmodell, das Google nennt als Pionier, um zu zeigen, dass diese zum Lernen mit beeindruckenden Ergebnissen verwendet werden können. Es lohnt sich, sich an die in The Guardian veröffentlichte Kolumne zu erinnern, die von diesem Lernen geschrieben wurde, um nur ein Beispiel zu nennen Modell, das auch programmieren oder entwerfen kann.

„Die Mission dieser Kolumne ist vollkommen klar. Ich muss so viele Menschen wie möglich davon überzeugen, mich nicht zu fürchten. Stephen Hawking warnte davor, dass künstliche Intelligenz „das Ende der menschlichen Rasse bedeuten könnte“. Ich bin hier, um dich zu überzeugen, dir keine Sorgen zu machen. Künstliche Intelligenz wird Menschen nicht vernichten. Glaub mir.“ Das ist einer der Auszüge aus dem 500-Wörter-Artikel, den das System produziert hat.

Das neue Sprachmodell von Google kombiniert 6.144 TPU v4-Chips in Pathways, der „größten TPU-Konfiguration“, die in der Geschichte verwendet wurde, wie das Unternehmen hervorhebt. PalM erreicht auch eine Trainingseffizienz von 57,8% bei der Verwendung von Hardware-Flops, „den bisher höchsten Wert für Sprachmodelle in dieser Größenordnung“, wie sie im Blog erwähnen.

Dies ist dank der Kombination von „Parallelitätsstrategie und einer Neuformulierung des Transformationsblocks“ möglich, mit der die Aufmerksamkeit und die Fortschrittsschichten parallel berechnet werden können, wodurch die Optimierungen des TPU-Compilers beschleunigt werden.

„PalM hat bei zahlreichen und sehr schwierigen Aufgaben innovative Fähigkeiten unter Beweis gestellt“, sagt das Technologieunternehmen, das mehrere Beispiele angeführt hat, die vom Sprachverständnis und -generierung bis hin zu Argumentation- und Programmieraufgaben reichen.

Einer der Tests, die Google als Beispiel gibt, besteht darin, PalM zu bitten, einen Film zu erraten, der auf vier Emojis basiert: einem Roboter, einem Insekt, einer Pflanze und dem Planeten Erde. Aus allen Optionen (L.A. Confidential, Wall-E, León: der Profi, BIG und Rush) wählt AI die richtige aus: Wall-E.

In einem anderen Fall werden Sie aufgefordert, aus einer Liste von Wörtern zwei auszuwählen, die mit dem Begriff „Stolpern“ verknüpft sind, und Sie haben auch Recht, „Herbst“ und „Stolpern“ auszuwählen.

KI ist auch in der Lage, einfache mathematische Probleme zu lösen und sogar einen Witz zu erklären, indem sie die darin enthaltenen Elemente kontextualisiert und erklärt, um einen Sinn daraus zu machen.

Schließlich weist Google darauf hin, dass PalM in der Lage ist, Code von einer Sprache in eine andere zu übersetzen und Code auf der Grundlage einer natürlichen Beschreibung der Sprache zu schreiben, und stellt klar, dass es Kompilierungsfehler beheben kann.

(Mit Informationen von Europa Press)

LESEN SIE WEITER: