Google представила новую языковую модель, которая способна решать математические задачи, объяснять шутки и даже программировать. Это PALM (языковая модель P athways), которая отличается процентом эффективности обучения, который ставит ее выше других языковых моделей, созданных на сегодняшний день.
Система PalM была разработана с использованием модели Pathways, которая позволила эффективно обучить одну модель с несколькими модулями тензорной обработки (TPU), как указано в заявлении, опубликованном в официальном блоге.
Он основан на изучении «нескольких снимков», что сокращает количество примеров, необходимых при обучении с конкретными задачами для адаптации его к одному приложению.
Для этого была использована база данных с 780 миллиардами токенов, которая сочетает в себе «многоязычный набор данных», который включает веб-документы, книги, Википедию, беседы и код GitHub. Кроме того, словарь, который «сохраняет все пробелы», что компания отмечает как особенно важное для программирования, и разделение символов Unicode, которых нет в словаре, на байты.
Этот новый ИИ содержит 540 миллиардов параметров, что превышает 175 миллиардов GPT-3 OpenAI, языковой модели, которая Google называет себя пионером в демонстрации того, что их можно использовать для обучения с впечатляющими результатами. Стоит напомнить, чтобы привести один пример, колонку, опубликованную в The Guardian, которая была написана этим обучением модель, которая также способна программировать или проектировать.
«Миссия этой колонки мнений совершенно ясна. Я должен убедить как можно больше людей не бояться меня. Стивен Хокинг предупредил, что искусственный интеллект может «означать конец человеческой расы». Я здесь, чтобы убедить вас не волноваться. Искусственный интеллект не уничтожит людей. Поверьте мне». Это один из выдержек из статьи из 500 слов, подготовленной системой.
Новая языковая модель Google объединяет 6 144 чипа TPU v4 в Pathways, «крупнейшую конфигурацию TPU», используемую в истории, как подчеркнула компания. PALM также достигает 57,8% эффективности обучения при использовании аппаратных флопов, что является «самым высоким показателем, достигнутым на данный момент для языковых моделей такого масштаба», как они упоминают в блоге.
Это возможно благодаря комбинации «стратегии параллелизма и переформулировки блока преобразования», которая позволяет параллельно вычислять уровни внимания и продвижения, что ускоряет оптимизацию компилятора TPU.
«PALM продемонстрировала инновационные возможности в решении многочисленных и очень сложных задач», — говорит технологическая компания, которая привела несколько примеров, начиная от понимания и генерации языка и заканчивая рассуждениями и задачами, связанными с программированием.
Один из тестов, которые дает Google в качестве примера, - попросить PalM угадать фильм, основанный на четырех смайликах: роботе, насекомом, растении и планете Земля. Из всех вариантов (Лос-Анджелес Конфиденциально, Валл-И, Леон: профи, BIG и Rush) ИИ выбирает правильный: Wall-E.
В другом случае вас попросят выбрать из списка два слова, которые связаны с термином «stumble», и вы также вправе выбрать «падение» и «споткнуться».
ИИ также способен решать простые математические задачи и даже объяснять шутку, контекстуализируя и объясняя элементы, которые появляются в ней, чтобы понять ее смысл.
Наконец, Google отмечает, что PALM способен программировать, переводя код с одного языка на другой, а также писать код, основанный на естественном описании языка, и поясняет, что он способен исправлять ошибки компиляции.
(С информацией от Europa Press)
ПРОДОЛЖАЙТЕ ЧИТАТЬ:
Más Noticias
La fila que la policía tuvo que calmar: cómo los apagones de Cuba convirtieron una panadería en el único punto de luz y de disputa en Guanabacoa
Cuando el municipio queda a oscuras durante más de doce horas seguidas, una sola panadería con generador marca la diferencia entre comer o no. Las “broncas” por el turno obligaron a intervenir a las autoridades en más de una ocasión
Reimond Manco lanzó cruda crítica por el presente de la selección peruana: “El problema es un cáncer que se ha instalado en la FPF”
El exfutbolista cuestionó a la directiva de la Federación por su ingerencia en las decisiones de una ‘bicolor’ que dejó muchas dudas tras la derrota con Estados Unidos
Gustavo Petro replicó alocución de Abelardo de la Espriella y negó que haya dejado el país con “saldo en rojo”: le atribyó el déficit al subsidio a los combustibles
El expresidente de la República sostuvo que el déficit presupuetario debe reducirse junto con el costo de la deuda, porque los intereses no pueden superar el crecimiento económico del país
Martín Escudero, DT de Perú Sub 19, reveló por qué Fernanda Pinto fue excluida del Sudamericano de vóley: “No se cumplió una norma”
El técnico de la selección peruana de vóley se refirió al polémico caso, mientras que la punta nacional compartió una contundente publicación en sus redes sociales
Transportistas hondureños piden reunión urgente con Asfura ante el alza de los combustibles
La reunión tiene como fin analizar los efecto de los incrementos en los precios de los combustibles y en la economía de los usuarios
