PanGu-Σ
# PanGu-Σ

PanGu-Σ es un modelo grande de lenguaje de la empresa Huawei, con arquitectura escasa (sparse architecture) que contiene 1.085 billones de parámetros. Fue desarrollado en el marco de MindSpore 5 y entrenado en un clúster con 512 Ascend 910 aceleradores de IA con 329 mil millones de tokens durante 100 días.

Los parámetros integrados de PanGu-Σ se amplían utilizando la arquitectura de decodificador de transformador (RRE) de Random Routed Experts. RRE utiliza dos niveles de enrutamiento a diferencia del MoE tradicional. Los expertos se organizan por tareas o dominios en el primer nivel, y los tokens se asignan de manera uniforme y aleatoria a cada grupo en el segundo nivel sin usar ninguna función de acceso aprendible como en MoE. Usando la arquitectura RRE, se pueden extraer submodelos de Pangu-Σ para varias aplicaciones posteriores, que incluyen conversación, traducción, producción de código e interpretación del lenguaje natural en general.

## Historia

El modelo de lenguaje preentrenado (Pretrained Language Model=PLM) PanGu-α de Huawei fue lanzado oficialmente en abril de 2021. Se trata de un modelo de lenguaje autorregresivo (ALM) con 200 mil millones de parámetros preentrenados en un gran corpus de texto, principalmente en chino. La arquitectura de PanGu-α se basa en transformador, que se ha utilizado ampliamente como la columna vertebral de una variedad de modelos de lenguaje previamente entrenados, como BERT y GPT. A diferencia de ellos, existe una capa de consulta adicional, desarrollada sobre las capas de transformador que tiene como objetivo inducir explícitamente el resultado esperado.

El modelo fue actualizado a la versión 2.0 en abril de 2022, siendo marcados el modelo grande de programación neurolingüística, el modelo grande de visión artificial (computer vision=CV) y ​​el modelo grande para cálculos científicos (modelo meteorológico grande) como disponibles en línea. Según se informa, Pangu es el primer modelo a gran escala de preentrenamiento chino, mientras que su modelo a gran escala CV es el más grande de la industria y ofrece capacidades tanto de discriminación como de generación. Pangu-Weather es un sistema basado en aprendizaje profundo para el pronóstico del tiempo. El modelo meteorológico a gran escala proporciona pronósticos meteorológicos de segundo nivel. Zidong Taichu es además el primer modelo a gran escala trimodal del mundo para mapas, texto y audio.

Huawei ha anunciado la presentación de PanGu Chat, un nuevo modelo multimodal a gran escala que compite directamente con ChatGPT de OpenAI. El lanzamiento tendrá lugar el 7 de julio de 2023 en la Huawei Cloud Developer Conference (Conferencia de desarrolladores de la nube de Huawei).

