GPT-3 | Blog Sociamonials

GPT-3

TODOS 0-9 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

El innovador modelo lingüístico GPT-3, desarrollado por OpenAI, es la tercera entrega de la serie GPT y se distingue por su escala sin precedentes, que lo convierte en el mayor modelo lingüístico no disperso disponible en la actualidad. Supera a su predecesor, GPT-2^[1]y el Turing NLG de Microsoft, GPT-3 tiene diez veces más capacidad que este último. Es famoso por su capacidad para generar texto, incluidos artículos periodísticos, y ayudar en tareas de codificación, aunque también plantea posibles amenazas de uso indebido, como la propagación de información errónea o el phishing. GPT-3 se presenta en varias versiones para adaptarse a distintas necesidades, siendo davinci, que posee 175.000 millones de parámetros, la de mayor tamaño. La posterior serie GPT-3.5 introdujo nuevos modelos y capacidades. GPT-3 desempeña un papel fundamental tanto en la industria como en la investigación, apoyando productos como GitHub^[2] Copilot y encuentra aplicación en varios productos de Microsoft. Sin embargo, también plantea problemas éticos y académicos.

Definición de términos

1. ↑ GPT-2 ( GPT-2 ) Generative Pretrained Transformer 2, o GPT-2, es un modelo avanzado de IA diseñado específicamente para tareas de procesamiento de lenguaje natural. Este modelo, lanzado por OpenAI en febrero de 2019, es famoso por su versatilidad para generar una amplia gama de tipos de texto, y su destreza se extiende a responder consultas y completar código automáticamente. El entrenamiento de GPT-2 implicó un vasto corpus de texto en línea, WebText, y opera con la asombrosa cantidad de 1500 millones de parámetros. A pesar de su elevado consumo de recursos, GPT-2 se ha utilizado en aplicaciones diversas e innovadoras, como juegos de aventuras centrados en texto y simulaciones de subreddits. Los temores iniciales de uso indebido llevaron al lanzamiento del modelo GPT-2 completo en noviembre de 2019, cuando las preocupaciones no se manifestaron. Sin embargo, para hacer frente a las limitaciones de recursos, se desarrolló un modelo más pequeño, DistilGPT2. Las innovaciones y los éxitos de GPT-2 sientan las bases para futuros avances en la generación de textos de IA.

2. ↑ GitHub ( GitHub ) Diseñada principalmente para desarrolladores, GitHub es una plataforma que facilita la creación, el almacenamiento, la gestión y el intercambio de código. Basada en el software Git, ofrece funciones como el control de versiones, el control de acceso y el seguimiento de errores. Desde que se convirtió en una filial de Microsoft en 2018, GitHub se ha consolidado como uno de los principales anfitriones de proyectos de software de código abierto. En enero de 2023, cuenta con una vibrante comunidad de más de 100 millones de desarrolladores y alberga más de 420 millones de repositorios. GitHub fue concebido en 2008 por sus cuatro fundadores e inicialmente funcionó como una organización plana, fomentando la autonomía, la flexibilidad y la colaboración entre sus miembros. Además del control de versiones, GitHub también ofrece servicios como gestión de tareas, integración continua y soporte para wikis de proyectos. Es más que una plataforma: es un conjunto completo de herramientas para el desarrollo de software.

GPT-3 (Wikipedia)

Transformador generativo preentrenado 3 (GPT-3) es una gran modelo lingüístico publicado por OpenAI en 2020. Como su predecesor, GPT-2es sólo un descodificador modelo de transformador de red neuronal profunda, que sustituye a las arquitecturas basadas en la recurrencia y la convolución con una técnica conocida como "atención". Este mecanismo de atención permite al modelo centrarse selectivamente en los segmentos del texto de entrada que predice como más relevantes. Utiliza un 2048-fichas-contexto largo^[jerga]precisión float16 (16 bits), y una cifra sin precedentes de 175.000 millones de parámetros, que requiere 350 GB de espacio de almacenamiento, ya que cada parámetro ocupa 2 bytes de espacio, y ha demostrado una fuerte "disparo cero" y "pocos disparos" capacidad de aprendizaje en muchas tareas.

Transformador Generativo Preentrenado 3 (GPT-3)
Autor(es) original(es)	OpenAI
Lanzamiento inicial	11 de junio de 2020 (beta)
Repositorio	github.com/openai/gpt-3
Predecesor	GPT-2
Sucesor	GPT-3.5 GPT-4
Tipo	Gran modelo lingüístico Transformador generativo preentrenado Modelo de cimentación
Página web	openai.com/blog/openai-api

El 22 de septiembre de 2020, Microsoft anunció que había adquirido la licencia exclusiva de GPT-3. Otros pueden seguir recibiendo resultados de su API pública, pero sólo Microsoft tiene acceso al modelo subyacente.