Este artículo sobre IA para pensar y escribir es una maravilla.
Su tesis: no hemos prestado suficiente atención a las mejoras en “context window”, que desde GPT3, a ChatGPT y hasta ahora, han sido enormes y transformadoras.
https://thelongcontext.com/
Su tesis: no hemos prestado suficiente atención a las mejoras en “context window”, que desde GPT3, a ChatGPT y hasta ahora, han sido enormes y transformadoras.
https://thelongcontext.com/
Comments
Unos son hacer cosas que las personas sabemos hacer, pero las hacen sin nosotros y en segundos.
Este ejemplo anterior es del segundo tipo: ninguno humano puede poner el “foco” en 1.000.000 de palabras a la vez.
Cómo cambia la forma de verlo cuando dejas de pensar en prompt y pasas a pensar en contexto.
https://youtu.be/87Q-7c8Bcwo?si=R1iPsASjja4mWOtK
En mi experiencia he notado que es más importante la "calidad" que el tamaño del contexto.
Si conseguimos una "context window" adaptable (en tamaño y contenido) según las necesidades, el modelo da mejores respuestas. Añado un buen "system prompt" como parte del sistema del contexto.