Prompt engineering: Repetir el prompt mejora el rendimiento de la IA

Prompt repetition y salud digital

La inteligencia artificial generativa está transformando múltiples sectores, incluido el de la salud digital. Sin embargo, la calidad de las respuestas que genera la IA depende en gran medida de cómo formulamos las instrucciones, lo que se conoce como prompt engineering.

Los modelos de lenguaje procesan el texto de forma secuencial, lo que significa que el orden y la estructura del prompt influyen en cómo interpretan la información Un estudio reciente sugiere que una estrategia extremadamente simple puede mejorar el rendimiento de muchos modelos: repetir el prompt (Leviathan et al.).

La propuesta del estudio es muy sencilla, en lugar de usar un prompt una sola vez:

<CONSULTA>

 Se envía:

<CONSULTA> <CONSULTA>

Es decir, duplicar la instrucción antes de enviarla al modelo. Esto permite que los tokens del prompt interactúen mejor entre sí dentro del mecanismo de atención del modelo, reforzando la información relevante del contexto.

Resultados del estudio

Los investigadores evaluaron esta técnica en varios modelos populares, incluyendo sistemas de OpenAI, Google, Anthropic y DeepSeek. 

Comparativa entre prompt repetition y efectividad base para varios LLMs de uso popular. Una estrella indica una victoria significativa - Pvalue < 0.1 según el test de McNemar (Leviathan et al.).

Los resultados fueron consistentes:

• El "prompt repetition" mejoró el rendimiento en 47 de 70 pruebas
• No se registraron pérdidas frente al método estándar
• Las mejoras aparecieron en todos los modelos analizados

Además, la técnica no aumenta la latencia ni la longitud de las respuestas generadas, ya que solo afecta a la fase inicial de procesamiento del prompt.

Cómo se compara con otras técnicas de prompt engineering

Existen otras estrategias para mejorar el rendimiento de la IA.

Una de las más conocidas es el Chain-of-Thought prompting, que consiste en incluir ejemplos de razonamiento paso a paso dentro del prompt para que el modelo aprenda a resolver problemas complejos siguiendo ese proceso. (Wei et al.).

Una variante más simple es pedir directamente al modelo que "piense paso a paso" antes de responder. Esta técnica, conocida como zero-shot chain-of-thought, no utiliza ejemplos, pero aun así puede mejorar la precisión en tareas de razonamiento (Kojima et al.).

Sin embargo, estas técnicas tienen una desventaja: generan respuestas más largas y aumentan el coste computacional. En comparación, repetir el prompt es una técnica más eficiente, ya que puede mejorar el rendimiento sin aumentar significativamente el coste.

Implicaciones para la IA aplicada

En aplicaciones de IA, en especial para sectores críticos como la salud digital, pequeños incrementos en precisión pueden tener un impacto importante. Esta técnica tan simple ofrece un mejor rendimiento en contextos tales como:

• El análisis de texto clínico
• La generación de resúmenes terapéuticos
• Las interfaces conversacionales para pacientes
• El apoyo mediante sugerencias a profesionales sanitarios

Todo esto con tres ventajas clave respecto a otras técnicas de prompt engineering: Es muy simple de aplicar en nuestro uso cotidiano, implica mejoras consistentes en todos los modelos y, a su vez, no incrementa el coste de uso de nuestros algoritmos de Inteligencia Artificial.

A medida que la IA generativa se integra cada vez más en herramientas de salud digital, optimizar la forma en que interactuamos con estos modelos será clave para desarrollar sistemas más precisos y fiables. Esta es una forma sorprendentemente eficaz de mejorar el rendimiento de los modelos de lenguaje cuando no se utilizan técnicas de razonamiento paso a paso. Por ello, estrategias como el "prompt repetition" podrían convertirse en una práctica útil que añadir en nuestro repertorio cuando trabajamos con IA aplicada a salud mental.

---

Publicar un comentario