Como toda tecnología, continuamente se actualizan los servicios de inteligencia artificial de OpenAI. La empresa, conocida por el modelo avanzado de lenguaje Chat GPT lanzó a mediados de septiembre la versión o1.
Según el comunicado de la empresa, se trata de un modelo que dedica “más tiempo a pensar antes de responder” cuando se le presentan problemas complejos.
Por otro lado, frente a las dificultades de razonamiento de los modelos de lenguaje, un grupo de investigadores de Apple presentó un estudio por el que instan a buscar métodos de evaluación "más robustos y adaptables“.
Chat GPT: cómo conseguir respuestas más eficientes
A la par de las actualizaciones de la empresa, un buen uso de la herramienta resulta en más probabilidades de alcanzar el objetivo perseguido por el usuario.
En esta línea, el mismo modelo de lenguaje respondió qué criterios se pueden atender para obtener una respuesta efectiva y certera:
- Ser concreto y específico al escribir: cuanta más claridad en las preguntas y órdenes, mejor calidad alcanzarán las respuestas de la herramienta.
- Brindar contexto antes de preguntar: si se proporciona más información, el modelo de lenguaje parte de una base más certera y mantiene coherencia en las devoluciones.
- Limitá el alcance: si el tema a abarcar es muy amplio, podés intentar enfocarte en un aspecto y luego pasar al siguiente.
- Indicaciones específicas: como ejemplo, en caso de que se desee una respuesta en un formato de lista, un resumen o un informe, se de debe indicar en el comando de manera puntual.
- Proporcionar ejemplos: en la misma línea, también se pueden proporcionar ejemplos para que la aplicación utilice de guía durante la resolución. De esta forma, el modelo de lenguaje cuenta con una estructura de redacción.
- No temer a las repeticiones: en caso de que la respuesta no sea exactamente lo que esperabas, la misma IA recomienda repetir con otras palabras tu pregunta u orden.
- Explorar: además de solicitar la resolución de tareas, también se puede utilizar la aplicación para pedir recomendaciones o profundizar en distintos temas.
Chat GPT: las novedades en la aplicación
OpenAI señaló que entrenó los modelos más nuevos para actuar más lento, es decir, para que empleen más tiempo a pensar antes de ofrecer una respuesta. Así, a través de este entrenamiento, los modelos aprenden a refinar su proceso de pensamiento, así como a probar distintas estrategias para resolver un problema, de cara a escoger la mejor respuesta, y a reconocer sus errores.
Tal y como ha compartido el director de investigación de OpenAI, Jerry Tworek, en declaraciones a The Verge, el entrenamiento para el modelo o1 ha sido distinto a los modelos anteriores. Según ha explicado, ha sido entrenado utilizando “un algoritmo de optimización completamente nuevo y un conjunto de datos de entrenamiento específicamente diseñado para él”.
Con todo ello, OpenAI sostuvo que el nuevo modelo o1 puede ser útil para resolver problemas complejos en ciencia, codificación, matemáticas y campos similares. Igualmente, también puede utilizarse para llevar a cabo investigaciones sobre el sector sanitario o la física, por ejemplo, para generar fórmulas matemáticas complicadas necesarias para la óptica cuántica.
Un estudio de investigadores de Apple reveló limitaciones en los modelos de lenguaje de gran tamaño
En contraste, un estudio realizado por investigadores de Apple cuestionó la capacidad real de razonamiento de los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés).
A partir del trabajo de seis investigadores, se llegó a la conclusión de que estos modelos cuentan con limitaciones fuertes. Además, la publicación aseveró que el rendimiento de los LLM se deteriora a medida que se proporcionan preguntas más complejas.
Para evaluar a los programas, se realizó un análisis utilizando el GSM8K, un conjunto de problemas matemáticos desarrollado por OpenAI.
Según Europa Press, en total se realizaron casi 500 evaluaciones en diferentes configuraciones, con cien plantillas.
Como resultado, se encontraron pequeños cambios de tokens de entrada en los programas que pueden alterar “de forma drástica” sus resultados, “lo que indica un fuerte sesgo y sugiere que estos modelos son altamente flexibles y frágiles”, explica el estudio documento.
Además, observaron fallas críticas en la capacidad de discernir información relevante para la resolución de problemas debido a que su razonamiento “no atiende al sentido común" y se basa principalmente en la comparación de patrones.
Los investigadores revelaron que el rendimiento de los modelos de lenguaje evaluados cambian significativamente en distintas instancias de la misma pregunta, “lo que demuestra que los resultados actuales de GSM8K no son tan ejemplares como se pensaba”.
“La alta variabilidad en el desempeño de los LLM en distintas versiones de la misma cuestión, su caída sustancial en el desempeño con un pequeño aumento de su dificultad y su sensibilidad a la información intrascendente indican que su razonamiento es frágil”, indicó el estudio.
En base a estos hallazgos, el equipo consideró como necesario desarrollar métodos de evaluación de los LLM “más robustos y adaptables”, así como modelos que vayan más allá del reconocimiento de patrones hacia el razonamiento lógico “verdadero”, que consideran “el próximo gran desafío” para la comunidad de IA.
