En un trabajo publicado en el repositorio arXiv por el equipo de la organización sin fines de lucro METR, con sede en California, los investigadores introdujeron una nueva métrica para evaluar el rendimiento de modelos de inteligencia artificial (IA) a partir de tareas realizadas por humanos.
Esta métrica, denominada horizonte temporal de finalización de tareas (TCTH), estima el tiempo promedio que necesita una persona con conocimientos en un área para completar una tarea que un modelo puede resolver con un 50% de éxito.
El estudio incluyó tareas reales en campos como programación, ciberseguridad y aprendizaje automático, y permite establecer un criterio continuo y comparable para observar la evolución de las capacidades de los modelos de IA en relación con el trabajo humano.
El documento, titulado “Measuring AI Ability to Complete Long Tasks”, sugiere que esta metodología es más representativa que los benchmarks tradicionales, como GLUE o MMLU, que suelen saturarse rápidamente o miden habilidades específicas de forma aislada.
Una métrica alineada con capacidades humanas
El TCTH se construye a partir de una lógica sencilla: si un modelo logra resolver con éxito el 50 % de las tareas que a un humano le toman una cierta cantidad de tiempo, ese tiempo se considera su “horizonte”, informó Tech Xplore.
De esta forma, el valor del horizonte permite comparar la eficiencia de los modelos con base en una referencia empírica: el tiempo humano.
Para calibrar esta métrica, METR reunió una batería de 170 tareas reales y complejas, muchas de las cuales requieren varias horas de trabajo continuo, de acuerdo con información de Nature.
En cada una, se midió cuánto tiempo tardaban expertos humanos en completarlas y se comparó con el desempeño de 13 modelos de IA desarrollados entre 2019 y 2025, como GPT-2, GPT-3, GPT-4, Claude 3 Opus, Claude 3.5 Sonnet y Claude 3.7 Sonnet.
Resultados del estudio con 170 tareas reales
Los investigadores encontraron una correlación negativa entre el tiempo que tarda una persona en completar una tarea y la probabilidad de éxito de los modelos: cuanto más larga es la tarea, menor es el rendimiento.
GPT-2, por ejemplo, no logró resolver ninguna tarea que los humanos completaran en más de un minuto. En contraste, el modelo más reciente de Anthropic, Claude 3.7 Sonnet, lanzado en 2025, resolvió exitosamente la mitad de las tareas que exigían un promedio de 59 minutos de trabajo humano, informaron ambos medios de ciencia y tecnología.
Las tareas evaluadas incluyeron desde acciones atómicas de segundos (como identificar archivos sospechosos) hasta proyectos que tomaban 8 horas, como la optimización de código CUDA. La métrica también fue validada mediante otros benchmarks existentes, como SWE-bench Verified, y a través de tareas internas de la propia organización.
El crecimiento exponencial y su aceleración reciente
Uno de los hallazgos centrales del estudio es que el horizonte de tareas que los modelos pueden completar con éxito se ha duplicado cada siete meses desde 2019. En 2024, la tasa de progreso se aceleró aún más, con duplicaciones cada tres meses, según Nature.
Esta evolución fue impulsada por mejoras en la capacidad de razonamiento lógico, el uso efectivo de herramientas, la capacidad de adaptación a errores y una mayor estabilidad en la ejecución de instrucciones.
Según los cálculos de METR, si la tendencia continúa, los modelos podrían alcanzar un TCTH de un mes de trabajo humano (167 horas) entre finales de 2028 y comienzos de 2031. Esto equivaldría a que un modelo pueda realizar con éxito la mitad de las tareas que un profesional calificado completaría tras un mes de dedicación continua.
Limitaciones, validaciones y tareas reales
El informe reconoce limitaciones metodológicas: las tareas utilizadas, aunque complejas, son más limpias y estructuradas que muchas tareas reales, que involucran ambigüedad, decisiones estratégicas o interacción entre agentes.
Para explorar esta brecha, METR diseñó una serie de experimentos de validación con tareas “desordenadas” o difíciles de puntuar automáticamente.
En un conjunto de tareas internas del repositorio de METR, se observó que los humanos contratistas tardaban entre 5 y 18 veces más que los mantenedores del código para resolver las mismas incidencias.
Los modelos de IA mostraron un rendimiento alineado con el tiempo que requerían estos contratistas, lo que sugiere que su capacidad actual equivale a la de personas con bajo contexto del entorno laboral.
También se comprobó que muchos modelos aún fallan cuando deben anticipar información que no está explícita o cuando enfrentan entornos sin retroalimentación clara.
Incluso Claude 3.7, uno de los modelos más eficientes, tiene una brecha significativa entre su horizonte del 50 % (59 minutos) y su horizonte del 80 % (15 minutos), lo que indica una falta de confiabilidad sostenida en tareas largas.
Últimas Noticias
HONOR Robot Phone supera 200.000 reservas en su primera semana: fecha de lanzamiento y características
El celular se convierte en el primer smartphone en ofrecer codificación nativa ARRI Log-C3 y compatibilidad con perfiles de color LUTs de cine
El 47 % de las empresas en Colombia aún tiene dificultades para demostrar el valor de la IA: AWS
Pese a la percepción general de que la IA genera valor, gran parte de las organizaciones se enfrenta a dificultades para medir el retorno de sus inversiones
Poner una moneda sobre el router de WiFi: el truco que muchos prueban, es o no útil
Antes de probar el truco de la moneda, conviene conocer qué prácticas sí ayudan a mejorar la cobertura y estabilidad de la red inalámbrica en casa
Lista de celulares que aún pueden usar “Ok Google” y activar el Asistente antiguo en lugar de Gemini
El Asistente de Google desaparecerá de los teléfonos más modernos, mientras algunos equipos antiguos continuarán utilizándolo hasta que finalice su soporte
Cómo mejorar la señal Wi-Fi: tipos de equipos y cuál conviene más
La primera opción que suele considerarse para mejorar la cobertura de la red inalámbrica doméstica es el uso de extensores o amplificadores Wi-Fi
