En un trabajo publicado en el repositorio arXiv por el equipo de la organización sin fines de lucro METR, con sede en California, los investigadores introdujeron una nueva métrica para evaluar el rendimiento de modelos de inteligencia artificial (IA) a partir de tareas realizadas por humanos.
Esta métrica, denominada horizonte temporal de finalización de tareas (TCTH), estima el tiempo promedio que necesita una persona con conocimientos en un área para completar una tarea que un modelo puede resolver con un 50% de éxito.
El estudio incluyó tareas reales en campos como programación, ciberseguridad y aprendizaje automático, y permite establecer un criterio continuo y comparable para observar la evolución de las capacidades de los modelos de IA en relación con el trabajo humano.
El documento, titulado “Measuring AI Ability to Complete Long Tasks”, sugiere que esta metodología es más representativa que los benchmarks tradicionales, como GLUE o MMLU, que suelen saturarse rápidamente o miden habilidades específicas de forma aislada.
Una métrica alineada con capacidades humanas
El TCTH se construye a partir de una lógica sencilla: si un modelo logra resolver con éxito el 50 % de las tareas que a un humano le toman una cierta cantidad de tiempo, ese tiempo se considera su “horizonte”, informó Tech Xplore.
De esta forma, el valor del horizonte permite comparar la eficiencia de los modelos con base en una referencia empírica: el tiempo humano.
Para calibrar esta métrica, METR reunió una batería de 170 tareas reales y complejas, muchas de las cuales requieren varias horas de trabajo continuo, de acuerdo con información de Nature.
En cada una, se midió cuánto tiempo tardaban expertos humanos en completarlas y se comparó con el desempeño de 13 modelos de IA desarrollados entre 2019 y 2025, como GPT-2, GPT-3, GPT-4, Claude 3 Opus, Claude 3.5 Sonnet y Claude 3.7 Sonnet.
Resultados del estudio con 170 tareas reales
Los investigadores encontraron una correlación negativa entre el tiempo que tarda una persona en completar una tarea y la probabilidad de éxito de los modelos: cuanto más larga es la tarea, menor es el rendimiento.
GPT-2, por ejemplo, no logró resolver ninguna tarea que los humanos completaran en más de un minuto. En contraste, el modelo más reciente de Anthropic, Claude 3.7 Sonnet, lanzado en 2025, resolvió exitosamente la mitad de las tareas que exigían un promedio de 59 minutos de trabajo humano, informaron ambos medios de ciencia y tecnología.
Las tareas evaluadas incluyeron desde acciones atómicas de segundos (como identificar archivos sospechosos) hasta proyectos que tomaban 8 horas, como la optimización de código CUDA. La métrica también fue validada mediante otros benchmarks existentes, como SWE-bench Verified, y a través de tareas internas de la propia organización.
El crecimiento exponencial y su aceleración reciente
Uno de los hallazgos centrales del estudio es que el horizonte de tareas que los modelos pueden completar con éxito se ha duplicado cada siete meses desde 2019. En 2024, la tasa de progreso se aceleró aún más, con duplicaciones cada tres meses, según Nature.
Esta evolución fue impulsada por mejoras en la capacidad de razonamiento lógico, el uso efectivo de herramientas, la capacidad de adaptación a errores y una mayor estabilidad en la ejecución de instrucciones.
Según los cálculos de METR, si la tendencia continúa, los modelos podrían alcanzar un TCTH de un mes de trabajo humano (167 horas) entre finales de 2028 y comienzos de 2031. Esto equivaldría a que un modelo pueda realizar con éxito la mitad de las tareas que un profesional calificado completaría tras un mes de dedicación continua.
Limitaciones, validaciones y tareas reales
El informe reconoce limitaciones metodológicas: las tareas utilizadas, aunque complejas, son más limpias y estructuradas que muchas tareas reales, que involucran ambigüedad, decisiones estratégicas o interacción entre agentes.
Para explorar esta brecha, METR diseñó una serie de experimentos de validación con tareas “desordenadas” o difíciles de puntuar automáticamente.
En un conjunto de tareas internas del repositorio de METR, se observó que los humanos contratistas tardaban entre 5 y 18 veces más que los mantenedores del código para resolver las mismas incidencias.
Los modelos de IA mostraron un rendimiento alineado con el tiempo que requerían estos contratistas, lo que sugiere que su capacidad actual equivale a la de personas con bajo contexto del entorno laboral.
También se comprobó que muchos modelos aún fallan cuando deben anticipar información que no está explícita o cuando enfrentan entornos sin retroalimentación clara.
Incluso Claude 3.7, uno de los modelos más eficientes, tiene una brecha significativa entre su horizonte del 50 % (59 minutos) y su horizonte del 80 % (15 minutos), lo que indica una falta de confiabilidad sostenida en tareas largas.
Últimas Noticias
De accidente creativo a revolución narrativa: cómo nació Kratos y por qué God of War cambió para siempre los videojuegos
La evolución de la franquicia refleja la apuesta por vínculos intergeneracionales, desarrollos técnicos pioneros y una mirada introspectiva que redefinió el estándar del género de acción en consolas
Steve Jobs y la regla 10-80-10: el método que revolucionó el liderazgo y la innovación en equipos tecnológicos
El enfoque impulsado por el fundador de Apple desafió los modelos tradicionales y aún hoy inspira a quienes enfrentan el reto de coordinar talento en empresas tecnológicas
¿Por qué se calienta el cargador de tu teléfono?: descubre las causas y soluciones
Una de las razones más frecuentes del calentamiento excesivo es utilizar un cargador incompatible con tu celular
‘Las guerreras K-Pop’ y los riesgos de ver la película en Magis TV
Visualizar este contenido fuera de Netflix constituye una infracción de derechos de autor y puede tener consecuencias legales graves
Cómo es el nuevo modelo de taxi autónomo sin pedales ni volante
El vehículo contará con un asistente de inteligencia artificial capaz de ejecutar tareas simples y sugerir actividades al usuario.
