Los desarrolladores de software ahora trabajan más lento y todo es culpa de IA
Usar la IA para programar podría ser contraproducente en entornos con estándares de calidad muy altos o con numerosos requisitos
Las grandes compañías que se dedican al desarrollo de la inteligencia artificial llevan años vendiéndonos la idea de que esta tecnología va a cambiar nuestro mundo para siempre; que transformará la manera en la que trabajamos al ser capaz de realizar las tareas más aburridas, monótonas y exigentes físicamente a través de robots impulsados por IA, aliviando la carga de trabajo.
Los bots conversacionales como ChatGPT de OpenAI, Gemini de Google o Grok de xAI (la compañía de Elon Musk) pueden realizar una amplia variedad de tareas, como responder preguntas, generar texto creativo, traducir idiomas, resumir información y escribir código. De hecho, mucha gente está utilizando estas herramientas para aprender a programar. Sin embargo, parece ser un poco contraproducente para los programadores.
Aunque se suele alabar a la IA por su utilidad para aumentar la productividad y eficiencia general en la creación de código informático, un nuevo ensayo controlado aleatorio ha descubierto que los programadores de código abierto con experiencia trabajan más lento en tareas relacionadas con la codificación al usar la IA.
Las tareas completadas con IA se realizaron un 19% más lento que las realizadas sin ella
Investigadores de METR (Model Evaluation and Threat Research, o Evaluación de Modelos e Investigación de Amenazas, en español) reclutaron a 16 desarrolladores de software con varios años de experiencia trabajando en repositorios específicos de código abierto para seguirlos a lo largo de 246 tareas individuales relacionadas con el mantenimiento de dichos repositorios. Dichas tareas consistían en corrección de errores, mejoras de funcionalidad y refactorizaciones que normalmente formarían parte de su trabajo habitual.
Para la mitad de las tareas, los desarrolladores utilizaron herramientas de IA como Cursor Pro o Claude de Anthropic (uno de los principales rivales de ChatGPT, que recientemente fue acusado por Reddit de usar su contenido para entrenamiento sin el consentimiento de la plataforma). Para el resto de tareas, se les indicó que no utilizaran ninguna herramienta basada en inteligencia artificial.
Antes de realizar el estudio, los desarrolladores esperaban que las herramientas de IA redujeran en un 24% el tiempo necesario para las tareas asignadas. Incluso después de completarlas, creían que las habían acelerado un 20% en promedio. Sin embargo, en realidad, las tareas con IA se completaron un 19% más lento que las realizadas sin ella.
En general, los desarrolladores del estudio aceptaron menos del 44% del código generado por IA sin modificarlo. La mayoría de los desarrolladores informaron haber tenido que modificar el código generado por el asistente de inteligencia artificial, y un 9% del tiempo total de la tarea en la parte del estudio "asistida por IA" se dedicó a este tipo de revisión.
Los investigadores concluyen que las herramientas actuales de codificación de IA podrían ser especialmente inadecuadas para entornos con estándares de calidad muy altos o con numerosos requisitos implícitos (como los relacionados con la documentación, la cobertura de pruebas o el análisis de errores/formateo), que requieren un tiempo considerable para que los humanos aprendan.