Las ironías de la automatización
Por qué los ingenieros de software deben pensar más, y no menos, con la IA.
En 1983, la científica cognitiva Lisanne Bainbridge escribió “Ironies of Automation”, un trabajo de investigación en que planteaba una profunda paradoja:
“Cuanto más avanzada es la automatización, más crucial se vuelve el operador humano.”
Bainbridge, que basó su estudio en industrias altamente automatizadas como la aviación o la nuclear, describe como la automatización reduce la carga de trabajo rutinaria, pero al hacerlo, deja a los humanos en un rol de supervisión pasiva.
Al haber sido aislados del contacto real con la operativa y relegados a ese rol de supervisor, cuando algo falla y deben intervenir están menos preparados para hacerlo. Así, la automatización, diseñada para eliminar el error humano, puede en realidad aumentar la dependencia del mismo y hacer los sistemas más vulnerables.
Cuatro décadas después, esa idea resuena con fuerza en el mundo del software. Herramientas como ChatGPT Codex o Claude Code prometen eliminar tareas tediosas y acelerar el desarrollo. Sin embargo, están generando nuevas formas de dependencia, nuevos riesgos y nuevas responsabilidades para los ingenieros.
1. El nuevo rol del ingeniero
Los asistentes de código basados en IA automatizan muchos aspectos “rutinarios” de la programación. Pero esto no elimina el papel del ingeniero, lo transforma.
Hoy, el ingeniero debe:
Guiar a los modelos de IA mediante indicaciones precisas y contexto.
Evaluar la calidad, seguridad y mantenibilidad del código generado.
Solucionar los edge cases y errores sutiles que la IA introduce.
Irónicamente, cuando los sistemas generados por IA fallan, lo hacen de formas complejas e impredecibles. El ingeniero humano es entonces quien debe comprender un código que no escribió.
2. La pérdida de habilidades
Así como Bainbridge advirtió que los pilotos y operadores podían perder conciencia situacional, los ingenieros hoy en día corren el riesgo de ver como se atrofian sus habilidades por exceso de confianza en la IA.
Si rara vez escribes algoritmos desde cero, depuras problemas de rendimiento o refactorizas sistemas heredados, te atrofias. Y cuando un modelo de IA introduce una condición de carrera o una vulnerabilidad, puedes estar menos preparado para detectarla.
Conservar la capacidad de razonar profundamente sobre el código, se convierte no solo en un punto de orgullo, sino en un requisito en entornos asistidos por IA.
3. El problema de la transparencia
Los sistemas de IA no son simples herramientas automatizadas, son cajas negras estadísticas. Incluso cuando producen resultados correctos, los ingenieros a menudo no saben por qué. Esa opacidad rompe uno de los principios básicos de la ingeniería de software: la comprensibilidad.
Sin explicabilidad, la depuración deja de ser resolución de problemas y se convierte en arqueología: reconstruir por qué la IA eligió una implementación sobre otra.
4. Diseñar para la colaboración humano/IA
La lección de Bainbridge no es rechazar la automatización, sino diseñarla de forma que mantenga al humano involucrado.
En el caso de la IA aplicada al software, esto significa:
Construir interfaces que inviten a la reflexión, no solo a la ejecución.
Fomentar la “co-creación”, donde la IA propone y el humano itera.
Estructurar flujos de trabajo que premien la revisión, no la aceptación ciega.
El objetivo es una relación simbiótica, en la que la IA amplifique la creatividad humana en lugar de sustituirla.
Conclusión
Se suponía que la IA haría que desarrollar software fuera más fácil.
En parte lo es. Crear software básico es más sencillo que nunca. Pero poner código en producción en sistemas complejos, la verdadera ingeniería, puede ser hoy incluso más complicado que antes de la IA.
La ironía persiste. La automatización no nos libera de pensar, nos obliga a hacerlo con más cuidado sobre qué automatizamos, por qué y cómo seguimos siendo responsables cuando algo sale mal.
El problema más grave no surge cuando un sistema falla, sino cuando el humano pierde la comprensión del mismo. La pérdida de conciencia situacional y de conocimiento técnico es un gran coste oculto de la IA al que pocos estamos prestando la atención necesaria.