La falacia McNamara
No todo lo que cuenta se puede medir, y no todo lo que se puede medir, cuenta.
Robert McNamara fue Secretario de Defensa de los EEUU durante la guerra de Vietnam. Cuando murió en 2009, el New York Times le describió como “el arquitecto de una guerra fútil”.
McNamara era un genio matemático. Había sido profesor de la Harvard Business School y ejecutivo en Ford durante 15 años antes de tomar posesión del cargo.
Era un firme convencido del método científico. Tomaba decisiones racionales basadas en datos como muchos de nosotros. El problema de McNamara era que ignoraba todo aquello que no podía cuantificar. Y lo que no se puede contar, a veces también es importante.
La entrada de la Wikipedia sobre la falacia McNamara narra una escena que ejemplifica el problema.
US Air Force Brigadier General Edward Lansdale reportedly told McNamara,[3] who was trying to develop a list of metrics to allow him to scientifically follow the progress of the war, that he was not considering the feelings of the common rural Vietnamese people. McNamara wrote it down on his list in pencil, then erased it and told Lansdale that he could not measure it, so it must not be important.
“Si no lo puedo medir, no debe ser importante”. McNamara trató la guerra de Vietnam como si se tratase de una ecuación matemática. Si por cada soldado norteamericano caído en combate, morían 10 vietcongs, es que la guerra debía ir necesariamente bien.
Lo que no podía medir McNamara, y que a la postre le costaría perder la guerra a EEUU, fue la voluntad de los vietnamitas por luchar contra el enemigo. Ni tampoco el impacto de cada soldado que volvía en un féretro sobre la opinión pública estadounidense. No se podía medir, pero terminó resultando vital para el devenir de la guerra.
Así pues, la falacia McNamara consiste precisamente en esto. Concentrar nuestros esfuerzos en aquello que podemos medir, ignorando todo lo demás. Y, como en Vietnam, resulta que hay cosas que no podemos medir que son importantes para nuestros productos. Cosas que descubres cuando hablas con tus usuarios, cuando estás en contacto con ellos diariamente, pero que difícilmente podrás ver reflejadas en una métrica.
Facebook es el ejemplo perfecto de producto resultante de caer en la falacia de McNamara. No hay empresa que haya potenciado más su evolución a través de tests a/b que la empresa de Zuck. Todo lo que veis en Facebook es el resultado de equipos de producto lanzando tests a/b sin parar tratando de mover sus métricas de engagement.
Ahora bien, ¿habéis entrado a Facebook hace poco? Probablemente no. Y si lo hacéis, es posible que encontréis un producto descorazonador y sin alma. La visión hace tiempo que se diluyó entre test y test.
Este tweet lo resume bastante bien:
Otro error en que cayó McNamara fue en pensar que la información es imparcial. McNamara necesitaba cuantificarlo todo, y eso le hacía especialmente necesitado de fuentes de datos. Eso le hacía dar más credibilidad de la que debía a los informes que recibía desde Vietnam, en los que muchos de ellos simplemente le decían lo que quería escuchar.
Se cuenta que Einstein escribió una vez en su pizarra durante su época de profesor universitario:
“Not everything that counts can be counted, and not everything that can be counted, counts.” — Albert Einstein
Hay cosas que son importantes que no se pueden contar. Es cómodo descartarlas y centrarse en lo que podemos controlar, pero para hacer productos que enamoren necesitas algo más que simples objetivos numéricos. De hecho, te puedes llegar cargar una empresa persiguiendo los equivocados.
“If you give a manager a numerical target, he’ll make it even if he has to destroy the company in the process.” — W. Edwards Deming
Recuerdo a un profesor de mi MBA repitiendo orgulloso la frase “lo que no son cuentas son cuentos”. Éramos 20 personas en esa clase, la mayoría ingenieros, y a todos nos parecía muy racional. Pero si el mundo funcionara sólo con números, hacer producto sería trivial y aquí seríamos todos millonarios.
El verdadero arte del Product Manager consiste en encontrar el balance entre lo cuantificable y lo cualitativo. Entre lo que te dicen los números, y lo que te dice la intuición basada en tu conocimiento del usuario y del mercado.
Hay gente que le preocupa más medir o el algoritmo que entender. Enhorabuena, Simón, tu reflexión no tiene desperdicio.