# Test A/B: por qué la mayoría de experimentos no aportan nada (y cómo hacerlo bien)
El test A/B se ha vendido como la herramienta del crecimiento basado en datos. La realidad, en la mayoría de equipos que lo practican, es distinta: la mayoría de experimentos no aportan nada, no porque el método falle, sino porque se aplican mal. Se teste lo obvio, se mide lo irrelevante, se declara ganador lo que es ruido y se confunde la actividad con el progreso.
Este artículo explica por qué la mayoría de test A/B no aportan nada y cómo diseñarlos para que sí aporten, sin la pretensión de convertirte en un laboratorio de optimización, sino en un equipo que decide mejor.
Por qué la mayoría de test A/B no aportan nada
El primer motivo es la hipótesis trivial. El equipo que testea si el botón verde convierte más que el azul no está testeando una hipótesis de negocio, está decorando. El cambio de color, el cambio de texto del botón, el cambio de tamaño de fuente son experimentos que, en el mejor caso, mueven la conversión décimas de punto y, en el peor, dan confianza falsa sobre un proceso que no está aprendiendo nada.
El segundo motivo es la falta de tamaño de muestra. Un test con cien visitas por variante no puede distinguir una mejora real del ruido estadístico. El equipo que declara ganadora una variante con el 4% más conversión sobre cien visitas está leyendo ruido como si fuera señal. La diferencia no es significativa y la decisión que se toma sobre ella es una apuesta, no una conclusión.
El tercer motivo es la métrica equivocada. El test que optimiza el clic en el botón sin medir la conversión final puede mejorar la métrica intermedia y empeorar el resultado de negocio. El equipo que declara ganador el titular que más clics recibe, sin mirar que esos clics no convierten, ha optimizado la apariencia de éxito y ha dañado el éxito real.
La hipótesis que vale la pena testear
Un test A/B útil empieza en una hipótesis de negocio, no en una idea de diseño. La estructura de la hipótesis útil: “Creemos que, si cambiamos X, entonces ocurrirá Y, porque Z”.
El X es el cambio que se va a probar, descrito de forma concreta. El Y es el resultado que se espera, medible y conectado al negocio. El Z es el razonamiento, la explicación de por qué se espera ese resultado. La hipótesis sin el Z es una corazonada; la hipótesis con el Z es una teoría que el test va a confirmar o desmentir.
La diferencia con la hipótesis trivial es la magnitud del cambio esperado. Si la hipótesis, si se confirma, mueve la aguja del negocio, vale la pena testearla. Si el cambio esperado es décimas de punto en una métrica intermedia, el tiempo del test se invierte mejor en otra cosa.
El tamaño de muestra que decide si el test vale
Un test A/B solo es concluyente si el tamaño de muestra es suficiente para distinguir la señal del ruido. La regla práctica: se necesita, como mínimo, mil conversiones por variante para confiar en una diferencia de un dígito. Para diferencias menores, se necesitan más.
La consecuencia incómoda: la mayoría de páginas con volumen bajo no pueden testear de forma concluyente. Un test sobre una página que recibe cincuenta conversiones al mes no va a llegar a tamaño de muestra en un tiempo razonable, y cualquier conclusión que saque es ruido. Para volúmenes bajos, la optimización por criterio (basada en el sentido común y la investigación de usuarios) produce más que el test A/B mal llamado.
La métrica que de verdad importa
El test A/B debe medir la métrica de negocio, no la métrica intermedia. La trampa del clic, del scroll, del tiempo en página es que son fáciles de medir y mueven con facilidad, pero no son el objetivo. El objetivo es la conversión que lleva al negocio, y esa es la que debe juzgar el test.
La excepción es la métrica de guardía, la que se mide para asegurar que el cambio no rompe nada que ya funcionaba. El test que mejora la conversión pero empeora la métrica de guardía (el ratio de devoluciones, la satisfacción, el tiempo de permanencia) no es un ganador, es un cambio de gorra: mejora lo que se ve y empeora lo que no se ve. La métrica principal dice si ganas; la de guardía dice si no pierdes por el camino.
La duración que respeta el ciclo
Un test A/B necesita durar lo suficiente como para capturar el ciclo completo del usuario. El test que dura tres días puede captar solo el comportamiento de un tipo de visitante (el que llega entre semana, el que llega en un momento del ciclo). El test que dura al menos dos semanas y, preferiblemente, un ciclo completo del negocio, captura la variabilidad real.
El error opuesto es el test que dura demasiado. Un test que se alarga meses, sin revisión, puede ser invalidado por cambios externos (una campaña, una migración, una estacionalidad) que hacen que las dos variantes ya no se compitan en las mismas condiciones. La duración correcta es la mínima que captura el ciclo sin estirarse hasta que el contexto cambia.
Qué testear primero: el orden que importa
El equipo que empieza por el test A/B sin haber resuelto los problemas obvios despericia el experimento. Antes de testear, hay que resolver lo que se sabe que está mal: el titular que no promete nada, el formulario que pide demasiado, la página que tarda cinco segundos en cargar. Esos no son hypotheses que testear, son errores que corregir.
El test A/B se reserva para lo que no se sabe. Cuando lo obvio está resuelto, el experimento ayuda a decidir entre opciones que, a priori, no tienen ganador claro. Ahí es donde el método aporta valor; en lo obvio, lo que aporta es el sentido común, no el test.
Conclusión
El test A/B bien hecho es una herramienta de decisión; el test A/B mal hecho es un ritual que consume recursos y produce confianza falsa. La diferencia está en la hipótesis de negocio, el tamaño de muestra, la métrica de negocio, la duración que respeta el ciclo y el orden que reserva el experimento para lo que no se sabe. El equipo que respeta estas condiciones aprende de cada test; el que no, acumula experimentos que no le enseñan nada.
Si estás haciendo test A/B que no mueven el negocio y no sabes por qué, agenda una revisión y analizamos juntos tu proceso de experimentación.