# Test A/B: por qué la mayoría de experimentos no aportan nada (y cómo hacerlo bien)
El test A/B s'ha venut com l'eina del creixement basat en dades. La realitat, en la majoria d'equips que el practiquen, és diferent: la majoria d'experiments no aporten res, no perquè el mètode falli, sinó perquè s'apliquen malament. Es testa l'obvi, es mesura l'irrellevant, es declara guanyador el que és soroll i es confon l'activitat amb el progrés.
Aquest article explica per què la majoria de tests A/B no aporten res i com dissenyar-los perquè sí que aportin, sense la pretensió de convertir-te en un laboratori d'optimització, sinó en un equip que decideix millor.
Per què la majoria de tests A/B no aporten res
El primer motiu és la hipòtesi trivial. L'equip que testa si el botó verd converteix més que el blau no testa una hipòtesi de negoci, decora. El canvi de color, el canvi de text del botó o el canvi de mida de lletra són experiments que, en el millor dels casos, mouen la conversió dècimes de punt i, en el pitjor, donen una falsa confiança sobre un procés que no aprèn res.
El segon motiu és la falta de mida de mostra. Un test amb cent visites per variant no pot distingir una millora real del soroll estadístic. L'equip que declara guanyadora una variant amb un 4% més de conversió sobre cent visites llegeix soroll com si fos senyal. La diferència no és significativa i la decisió que es pren sobre aquesta base és una aposta, no una conclusió.
El tercer motiu és la mètrica equivocada. El test que optimitza el clic al botó sense mesurar la conversió final pot millorar la mètrica intermèdia i empitjorar el resultat de negoci. L'equip que declara guanyador el titular que rep més clics, sense veure que aquests clics no converteixen, ha optimitzat l'aparença d'èxit i ha perjudicat l'èxit real.
La hipòtesi que val la pena testar
Un test A/B útil comença amb una hipòtesi de negoci, no amb una idea de disseny. L'estructura de la hipòtesi útil: “Creiem que, si canviem X, passarà Y, perquè Z”.
La X és el canvi que es provarà, descrit de manera concreta. La Y és el resultat que s'espera, mesurable i connectat al negoci. La Z és el raonament, l'explicació de per què s'espera aquest resultat. La hipòtesi sense la Z és una intuïció; la hipòtesi amb la Z és una teoria que el test confirmarà o desmentirà.
La diferència amb la hipòtesi trivial és la magnitud del canvi esperat. Si la hipòtesi, en confirmar-se, mou l'agulla del negoci, val la pena testar-la. Si el canvi esperat són dècimes de punt en una mètrica intermèdia, el temps del test s'inverteix millor en una altra cosa.
La mida de la mostra que decideix si el test val
Un test A/B només és concloent si la mida de la mostra és suficient per distingir el senyal del soroll. La regla pràctica: calen, com a mínim, mil conversions per variant per confiar en una diferència d'un dígit. Per a diferències més petites, en calen més.
La conseqüència incòmoda: la majoria de pàgines amb poc volum no poden testar de manera concloent. Un test sobre una pàgina que rep cinquanta conversions al mes no arribarà a la mida de mostra en un temps raonable, i qualsevol conclusió que en tregui serà soroll. Per a volums baixos, l'optimització per criteri (basada en el sentit comú i la recerca d'usuaris) produeix més que un test A/B mal anomenat.
La mètrica que de debo importa
El test A/B ha de mesurar la mètrica de negoci, no la intermèdia. El parany del clic, de l'scroll o del temps a la pàgina és que són fàcils de mesurar i es mouen amb facilitat, però no són l'objectiu. L'objectiu és la conversió que porta negoci, i és la que ha de jutjar el test.
L'excepció és la mètrica de guàrdia, la que es mesura per assegurar que el canvi no trenca res que ja funcionava. El test que millora la conversió però empitjora la mètrica de guàrdia (la ràtio de devolucions, la satisfacció, el temps de permanència) no és un guanyador, és un canvi de barret: millora el que es veu i empitjora el que no es veu. La mètrica principal diu si guanyes; la de guàrdia diu si no perds pel camí.
La durada que respecta el cicle
Un test A/B ha de durar prou per capturar el cicle complet de l'usuari. El test que dura tres dies pot captar només el comportament d'un tipus de visitant (el que arriba entre setmana, el que arriba en un moment del cicle). El test que dura com a mínim dues setmanes i, preferiblement, un cicle complet del negoci, captura la variabilitat real.
L'error oposat és el test que dura massa. Un test que s'allarga mesos, sense revisió, pot quedar invalidat per canvis externs (una campanya, una migració, una estacionalitat) que fan que les dues variants ja no competeixin en les mateixes condicions. La durada correcta és la mínima que captura el cicle sense estirar-se fins que el context canvia.
Què testar primer: l'ordre que importa
L'equip que comença pel test A/B sense haver resolt els problemes obvis malbarata l'experiment. Abans de testar, cal resoldre el que se sap que està malament: el titular que no promet res, el formulari que demana massa, la pàgina que triga cinc segons a carregar. Això no són hipòtesis per testar, són errors per corregir.
El test A/B es reserva per al que no se sap. Quan l'obvi està resolt, l'experiment ajuda a decidir entre opcions que, a priori, no tenen un guanyador clar. És aquí on el mètode aporta valor; en l'obvi, el que aporta és el sentit comú, no el test.
Conclusió
El test A/B ben fet és una eina de decisió; el test A/B mal fet és un ritual que consumeix recursos i produeix una falsa confiança. La diferència és en la hipòtesi de negoci, la mida de la mostra, la mètrica de negoci, la durada que respecta el cicle i l'ordre que reserva l'experiment per al que no se sap. L'equip que respecta aquestes condicions aprèn de cada test; el que no, acumula experiments que no li ensenyen res.
Si fas tests A/B que no mouen el negoci i no saps per què, agenda una revisió i analitzem junts el teu procés d'experimentació.