Brand lift: las decisiones de diseño que determinan si el número significa algo

He visto que esto ocurre más de una vez. Una campaña se contrata para seis semanas, el estudio se cierra en la semana tres porque alcanzó su recuento objetivo de respuestas, y la lectura describe la semana tres de una campaña comprada para seis. Todo el mundo en la revisión siguiente lo trata como el resultado de la campaña. Lo que pierdes no es la tarifa. Es el argumento con el que esperabas zanjar la discusión.

Qué mide un brand lift study y qué no mide a propósito

Un brand lift study es una encuesta que se ejecuta como experimento dentro de una plataforma publicitaria. Un grupo vio la campaña, otro no, y ambos respondieron a la misma pregunta. El número que recibes es la diferencia entre los dos grupos, en puntos de lo que preguntara la encuesta.

De ese diseño salen tres límites. Las ventas no están en la respuesta: las respuestas de encuesta no son ingresos y una lectura de lift no se convierte en ingresos. Tampoco está nada fuera de los dos grupos, porque el grupo expuesto es una muestra de los usuarios de la plataforma, no de tu mercado. Y el número no viaja entre plataformas, porque cada una encuesta a sus propios usuarios con su propia definición de exposición y su propio enunciado.

Lo que sí obtienes es limpio para la medición de marketing, y no es habitual: dos grupos que en teoría solo difieren en si vieron el anuncio. Cada decisión que viene después es una forma de que esa diferencia deje de ser limpia.

La primera decisión es cuántas preguntas puedes pagar

Google publica un requisito de presupuesto mínimo para un estudio de Brand Lift, medido a lo largo de diez días, y crece con el número de preguntas de la encuesta. Estados Unidos está en el tramo intermedio de los tres tramos por país: 10.000 $ por una pregunta, 20.000 $ por dos, 60.000 $ por tres.

Lee el salto, no el precio de entrada. La segunda pregunta añade 10.000 $. La tercera añade 40.000 $, el doble de lo que cuestan las dos primeras juntas. Es una aritmética que hice sobre la tabla publicada por Google, y cambia el planteamiento del proyecto. El techo son tres métricas de lift, cada métrica es una pregunta y la decisión más cara del estudio es sobre cuántas cosas quieres preguntar. Se toma en el plan de medios, semanas antes de que alguien abra la pantalla de medición.

El tramo importa tanto como la cifra. El tramo más barato va de 5.000 $ a 20.000 $ con los mismos recuentos de preguntas. El más caro, que incluye Alemania, Japón, Canadá, Australia y los países nórdicos, va de 15.000 $ a 60.000 $. Seis mercados significan seis mínimos. Cada plataforma publica su propio mínimo, así que lee la página de ayuda de la plataforma en la que compras y no el resumen de un proveedor.

La televisión conectada en líneas de intercambio cruzado es la excepción: sin requisito de presupuesto, con al menos 15.000 $ por pregunta de encuesta recomendados en las propias palabras de Google.

Las cuatro decisiones de brand lift que se toman antes de lanzar

Grupo de control: lo que la plataforma no te deja cambiar

La versión de manual de esta decisión supone que eliges tú la comparación. No es así. Los grupos salen de los usuarios de la plataforma, la exposición la define su dato de entrega y la ventana de trabajo de campo la decide ella. Lo que eliges es si aceptas la comparación que construye y qué compruebas cuando llegan los números.

Dos cosas siguen siendo tuyas. El alcance, porque la audiencia y la geografía deciden de quién se mide la opinión. Y la verificación: pide el recuento de respuestas por grupo, no solo el total, y pregunta de qué población salió cada uno. Si el grupo expuesto se inclina hacia gente que ya conocía la marca, esa inclinación está dentro de tu lift, y ningún tratamiento estadístico añadido después la quita.

El instrumento de encuesta: qué métrica estás pagando

Hasta tres métricas de lift por estudio, cada una una pregunta distinta con su propio umbral de respuestas. Google declara sus umbrales por métrica, así que tres métricas necesitan el triple de respuestas que una antes de que las tres se resuelvan. Esa es la aritmética que hay detrás del salto de presupuesto de arriba y la razón de que un estudio que lo mide todo no mida nada con precisión.

Elige la métrica que coincide con la decisión y no la que suena más impresionante. El recuerdo del anuncio tiende a moverse con el alcance, la consideración con el mensaje y la frecuencia, y la intención de compra tarde y si acaso. Después lee el enunciado de la pregunta en la plantilla de la plataforma antes de firmar. El texto está fijado para ti, así que una plantilla que pregunta algo adyacente te da una respuesta precisa a esa pregunta adyacente.

Duración y el efecto mínimo detectable

Google publica la curva que decide si tu estudio puede ver algo: cuántas respuestas de encuesta hacen falta para detectar un lift absoluto dado.

La misma página resuelve un ejemplo: detectar un cambio del 0,75 por ciento requiere unas 33.000 respuestas. Contrasta eso con el efecto que de verdad esperas, porque un estudio financiado para un par de miles de respuestas no está buscando una fracción de punto.

Haz la aritmética una vez para tu propia campaña y el diseño deja de ser abstracto. Supón que esperas que la creatividad mueva la consideración un punto. En la tabla de Google, un punto cae en la banda de 20.000 a 45.000 respuestas, así que el estudio necesita esa cantidad antes de que un resultado de un punto sea otra cosa que ruido. Financia medios suficientes para recoger ocho mil y el estudio seguirá devolviendo un número. Solo que no puede devolver ese, y el informe no dirá si la campaña funcionó o si el instrumento era demasiado romo para registrarlo.

Así que lee la curva junto a los mínimos de presupuesto. En su mínimo recomendado para YouTube, Google dice que cabe esperar detección en torno a 4.100 respuestas por métrica, lo que cae en la banda donde el movimiento detectable más pequeño es de tres puntos. La misma documentación dice que una línea de alto rendimiento puede mostrar resultados a partir de unas 2.000 respuestas por métrica. Suena a buena noticia hasta que notas que 2.000 cae en la banda donde nada por debajo de cuatro puntos es detectable.

Luego está la frase que merece imprimirse en cada informe. Pasadas 16.800 respuestas sin un lift detectado, dice la documentación de Google, puede que no puedas detectar tu lift en absoluto. No el presupuesto gastado: el recuento de respuestas. Un estudio que no devolvió nada con 3.000 respuestas y otro que no devolvió nada con 16.800 están afirmando dos cosas distintas, y solo el segundo se acerca a un hallazgo.

La duración sigue la misma aritmética, no el calendario de tu campaña. Un estudio Standard Lift se completa entre tres y catorce días. Enhanced Lift necesita el triple del presupuesto mínimo estándar, dura de nueve a catorce días y existe para recoger el triple de respuestas. Las líneas de YouTube miden a lo largo del vuelo con encuestas de catorce días, y los estudios de intercambio cruzado pueden seguir hasta cuarenta días o hasta que lleguen suficientes respuestas. Una campaña de seis semanas puede medirse, por tanto, durante una semana, y nada en el informe lo dirá.

Un número más decide qué puedes desglosar. Google muestra un corte de datos solo cuando ese corte recibió al menos 250 respuestas, y 250 respuestas son un nivel, no un movimiento. Un segmento que merece informe propio necesita respuestas suficientes para superar la curva por sí solo, así que esa línea pertenece al presupuesto antes del trabajo de campo y no a un anexo después.

La regla de decisión, escrita primero

Esta no es una cuestión estadística, y por eso se salta.

La documentación de Google dice que un estudio se completa cuando alcanza su recuento objetivo de respuestas, aunque la campaña siga en marcha o queden días de vuelo. En un vuelo acelerado, sigue hasta que detecta un lift estadísticamente significativo o determina que no se puede detectar con los datos actuales.

Lee la segunda mitad dos veces. La regla de parada es de la plataforma, y la regla de parada decide qué lectura se convierte en resultado. Un estudio que termina en el momento en que alcanza significación informa de la lectura de ese momento, que no es el efecto medio de la campaña.

Nada de esto es una crítica a la plataforma. Una regla de parada es legítima, está documentada y existe para que no pagues respuestas que no necesitas. La consecuencia es más estrecha y más útil: salvo que alguien especificara lo contrario, el estudio que recibes no se construyó para darle al nulo una oportunidad justa.

La defensa es de procedimiento. Escríbela antes de lanzar y haz que la firme la persona que va a leer el resultado. Cinco campos: la métrica, la dirección que esperas, el lift mínimo que cuenta como decisión, el recuento de respuestas necesario para resolverlo y qué vas a informar si el estudio termina antes. Ese último campo es el que nadie escribe. «Si el estudio concluye antes del recuento de respuestas que fijamos, lo informamos como no concluyente» es una frase que sobrevive a un comité. Su ausencia es lo que convierte un nulo en un fallo.

Que un número como este se gane un hueco permanente en los informes es otra prueba, y la aplicamos en nuestra guía de KPI de marketing.

Brand lift frente a search lift y conversion lift

Google vende tres tipos de estudio, y la diferencia es la pregunta que responde cada uno. El brand lift pregunta si la campaña movió lo que la gente piensa y recuerda, y responde con respuestas de encuesta. El search lift pregunta si subieron las búsquedas de tu marca o de tu categoría entre quienes la vieron. El conversion lift pregunta si los medios provocaron acciones.

Un tipo por pregunta. Un informe que lleva los tres suele significar que se financiaron tres preguntas y ninguna se resolvió de antemano. Si lo que necesitas es la aritmética causal que hay detrás de la medición de conversiones, ese es otro método, desmontado en nuestra guía de test de incrementalidad. Si necesitas una respuesta sobre cuál de dos anuncios rinde mejor, ese es un experimento más barato, y la mecánica está en nuestra guía de pruebas A/B de Google Ads.

Por qué un estudio de lift devuelve un número que no puedes usar

Un resultado decepcionante tiene tres causas habituales, y solo una tiene que ver con la campaña.

La primera es una muestra dimensionada por el presupuesto y no por el efecto. El mínimo compró un estudio que podía resolver un movimiento de tres puntos, y de la campaña se esperaba un punto. Nada en el informe lo dice.

La segunda es una métrica elegida por comodidad. Era fácil de defender en la reunión de planificación y nadie comprobó que pudiera moverse dentro de la ventana que tenía la campaña.

La tercera es una regla de parada que nadie escribió. El estudio terminó cuando alcanzó significación, la lectura de ese momento se convirtió en el resultado y el nulo que podría haber producido nunca se recogió.

Por debajo de la curva del efecto que esperabas, el estudio no podría haberlo encontrado, diga lo que diga el informe. Pasadas unas 16.800 respuestas, la banda en la que se sitúa resuelve alrededor de punto y medio, así que un nulo ahí es un hallazgo. Esa distinción decide si falló una campaña o falló una medición, y solo la primera te dice qué cambiar.

Una lista de comprobación evita los errores que puedes ver antes de lanzar. La mejor que he encontrado en este campo es la lista de seis etapas previas de PulseAI, que pone el grupo de control primero, las métricas segundo y el enunciado de la encuesta tercero. Lo que una lista no puede cubrir es la tercera causa, porque la parada ocurre dentro de la plataforma mientras el estudio está vivo.

Nada de esto hace innecesario el estudio. Lo convierte en una afirmación concreta dentro de un presupuesto que tiene que sobrevivir a una revisión, y ese argumento de presupuesto es un problema aparte, desmontado en nuestra guía de marketing de marca.

Cómo se relaciona el brand lift con el recuerdo de marca

Dos instrumentos, dos afirmaciones. Medir el recuerdo de marca te da un nivel: qué proporción de una audiencia definida es capaz de traer tu marca a la cabeza cuando se le pregunta. Un estudio de lift te da una diferencia: qué cambió entre un grupo expuesto y otro no expuesto durante el periodo en que corrió la campaña.

El primero responde dónde estás. El segundo responde qué hizo la campaña. Un estudio de lift suele contener una pregunta de tipo recuerdo, lo que convierte esa guía en la entrada de esta y no en un método rival.