Pre-registramos una predicción a favor de nuestro producto. Los datos dijeron que no. La publicamos.

Antes de ver un solo dato, sellamos una predicción por hash criptográfico: que la capa psicométrica que añade nuestro motor es la que hace que ocho mercados respondan distinto ante el mismo dilema. Era la predicción que favorecía al producto. La registramos, junto al instrumento y el plan de análisis completo, y nos comprometimos por escrito a publicar el resultado saliera como saliera.

Salió que no. Pero el estudio salió con dos titulares, no uno — y el que confirma lo que construimos es tan fuerte como el que nos falsó. Este es el writeup al que nos comprometimos.

Qué es el estudio

El objeto no es la psicología de ocho países. Es una pregunta de validez de constructo para todo el campo de los respondentes sintéticos: cuando una población sintética difiere por país, ¿qué capa del procedimiento de generación produjo esa diferencia? Casi nadie la aísla, así que la respuesta suele ser una conjetura. Construimos los controles para dejar de conjeturar.

Lo que sí demostramos (y es lo que define un segmento)

El resultado más fuerte del estudio es también el que importa comercialmente. Fija el perfil de valores de una persona sintética en el polo opuesto y su conducta cambia en la dirección predicha, en los ocho mercados — el efecto más grande de todo el estudio. Ejemplo concreto: la conducta "al final la decisión es mía" aparece en el 76% del perfil orientado al crecimiento frente al 42% del conservador.

Esto no es un detalle técnico: es exactamente lo que promete el producto. Cambias el vector de la persona y su comportamiento cambia, de forma coherente, controlable y trazable. Ahora tenemos la evidencia pre-registrada de que el mecanismo hace lo que decimos que hace. Eso es lo que es un segmento definido: no una muestra al azar, sino un perfil que puedes fijar y defender.

El resultado completo: dos ejes con fuentes distintas

Las diferencias entre mercados también son reales (tamaños de efecto de 0,17 a 0,38, reproducibles en tres semillas de generación independientes). Pero no vienen de nuestra capa psicométrica. Una celda de control con la capa retirada muestra la misma estructura entre mercados; una versión de prompt plano sobre el mismo modelo base tampoco muestra degradación. Dos controles independientes, hechos para pillar cosas distintas, apuntan al mismo sitio.

Lo que emerge es una separación limpia entre dos ejes que la práctica tiende a confundir:

La parte que casi ninguna empresa puede publicar: nos corregimos a nosotros mismos

Nuestra primera lectura del dato sugería algo más fuerte —que la celda sin la capa psicométrica tenía más estructura entre mercados, una "inversión"—. Habría sido un resultado llamativo. No nos fiamos. Comprobamos si era un artefacto de que nuestro propio codificador fuera más ruidoso sobre una celda que sobre otra, y lo era: alrededor del 79% de la aparente inversión era ruido de medición. Así que retiramos la afirmación fuerte y nos quedamos con la firme y más pequeña: la capa no añade estructura entre mercados. Cazamos nuestro propio over-claim antes de publicar, no después.

Qué SÍ afirmamos, y qué NO

En dos columnas, porque la distinción es el producto:

Sí afirmamos

• Que fijar el perfil psicométrico produce un segmento distinto, coherente y estable dentro de un mercado — confirmado en los ocho, con las direccionales predichas cumplidas. Es el eje que gobierna la capa, y es el que vendemos.
• Que la estructura entre mercados es real y reproducible entre semillas.
• Que todo esto es auditable: pre-registro por hash, 2.600 respuestas con etiquetas y código con semillas fijas, abiertos.

No afirmamos

• Que nuestra capa psicométrica capture la cultura de cada país. No lo hace — esa es la predicción que el dato falsó. La estructura entre mercados la renderiza el modelo base; un segundo modelo, con idéntico país e idioma, no diferenció los mercados en absoluto. Las etiquetas de mercado denotan el contexto de generación, no un país.
• Que esto esté "validado". La codificación humana ciega ya se ha hecho — ver la actualización al final. Dos de las seis conductas superaron el listón que habíamos pre-registrado; la puerta en conjunto no, así que la palabra sigue sin aplicar. Ese listón lo pusimos nosotros, antes de que hubiera dato alguno, y reportamos contra él pase lo que pase: eso es lo que separa un estudio auditable de una cifra auto-reportada.

Para ser exactos con lo que gobierna la capa psicométrica, porque es fácil de resumir mal: gobierna la divergencia de perfil dentro de un mercado —lo que define un segmento, confirmado 8/8— y no la estructura entre países. Son dos ejes distintos con fuentes distintas; confundirlos es justo el error que este estudio existe para corregir.

Por qué lo publicamos

El resultado tiene una cara incómoda para nosotros: la capa que añade nuestro producto no hace una de las cosas que su valor de mercado invitaría a suponer. Lo publicamos igual porque un estudio que puedes auditar —pre-registrado por hash, datos y código abiertos, resultados en contra de nuestro propio interés incluidos— vale más que una cifra de validación que nadie puede comprobar. Un escéptico puede reejecutar todo el análisis y ver que no movimos la portería. Ese es todo el objetivo.

Y la cara que no es incómoda es la que de verdad importa para quien nos compra: demostramos, con evidencia sellada, que el mecanismo que vendemos —perfiles que producen segmentos distintos y trazables— hace exactamente lo que decimos. Preferimos ser los que publican el estudio que va en contra de una parte de su propio producto, y prueban la parte que sí, que los que no pueden publicar ninguna de las dos.

Actualización, 6 de septiembre de 2026 — la codificación humana ya está hecha

Dijimos que la validación humana era la siguiente fase. Ya ha ocurrido, y esto es lo que encontró. Reclutamos a 27 personas en Prolific y les dimos a leer 120 de las respuestas a ciegas: traducidas al inglés, sin ninguna pista de su mercado de origen, y sin decirles en ningún momento que los textos eran sintéticos ni que la tarea se llamaba codificar. Antes de los ítems reales, cada una contestó tres preguntas de respuesta conocida; siete fallaron esa calibración y quedaron fuera del análisis, que no del pago, y los bloques que habían cubierto se relanzaron con un sustituto. Tras esas exclusiones, cada uno de los 120 textos queda con exactamente dos lecturas independientes.

Dos de las seis conductas salieron limpias: el acuerdo entre nuestro clasificador sellado y el consenso humano llegó a 0,93 y 0,96. Pero habíamos escrito la puerta como la conducta más débil, antes de tener ningún dato, y con esa regla no pasa: 0,62 frente al 0,70 al que nos habíamos comprometido. H2 y H3 siguen por tanto sin confirmar, exactamente como exige la cláusula de fallo pre-registrada.

Lo interesante es el porqué. No es que el clasificador lea mal los textos. Es que las lectoras discrepan entre ellas: en cuatro de las seis conductas, dos personas leyendo la misma respuesta no coinciden en si la conducta está presente. Donde no hay acuerdo humano no hay criterio contra el que medir a una máquina. El problema es nuestra taxonomía, no nuestro codificador.

Eso tiene una consecuencia que merece decirse para todo el campo, y es lo más útil que ha producido esta fase. Nuestros dos jueces basados en modelos de lenguaje coincidieron entre sí cerca del 90% de las veces sobre los mismos constructos en los que dos personas no llegan a un alfa de Krippendorff de 0,5. El acuerdo entre modelos de lenguaje es fácil de obtener y fácil de confundir con validez: mide la estabilidad de un procedimiento, no la existencia de la categoría. Solo la codificación humana ciega separa una cosa de la otra, y por eso la pagamos.

Lo que viene ahora es el trabajo ordinario de un programa de investigación. Reescribimos las definiciones de las cuatro conductas que las lectoras no supieron aplicar de forma consistente y recodificamos los mismos 120 textos — el dato ya está recogido y sellado, así que eso cuesta una reescritura y no un estudio nuevo. En paralelo, el brazo humano de respondentes, donde personas reales contestan el mismo dilema en vez de codificarlo, está preparado y sellado; ese es el paso que decide si las respuestas sintéticas convergen con las humanas. El paper está ya en v2.1 con el resultado completo de Fase 2 dentro, datos y código incluidos.

Si haces investigación cualitativa, nos gustaría de verdad saber dónde esto te engañaría. Ese hueco es lo que buscamos.