El sorprendente límite entre psicología y cultura

Lo que un benchmark contra poblaciones humanas reales nos enseñó sobre los respondentes sintéticos.

Durante el último año hemos estado construyendo respondentes sintéticos.

No respuestas sintéticas de encuesta. No resúmenes de IA. No personas.

Personas sintéticas — con distintas motivaciones, distintas prioridades, distintas formas de interpretar el mundo y distintas estructuras psicográficas.

Y la pregunta que más escuchamos es exactamente la correcta:

¿Cómo sabéis que no son solo promedios producidos por un modelo de lenguaje?

Es una objeción justa. De hecho, es probablemente el reto más importante al que se enfrenta hoy la investigación sintética.

Así que decidimos comprobarlo. No con una demo. No con un caso de cliente. No con un benchmark de marketing. Con datos públicos.

Y los resultados nos enseñaron algo que no esperábamos.

La prueba

Usamos la World Values Survey (WVS), Ola 7 — uno de los datasets más respetados de las ciencias sociales — como ground truth.

Generamos poblaciones sintéticas para Estados Unidos y Reino Unido, usando cuotas demográficas alineadas con la estructura poblacional de cada país. Luego comparamos sus respuestas contra las distribuciones reales de la WVS en cinco actitudes no sensibles:

• Confianza interpersonal
• Satisfacción con la vida
• Felicidad
• Actitudes hacia la competencia
• Importancia del trabajo

Nuestro objetivo no era simplemente reproducir promedios. Un modelo puede acertar un promedio por accidente. Lo que importa es si reproduce la variación.

Las poblaciones humanas no están de acuerdo entre sí. Contienen minorías, contradicciones y extremos. Si las poblaciones sintéticas colapsan hacia el centro, pueden parecer realistas mientras pierden lo que de verdad hace diferentes a las personas.

Así que evaluamos cuatro cosas: convergencia distribucional, alineamiento de medias, preservación de la varianza y las diferencias entre los dos países.

Los números

Estos son los resultados reales. Sin selección interesada. Sin reporte selectivo. Sin fallos ocultos.

Estados Unidos

Reino Unido

Cómo leer esto

La convergencia es el solapamiento entre la distribución de respuestas sintéticas y humanas, reportada como 1 menos la distancia de variación total (más alto es mejor). El ratio de varianza es la varianza sintética dividida por la varianza humana (1,0 = misma dispersión que los humanos reales; por debajo de 1,0 = más estrecha).

La dirección de las escalas varía por ítem: en confianza y felicidad, más bajo significa más confiado o más feliz; en satisfacción con la vida (0–10), más alto significa más satisfecho; competencia va de 1 (bueno) a 10 (dañino); importancia del trabajo va de 1 (muy importante) a 4 (nada importante).

La convergencia distribucional media fue de aproximadamente el 65%. Eso está claramente por encima del ruido — las poblaciones sintéticas no generaban respuestas aleatorias. Capturaban estructura real.

Pero el benchmark también expuso dos limitaciones importantes. Y esas limitaciones resultaron ser los hallazgos más valiosos.

Hallazgo 1: La varianza colapsó

Mira los ratios de varianza.

La confianza interpersonal preservó la varianza razonablemente bien (0,87 y 0,80). Pero la mayoría de las demás variables no. La satisfacción con la vida es el caso más claro: en Estados Unidos, el ratio de varianza fue de solo 0,06. Los humanos reales se reparten por toda la escala; los respondentes sintéticos se agruparon estrechamente en torno al centro.

Las poblaciones sintéticas estaban menos en desacuerdo entre sí de lo que lo están los humanos reales.

Esta es una tendencia conocida de los modelos de lenguaje — regresan hacia la respuesta más probable, produciendo distribuciones más estrechas, menos extremos, menos outliers, menos desacuerdo. Conocer el mecanismo no excusa el resultado.

No invalida el benchmark. Pero revela un reto técnico genuino: si los respondentes sintéticos van a convertirse en una metodología de investigación seria, preservar la varianza humana puede ser uno de los problemas más importantes a resolver. Es uno en el que ya estamos trabajando directamente.

Hallazgo 2: Reprodujimos los niveles de confianza, pero no las diferencias de confianza

El segundo hallazgo nos sorprendió más.

La confianza interpersonal es uno de los ejemplos clásicos de variación intercultural: en los datos de la WVS, Reino Unido reporta más confianza que Estados Unidos, y la brecha está bien documentada.

Nuestras poblaciones sintéticas reprodujeron el nivel general de confianza dentro de cada país razonablemente bien — esa es la convergencia del 90,5% y el 81,6%. Pero fallaron al reproducir la brecha entre ambos. Las poblaciones sintéticas de EE. UU. y Reino Unido devolvieron puntuaciones de confianza casi idénticas (1,72 en ambas). Las poblaciones reales no.

A primera vista, parece un fallo. Creemos que revela algo más interesante.

El límite entre psicología y cultura

El benchmark forzó una pregunta más fundamental: ¿qué está modelando realmente nuestro sistema?

La respuesta parece ser psicología más que cultura.

Nuestra arquitectura está diseñada para crear variación entre individuos — distintas motivaciones, prioridades, estructuras psicográficas y formas de dar sentido al mundo. Lo que modela con menos fuerza son las fuerzas institucionales e históricas que dan forma a sociedades enteras.

La confianza no es una variable puramente psicológica. También es cultural e institucional — emerge de normas sociales, instituciones cívicas, experiencia histórica, expectativas colectivas, narrativas compartidas. Esas fuerzas existen por encima del nivel individual, y nuestro benchmark sugiere que deberían tratarse como una capa de modelado separada, en lugar de asumir que emergen automáticamente de la psicología individual.

Esto no es algo que descubriéramos por accidente. Es una condición de frontera. Y entender las condiciones de frontera es parte de tomarse en serio una metodología.

Por qué esto importa más de lo que parece

Si nuestro objetivo hubiera sido demostrar un realismo poblacional perfecto, este benchmark sería decepcionante. Afortunadamente, eso no era lo más importante que aprendimos.

La mayoría de las decisiones comerciales no se toman entre países. Se toman entre tipos de cliente.

Distintas motivaciones, ansiedades, prioridades y estilos de decisión. Un equipo de producto rara vez necesita la puntuación media de confianza de una nación. Necesita entender por qué un segmento abraza una propuesta mientras otro la rechaza.

Eso es fundamentalmente un problema de variación psicológica, no de promedios nacionales — y este benchmark sugiere que la variación psicológica puede ser precisamente donde los respondentes sintéticos son más fuertes.

Esa es la prueba que ejecutamos a continuación: si distintos perfiles psicográficos divergen como predice la teoría establecida. Aún no hemos publicado ese resultado, así que no lo afirmaremos aquí — pero lo reportaremos con la misma transparencia que este, incluso si nos decepciona.

Lo que este benchmark no demuestra

Este benchmark no demuestra validez predictiva. No prueba que los respondentes sintéticos puedan predecir intención de compra, disposición a pagar, elección de marca o adopción de producto. Tampoco demuestra utilidad comercial. Esas preguntas requieren estudios prospectivos, comparaciones paralelas humano-sintético y resultados de decisión en el mundo real.

Aborda una pregunta más básica: ¿exhiben las poblaciones sintéticas una estructura similar a la humana? La respuesta parece ser parcialmente sí — con las salvedades importantes ya mencionadas.

Un marco de validación mejor

Este proyecto también cambió cómo pensamos sobre la validación. El realismo poblacional no debería ser la línea de meta. Debería ser el punto de partida. Una jerarquía más útil:

• Nivel 1 — Realismo poblacional. ¿Se parecen las poblaciones sintéticas a las reales?
• Nivel 2 — Realismo psicográfico. ¿Divergen coherentemente los distintos perfiles psicológicos?
• Nivel 3 — Reproducibilidad. ¿Producen resultados estables las ejecuciones repetidas?
• Nivel 4 — Convergencia humana. ¿Se alinean los hallazgos con investigación humana paralela?
• Nivel 5 — Utilidad predictiva. ¿Mejoran las decisiones los insights resultantes?

Solo los dos últimos establecen valor comercial. Pero los tres primeros establecen credibilidad — y la credibilidad es el recurso que la investigación sintética más necesita ahora mismo.

Una nota sobre transparencia

La World Values Survey Ola 7 es anterior a los modelos frontera actuales y puede estar parcialmente representada dentro de sus corpus de entrenamiento. Por esa razón no tratamos esto como prueba de validez predictiva — un modelo puede puntuar bien por memoria en lugar de por fidelidad. Lo tratamos como un benchmark de realismo poblacional: útil y necesario, pero no suficiente.

Estamos publicando la metodología, e invitamos a cualquiera que esté construyendo respondentes sintéticos a ejecutar la misma prueba y publicar sus propios números — ratios de varianza incluidos. El objetivo no es ganar una discusión. Es darle a la categoría una forma compartida y reproducible de preguntar qué tan cerca es suficientemente cerca.

Lo que aprendimos

Empezamos este benchmark intentando responder una pregunta simple: ¿son los respondentes sintéticos solo promedios?

La evidencia sugiere que la respuesta es no — llevan señal real y estructurada. Pero también reveló algo más interesante: modelan bien la variación psicológica significativa, y reconstruyen mucho peor las fuerzas institucionales y culturales que dan forma a sociedades enteras.

Esa distinción importa. Nos dice dónde es fuerte la tecnología, dónde aún necesita trabajo y dónde puede estar realmente el futuro de la investigación sintética.

La investigación sintética no se volverá creíble porque lo acierte todo. Se volverá creíble cuando entendamos con precisión dónde se equivoca.

Referencias y lecturas adicionales

• Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337–351.
• Park, J. S., Zou, C. Q., Shaw, A., et al. (2024). Generative Agent Simulations of 1,000 People. Stanford University.
• Larooij, M., & Törnberg, P. (2025). Validation is the Central Challenge for Generative Social Simulation. AI Review (Springer).
• Morocho, E. E. T., Cima, L., Cresci, S., et al. (2026). Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents. WWW 2026 Companion.
• Bisbee, J., Kennedy, R., & Goel, S. Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis.
• Haerpfer, C., et al. (eds.). World Values Survey: Round Seven. WVS Association.