（艾力森使用AI分析）

基于对2024—2026年间发表的关键实证研究的系统梳理，本报告的核心判断是：合成数据分析法当前处于“条件性工具”阶段，而非“确立的专业方法”。 它在特定边界内（探索性研究、方向性判断、仪器测试）已有可验证的实用价值，但其理论基础尚不充分，系统性偏差机制尚未被充分理解，且不同AI模型间的结果可比较性远未建立。它既不是“根本不能用”，也远未达到可以脱离人类数据独立使用的成熟度。

一、当前尝试的效果：一致的成功与一致的失败

1.1 正面证据：方向性任务表现良好

多项研究一致表明，合成数据在捕捉总体趋势和方向性模式方面表现显著优于随机水平。NIM的研究显示，合成受访者在品牌漏斗任务中正确再现了“知名品牌被选择概率更高”的总体模式，合成参与者与真实参与者的选择平均匹配率约为79%。智利公共 opinion 研究的合成数据在信任项目上达到F1-score和准确率均超过0.90的表现，且45—59岁群体的合成—人类对齐度最高。伦敦政治经济学院和纽约大学的研究也发现，AI合成受众在大多数测试问题上落入了真实人群的响应范围。

1.2 负面证据：三个系统性失败模式

然而，跨研究的负面发现呈现出高度一致的系统性模式，而非随机误差：

失败模式一：方差压缩。 这是最普遍、最稳定的发现。合成数据的受访者间变异显著低于真实数据。社会科学的系统评估进一步确认，LLM生成的样本“大大低估了响应方差”，且这一发现跨不同LLM模型成立。方差压缩意味着合成数据无法反映真实人群的意见多样性，这对任何涉及分布分析、细分或尾部行为的研究都是致命缺陷。

失败模式二：正向态度系统性高估。 合成受访者一致性地高估积极态度，对知名品牌的偏差尤为显著。在7点Likert量表上，合成答案与真实答案的平均偏差达到1.2分。这意味着合成数据倾向于“报喜不报忧”，可能严重误导产品评估和品牌策略。

失败模式三：人格条件化（persona conditioning）反而恶化了模拟质量。 一项基于世界价值观调查（WVS）美国微观数据、覆盖超过70,000个受访者—项目实例的研究发现，人格提示并未产生明确的总体改进，在许多情况下反而显著降低了性能。更严重的是，人格效果高度异质——大多数项目变化极小，但少数问题和代表性不足的子群体经历了不成比例的扭曲，导致人口条件化实际上是在“重新分配误差”，破坏了子群体保真度。

Prolific的研究进一步量化了这一失败：基于人口统计学人格的个体级模拟，其分布误差是直接要求模型给出聚合分布的三倍，人格“坍缩”到刻板化的模态答案上。

二、科学理论依据：薄弱且不完整

2.1 核心理论问题：LLM模拟的是“关于人的文本”，而非“人的认知”

合成数据分析的根本理论困难在于：LLM的训练目标是预测文本序列中的下一个token，而非模拟人类认知过程。正如一项评论尖锐指出的：“合成受众模拟的不是人，而是人们在网上被谈论的方式”。语言模型擅长检索和综合已知的行业权衡，但这是在“关于消费者的文本”层面运作，而非在“消费者的心理过程”层面运作。

2.2 双过程理论与LLM的认知模拟

认知心理学的双过程理论（系统1：快速、直觉、启发式；系统2：缓慢、分析、审慎）为评估LLM的认知模拟能力提供了一个关键理论框架。研究表明，LLM可以通过特定提示方法模拟系统1式的响应（表现认知偏误和使用启发式）和系统2式的推理（链式思维提示）。然而，问题在于：真实消费者的购买决策往往涉及情感、情境约束、身体体验和社会压力等系统1因素，这些并非LLM的“模拟”能力可以覆盖的。

2.3 理论基础的缺失

现有文献的一个显著特征是：大多数合成数据研究是经验性的基准测试，而非理论驱动的验证。 《营销分析杂志》的研究议程明确指出，核心问题已从“能否生成合成受访者”转变为“在什么理论、方法和伦理条件下，合成数据可被视为足够有效”。这表明该领域自身承认理论基础的不足。

抽样理论是传统调查研究的理论基石——它提供了从样本推断总体的数学保证。但正如德国市场研究协会（BVM）所指出的，“无论数据量多大，都无法撼动抽样理论的基础”。合成数据完全绕过了概率抽样框架，因此传统调查的统计推断逻辑对其不适用。Ipsos的研究进一步揭示，天真地将合成数据当作真实数据进行统计检验，可以将假阳性率从标准的5%推高至80%。

三、实操适用边界：基于证据的划分

3.1 可以使用的分析类型

基于多项研究的共识，合成数据在以下场景中已有可验证的实用价值：

（1）假设生成与探索性研究。 合成参与者可用于生成假设和可能的反对意见、试讨论指南和问卷、筛选早期概念或信息变体。这些是探索性用途，应缩小搜索空间，而非制造确定性。

（2）问卷与实验仪器预测试。 在正式田野调查之前，合成数据可以帮助发现问题的措辞问题、答案选项的清晰度问题以及潜在的框架效应。

（3）方向性情绪与排序。 合成群体能够可靠地捕捉反馈的方向性极性——正确区分薄弱方案与有吸引力的方案，尽管无法衡量精准的情感强度。

（4）子群体比较。 当持久化画像建立在不同的运营约束和职业目标之上时，合成测试有助于比较不同客户群体对相同宣传材料的反应。

（5）难触达群体的补充性提升。 在严格控制比例的前提下（如Strat7建议的不超过总样本的5%），合成数据可用于增强代表性不足的人口群体的样本量，但仅限于基础层面的分析。

3.2 不可使用的分析类型

以下场景的失败有充分的实证证据支持：

（1）细分分析（segmentation）。 Strat7的研究明确得出结论，合成数据不适合涉及细分、关键驱动因素或行为预测的分析。合成数据在复杂分析中缺乏真实人群的逻辑一致性，出现“聚集效应”——量表极端响应减少。

（2）关键驱动因素分析。 同上研究指出，关键驱动因素分析产生了发散性结果，合成数据无法可靠地复现真实数据中的驱动因素结构。

（3）精准支付意愿与价格弹性。 合成画像没有预算约束、职业风险或实际购买力，因此无法预测实际转化率、需求规模或精准支付意愿。Minds平台的指南也明确指出，合成数据不适用于基于Gabor-Granger方法的代表性价格弹性测量。

（4）高层次中介路径分析。 计算社会科学的研究发现，模拟数据集虽然在一阶统计保真度（均值、相关性）上表现优异，但在更高阶的中介路径上失败，验证了合成数据无法保留真实人类数据的潜在结构和中介机制。

（5）高风险决策场景。 当决策涉及法律、医疗、政治、监管或安全关键事务时，必须使用招募的真实参与者、观察到的行为或其他适当的现实世界数据源。

（6）人口估计与置信区间。 合成数据无法提供有效的置信区间或代表性声明。在完全合成数据中，抽样误差根本无法讨论。

四、风险使用还是根本不能用？

4.1 核心结论：可用但须严格约束

合成数据分析法可以使用，但属于高风险管理，必须满足严格的使用条件。它不是“根本不能用”——在探索性研究、仪器测试和方向性判断中已有可验证的实用价值。但它也远未达到可以替代人类数据的成熟度。

4.2 关键风险

（1）方法学黑箱与不可比性。 供应商在相同标签下提供根本不同的方法，而研究人员长期依赖的数据质量检查正在被专门设计来规避这些检查的工具所超越。不同“合成数据”产品之间的方法论差异如此之大，以至于“将电子表格和神经网络都称为'计算机'”——这种混淆严重阻碍了验证要求的标准化。

（2）分析灵活性的威胁。 研究表明，硅样本的输出对样本生成过程中的分析选择高度敏感。两个不同的研究者用相同的硅样本做同一项研究，可能得出不同的结论，仅仅因为他们在模型、提示和参数设置上的“可辩护的配置选择”不同。

（3）模型坍缩的递归风险。 当合成数据被用于生成新的合成数据时（递归训练），理论上证明会导致指数级的误差增长，除非有足够的真实数据进行缓解。这意味着合成数据管道在真实数据覆盖碎片化或稀缺时需要特别谨慎。

（4）误差的非随机性。 模型犯的错误不是随机的，而是系统性地围绕某些主题聚集。这意味着合成数据的偏差不会通过增大样本量来消除，反而可能随着规模扩大而加剧误导。

4.3 使用条件的严格约束

基于Prolific研究的发现，如果必须使用合成数据，以下条件可以降低风险：

使用概率分布 elicitation（每个画像给出分布）而非单一强制答案，可将误差降低35%—48%；

纳入真实访谈记录（而非仅人口统计学标签）可减半方差坍缩；

合成数据必须与独立的人类数据或行为证据进行验证，而非仅依赖供应商自己的基准测试；

透明度要求：必须披露合成数据的使用，包括其目的和生成方式，并满足与真实数据相同的质量标准。

五、AI运算机理的针对性验证：一个被忽视的必要步骤

5.1 不同模型间的差异需要系统性验证

现有证据表明，不同LLM在合成调查模拟中的表现存在显著差异。智利研究的评估覆盖了OpenAI的GPT系列和o系列推理模型，以及Llama和Qwen检查点，发现GPT-4o、GPT-4o-mini和Llama 4 Maverick在信任项目任务上表现相当，但这仅仅是针对一个特定任务的发现。多模型评估研究进一步指出，主流LLM（GPT-3.5/4 Turbo、LLaMA 3.0/3.1-8B）在预测性能上呈现一致的趋势，但也展示了不同的失败模式。

5.2 运算机理的差异性意味着不可通用验证

一个关键的、常被忽视的问题是：在一个LLM模型上验证的合成数据方法，不能直接迁移到另一个模型。 不同模型的训练数据构成、文化偏差模式、推理机制（如是否存在显式的推理token）均不同。例如，GPT的训练数据被指出存在“与美国的文化距离越大，偏差越大”的问题。这意味着合成数据的效度是模型特定、任务特定、受众特定的，而非一个可以跨模型通用的属性。

5.3 双过程视角下的机理验证需求

从双过程理论的角度，不同LLM在模拟人类决策时的认知机制可能存在根本差异。有些模型更倾向于系统1式的快速启发式响应（表现为认知偏误），有些则通过链式思维提示模拟系统2式的审慎推理。如果合成数据的目标是模拟真实消费者的决策——而这通常混合了系统1和系统2的过程——那么针对特定LLM的“认知模拟特征”进行映射和验证是必要的，而非可选的。

5.4 验证框架的初步发展

目前已有研究者开始构建系统化的验证框架。例如，有研究提出了三个独立的验证器：人类专家一致性审计、基于LLM的程序化审计和留一法验证，将统计合理性与业务可接受性区分开来。另一项研究提出了“解释驱动”的审计框架，通过可解释的假设类来比较真实数据与合成数据所诱导的解释结构，将合成数据评估转化为人类可审计的解释比较。但这些框架仍处于早期发展阶段，远未形成行业标准。

六、对核心结论的回应

6.1 “合成数据分析方法目前还只是一个有待求证的问题，而非一个专业方法”

这个结论大体正确，但需要精确化。更准确的表述是：

合成数据分析法目前处于 “前范式阶段” ——它有分散的实证发现、初步的验证框架和明确的使用边界，但缺乏：统一的理论基础（为什么LLM应该能模拟人类消费者？）；跨模型、跨任务的通用效度证据；行业公认的验证标准和误差度量；以及对其系统性偏差机制的完整理解。

6.2 关键区分

该结论需要在一个重要维度上加以精确化：合成数据分析法在“探索性工具”的意义上已经是一个可用的方法，但在“确证性方法”的意义上仍然是一个有待求证的问题。

作为探索性工具：有明确的适用边界、有可操作的验证程序、有业界的伦理共识（如ICC/ESOMAR 2025 Code对合成数据的定义和披露要求）。在这个意义上，它已经超越了“有待求证”的阶段。

作为确证性方法：缺乏理论基础、缺乏跨情境的效度证据、存在未被充分理解的系统性偏差。在这个意义上，它确实仍然是一个有待求证的问题，不应被视为一个可以独立支撑决策的专业方法。

三层光谱：

安全区：预研、测试、假设、扩稀缺小样本（混合 + 校验）；

谨慎区：相对偏好 / 概念排序，必须标注方法 + 真人小样本验证；

禁止区：正式总体推断、细分、追踪、驱动、定性洞见、高 stakes 决策。

6.3 最终判断

《营销分析杂志》2026年的研究议程给出了一个恰当的定性：合成数据展现了“相当大的前景”，但也揭示了“系统性差异，需要在合成数据成为营销研究工具箱中一个确立的组成部分之前进行更多的调查”。这一判断与本报告的分析一致：合成数据分析法有前景、有条件可用、但尚未确立。 任何将其作为独立决策依据的使用，在当前阶段都是方法论上不负责任的。

参考文献

1. Kaiser, C., Kaiser, J., Schallner, R., Manewitsch, V. & Rau, L. (2026). Leaving Insight to Digital Twins? Promise, Progress and Limits of Synthetic Respondents. NIM Marketing Intelligence Review, 18(1), 48-53.

2. From human panels to silicon samples: a research agenda for synthetic data in marketing research. Journal of Marketing Analytics, 2026.

3. Prolific study: Synthetic respondents can’t replace human measurement. Research Live, 2026-08-24.

4. Taday Morocho, E. E., Cima, L., Fagni, T., Avvenuti, M. & Cresci, S. (2026). Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents.

5. Strat7: Synthetic data ‘lacks logical consistency’. Research Live, 2025-07-01.

6. Ipsos: Calibrating Synthetic Confidence.

7. Minds: 合成受访者与真实受访者：准确性评估.

8. AI Customer Research in 2026: Evidence, Limits, and Validation. Minds.

9. Surveying with AI: Simulating Human Responses Using Personalized LLM Agents. IEEE, 2025.

10. Dual-process theory and decision-making in large language models. 2025.

11. Self-Verification Provably Prevents Model Collapse in Recursive Synthetic Training. NeurIPS, 2026.

12. Reproducibility and credibility in computational social science: Testing the fidelity of GenAI-generated data. ScienceDirect, 2026.

13. ESOMAR/ICC International Code 2025: Synthetic data guidance.

14. Cummins, J. The threat of analytic flexibility in using large language models to simulate human data. SAGE, 2026.

15. Synthetic Audiences Don‘t Model People. Advertising Week, 2026.

16. BVM: Auf dem Prüfstand: Silicon Samples.