为何大语言模型总爱用“delve”，这对AI对齐意味着什么

基础模型：Llama 3.2‑3B Base——未经人类反馈微调的标准语言模型。

指令微调模型：Llama 3.2‑3B Instruct——相同架构，但经过直接偏好优化（DPO）（一种通过最大化人类偏好分数实现LHF的技术）。

数据源：从PubMed（2020年）选取10,000篇科学摘要（确保其成文于LLMs普及前，代表人类基准）。

过滤：剔除少于40词的摘要，保留9,853篇。

生成续写：将每篇摘要分为两半，以前半段为提示输入模型：

续写以下学术文章：'{前半段}'  

模型生成续写内容（长度不超过输入的两倍）。

清洗：使用GPT‑4o自动去除生成循环、元评论及非摘要内容的杂项文本。

生成语料库：

基础模型续写：约230万词

指令模型续写：约220万词

词性标注：通过 spaCy (v3.8.3) 标记每个词汇（如名词、动词），区分同形异义词（如“run”作动词或名词）。

词元归并：将词汇还原为词典形式（如“delve”“delves”“delving”→“delve”）。

频率计算：对每个词元-词性组合计算每百万词出现次数（opm）。

卡方检验比较两语料库的词汇计数。

显著性上升（p < 0.01）的词汇被标记为潜在LHF诱导项。

生成变体：将50篇随机PubMed摘要转化为关键词列表，输入Llama Instruct生成每篇500个变体（共25,000个）。清洗后保留8,710个有效变体。

评分：为每个目标词汇分配LHF分数（基于其在指令模型中的相对增幅），变体总分为所含词汇分数之和。

筛选对比组：对每篇摘要，选取LHF分数最低与最高的变体，最终保留差异最大的30组作为实验刺激集。

人类受试者：通过Prolific招募400名参与者（主要来自全球南方），每人评估25组（20组关键对比，5组控制组）。剔除低质量数据后保留4,039条有效评分（≈每组135次评分）。

统计分析：主检验为卡方检验（对比高/低LHF分数选择比例与50/50基准），辅以混合效应逻辑回归验证稳健性。

总体偏好：52.4%的案例中参与者选择高LHF分数变体，虽微弱但显著高于随机水平。

混合效应模型：逻辑回归（含受试者与项目的随机截距）确认固定效应显著，表明偏好模式跨文本与人群均成立。

词汇特异性：当高分数变体含“nuanced”时，偏好率反降至46.6%，暗示某些过度使用词汇若过于显眼可能适得其反。

对齐与错位：LHF旨在使模型对齐人类偏好，但实际对齐的是LHF劳动力（多为全球南方年轻群体）的偏好，可能与终端用户（学者、记者）反对的“delve效应”冲突。

语言演变：某些术语的过度使用早于LLMs，LHF可能加速代际语言变迁，使模型模仿反馈提供者的语言习惯。

数据透明度：不透明的LHF流程（未公开数据集、隐藏工作者人口统计）阻碍诊断与修正偏差。公开LHF数据可实现针对性去偏。

缓解措施：研究者的检测流程（第2部分）为开发者提供低成本自动化工具，可在模型发布前识别极端词汇过度使用。结合劳动力多样化或偏好数据再平衡，或减少“AI词汇”泛滥。

AI文本检测：过度使用词汇是LLM输出的标志，此方法可改进AI文本检测工具（如基于相对熵或概率曲率的工具）。