“共发放问卷 520 份,回收 498 份,剔除无效问卷 30 份,最终有效样本 468 份,有效回收率 90.0%。”这是论文方法部分最常见的写法,也是最容易被答辩老师和审稿人追问的写法。它的问题在于:读者只知道你删了 30 份,却不知道这 30 份是谁、因为什么被删、剩下的 468 份经过了哪些处理,以及换一种处理方式后结论是否仍然成立。一句话把清洗过程压缩成一个数字,等于把可复核的研究步骤变成了不可验证的个人判断。

下面按“原始样本—剔除记录—缺失值处理—异常值判断—最终分析样本”这条线索,说明每一段该写什么、写到什么颗粒度、放正文还是附录,并给出可以直接改写套用的段落模板。

先看三种典型薄弱写法

第一种:只交结果,不交过程。

“剔除无效问卷后,最终获得有效样本 468 份。”

“无效”是结论,不是标准。读者无法判断剔除是否与研究变量有关,也就无法判断样本是否存在选择性偏差。

第二种:标准含糊,无法计数。

“剔除作答不认真、填写不完整的问卷。”

“不认真”没有操作定义,既不能复核,也无法在不同研究者之间保持一致。至少要说明:依据哪一题、哪个阈值、判定为不认真。

第三种:只报告“处理成功”的版本。

“对缺失值采用均值填补,对异常值进行了剔除,数据质量良好。”

没有缺失比例、没有异常值判定依据、没有处理前后的对比。这类写法最容易掩盖一个问题:换一种处理方式,结论可能就不显著了。

三种写法的共同点,是把清洗写成了“已经处理好了”的宣告,而不是“我是怎么处理的、你可以怎么检查”的交代。方法部分的功能是让同行能按你的描述重做一遍,并得到同样的分析样本。

用一条线索把清洗过程串起来

可复核的方法段落,本质上是五个环节的连续交代,每个环节都要有起点数量、判断标准、处理动作和剩余数量:

  1. 原始样本:发放、招募或下载的初始数量及其构成;
  2. 剔除记录:逐条列出剔除标准及各自剔除的数量;
  3. 缺失值处理:缺失比例、缺失模式、处理方法与理由;
  4. 异常值判断:判定依据、处理方式、处理数量;
  5. 最终分析样本:进入实际统计模型的样本量及与原始样本的差异。

这条线索最好用一个流程表承载,正文用文字说明“为什么这样定标准”,表格承担“具体删了多少”。文字负责论证,表格负责计数,两者不要混在一起。

剔除标准:先定规则,再逐条计数

剔除标准最容易出问题的地方,是标准与结果的关系。判断一条标准能不能写进论文,可以先问自己:这条标准是在看到主要结果之前就能确定的吗?如果某条标准只有在对结果不利的个案身上才成立,它就不是清洗标准,而是事后挑选。

几条实践原则:

  • 标准要有操作定义。 比如“作答时间短于问卷中位数的三分之一”“连续 10 题选择同一选项”“注意力检验题答错”,都可以计数;而“回答质量差”不可以。
  • 标准要逐条列出,不要合并。 把重复提交、关键变量缺失、逻辑矛盾合并成“无效问卷 30 份”,读者就无法判断哪类问题占主导。
  • 标准要说明来源。 是研究设计阶段预设的,还是数据检查后补充的,必须区分。事后补充的标准要写明理由,并做敏感性分析。
  • 保留与剔除的样本要可比。 如果剔除比例较高,应比较剔除样本与保留样本在人口学变量上的分布,说明剔除是否带来了结构性差异。

正文写法可以是这样:

样本筛选遵循研究设计阶段预设的三条标准:一是重复提交,依据同一 IP 地址与同一学号在 24 小时内出现两次及以上记录判定;二是关键变量缺失,即核心自变量或因变量整题未作答;三是逻辑矛盾,即在互斥题项上出现互相冲突的作答。三条标准依次执行,剔除数量分别为 12 份、15 份和 3 份,样本由 520 份降至 490 份。

这段话没有一句废话,但每一个数字都能被追溯。

配套的记录表建议长这样:

步骤处理标准判定依据处理数量剩余样本
1原始样本发放 520 份—520
2重复提交同一 IP 与学号 24 小时内重复12508
3关键变量整题缺失核心自变量或因变量全空15493
4逻辑矛盾互斥题项冲突作答3490
5缺失值处理见下节—490
6异常值处理见下节6484

表格放在正文,个案清单放附录。正文表格的作用是让读者一眼看到样本是怎么一步步变小的。

缺失值处理:先诊断,再决策,最后交代影响

只写“缺失值采用均值填补”是远远不够的,因为这句话没有回答三个关键问题:缺了多少、为什么缺、填补之后结论会不会变。

必须报告的诊断信息:

  • 总体缺失比例,以及缺失最严重的几个变量的缺失率;
  • 缺失的分布形态:是集中在少数个案,还是分散在多个变量;
  • 缺失是否与其他变量相关。这一步决定了后续能不能假设缺失是随机的。

必须交代的处理决策:

  • 采用哪种方式:整例删除、成对删除、单一插补(均值、中位数、回归)、多重插补等;
  • 为什么选它:样本量、缺失比例、缺失机制假设;
  • 处理前后的样本量和变量分布变化。

容易被忽略的一步:敏感性分析。 用另一种合理方式重做主要分析,看结论方向是否一致。如果均值填补和多重插补给出的结论相反,那本身就是需要报告的事实,而不是应该隐藏的麻烦。

正文示例:

全部变量整体缺失比例为 3.2%,其中“工作年限”缺失率最高(7.8%),其余变量均低于 5%。缺失主要集中在少数个案,未发现缺失与主要自变量存在系统性关联。考虑到缺失比例较低且样本量有限,主分析采用整例删除,最终进入分析的样本为 472 份。作为稳健性检验,另采用多重插补重新估计主要模型,核心系数的方向与显著性未发生实质变化(见附录表 A2)。

注意这段话的结构:比例—分布—机制判断—方法—理由—样本量—稳健性。七件事,缺一件就会被追问。

异常值判断:先分清是错误还是真实极端值

异常值处理最常见的错误,是把“看起来离群”直接等同于“应该删除”。异常值至少分三类,处理方式完全不同:

类型表现处理方式
录入错误超出量表取值范围、单位错误回溯原始记录更正,无法核实的按缺失处理
逻辑错误跳答矛盾、年龄与工龄冲突依据问卷逻辑规则判定,更正或作缺失
真实极端值取值合法但远离主体分布保留为主,辅以缩尾或稳健估计做检验

第一类和第二类属于数据错误(清理),第三类属于分布特征(处理)。论文里必须把这两件事分开写,否则读者会误以为你在删掉不合心意的数据。

统计上的判定依据要写明名称和阈值来源,例如“采用箱线图规则,将超出上下四分位数 1.5 倍四分位距的观测记为疑似异常值”“采用标准化残差绝对值大于 3 作为判定标准”。不需要推导公式,但要说清楚用的是哪条规则、阈值从哪来。

处理方式也要说清:更正是最优先的,保留加稳健性检验是次优的,缩尾(把极端值替换为某个分位数)要说明替换到哪个分位,直接剔除要给出数量并说明剔除后结论是否改变。

正文示例:

连续变量经箱线图规则筛查,共识别疑似异常值 9 个,逐一回溯原始记录后确认,其中 3 个为录入错误(取值超出量表上限),已依据原始问卷更正;其余 6 个取值合法,判断为真实极端观测,予以保留。为检验其对结果的影响,对连续变量在 1% 和 99% 分位处进行缩尾处理后重估模型,主要结论保持一致(见附录表 A3)。

正文与附录的分工

不是所有清洗细节都要塞进正文,但凡是影响样本构成和推断的决策,都必须在正文出现。分配原则可以按这张表:

内容位置理由
剔除标准及各自数量正文(表格)直接决定样本代表性
缺失比例、缺失机制判断、处理方法正文影响估计的无偏性
异常值判定规则与处理原则正文影响变量分布与结果稳健性
最终分析样本量及与原始样本的差异比较正文读者据此判断外推范围
逐个个案的剔除清单附录篇幅大,供复核用
各变量缺失率明细表附录支撑正文结论
敏感性分析的完整结果表附录支撑正文的稳健性陈述
清洗脚本或操作记录附录或数据附件保证可复现

一个实用判断:正文写“原则和影响”,附录写“明细和证据”。正文提到“见附录表 A2”,读者就知道去哪里核对,这比把二十行明细塞进正文更专业。

三套可直接改写的段落模板

模板一:问卷研究

本研究共发放问卷 [520] 份,回收 [498] 份。依据研究设计阶段预设的三条标准依次筛选:重复提交([判定依据])剔除 [12] 份,核心变量整题缺失剔除 [15] 份,互斥题项逻辑矛盾剔除 [3] 份,剩余 [468] 份。全部变量整体缺失比例为 [3.2%],最高单变量缺失率为 [7.8%],缺失未呈现系统性模式,主分析采用 [整例删除],最终分析样本为 [452] 份。连续变量经 [箱线图规则] 识别疑似异常值 [9] 个,其中 [3] 个经回溯确认为录入错误并更正,其余 [6] 个判定为真实极端值予以保留。以 [多重插补] 和 [1%缩尾] 重做主要模型,核心结论未发生实质变化,详见附录表 [A2、A3]。

模板二:实验研究

共招募被试 [120] 名,随机分配至实验组与对照组。依据预设标准剔除 [8] 名被试:未完成全部实验流程 [5] 名,操作检查题未通过 [3] 名。剔除后有效被试 [112] 名(实验组 [56] 名,对照组 [56] 名)。剔除被试与保留被试在性别、年龄与基线测量上无显著差异(见附录表 [A1])。反应时数据中,低于 [200] 毫秒或高于 [3000] 毫秒的试次(占总试次 [1.4%])依据 [既有研究惯例] 判定为无效试次并删除,未删除任何被试层面的数据。

模板三:二手数据

数据来源于 [数据库名称] [年份] 年度调查,原始样本 [12000] 户。依据研究问题,保留 [城镇户籍且户主年龄在 25 至 60 岁之间] 的样本,剩余 [8600] 户。因核心变量缺失剔除 [740] 户,最终分析样本 [7860] 户,占原始样本的 [65.5%]。为检验样本损失的影响,比较了被剔除样本与保留样本在 [收入、教育年限] 上的分布,差异主要体现在 [教育年限](见附录表 [A1]),因此在回归中控制了相关变量。主要连续变量在 [1%] 与 [99%] 分位处缩尾处理,以避免极端值影响估计。

避免只报告“有利结果”的三道自检

自检一:处理方式是否只报了一种? 如果你试过三种缺失值处理方法,只报告了结论最显著的那一种,这就是选择性报告。正确做法是报告主分析采用的方案,并把其他方案作为稳健性检验列出,无论结果是否一致。

自检二:是否报告了处理前的样本特征? 只写处理后样本的描述统计,读者无法判断样本在清洗中发生了怎样的结构变化。至少应说明剔除样本与保留样本在关键变量上的比较结果。

自检三:预设与事后是否区分? 研究方案或预注册中已经写明的标准,可以直接陈述;数据检查后才补充的标准,必须标明“事后补充”,并说明补充理由和可能影响。把事后决定写成事前预设,是方法部分最严重的诚信问题之一。

常见审稿意见与对应改法

审稿意见问题所在改法
“请说明样本筛选的具体过程”只有最终样本量补流程表,逐条列标准与数量
“缺失值处理缺乏依据”未报缺失比例与机制判断补缺失诊断,说明方法与理由
“异常值判定标准不明”只写“已剔除异常值”写明判定规则、阈值来源、处理数量
“无法判断是否存在选择性剔除”标准与结果变量相关说明标准设定时点,补敏感性分析
“清洗后样本是否具有代表性”未比较剔除与保留样本补组间比较,放附录

交稿前的核对清单

  • 原始样本量、每一步的处理数量、最终分析样本量能否首尾相接、加总一致;
  • 每条剔除标准是否有操作定义,能否被他人按同样规则执行;
  • 缺失比例、缺失模式、处理方法、选择理由是否齐全;
  • 异常值是否区分了“数据错误”与“真实极端值”,处理方式是否对应;
  • 是否至少做了一项敏感性分析,并说明结论是否稳健;
  • 正文是否只保留原则与影响,明细是否移入附录并有交叉引用;
  • 预设标准与事后补充是否已明确区分。

数据清洗写得好不好,检验标准很简单:一位同专业的研究者读完你的方法部分,能否用另一套数据、按你写的规则,复现出同样结构的分析样本。如果能,这段方法就站得住;如果读者只能看到几个数字,那这段文字还停留在“告知”,没有进入“交代”。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。