导读：无论是传统的内容分析法还是大数据内容分析法，我们都需要两位或以上数目的编码员来进行编码工作，这些独立的编码员对一段信息或记录内容的特征（也就是记录单位）作出判断，并且达到一致的结论。这种一致性以量化方式呈现，称之为编码者间的信度。
上一讲我们介绍了什么是大数据技术辅助内容分析法，这一讲我们再来介绍一下使用大数据内容分析法中，一个非常关键、不可或缺的步骤——信度测试。
有的读者认为，使用大数据内容分析法，就是拿到数据后就可以直接编码。但没有经过信度测试的数据，真的能说服人吗？下面，让我们一起来看看，到底信度测试为什么如此重要。
什么是信度测试？
什么是编码间的信度？
为何信度如此重要？
怎么做信度测试？
- 信度分析的样本数及理由。
- 信度样本与总样本的关系：是总样本的一部分还是额外样本。
- 编码员资料：人数（须为2或更多）、背景，研究员是否也是编码员。
- 每名编码员的编码数量。
- 信度指标的选择和理由。
- 每个变量的编码员间之信度。
- 编码员的训练时间。
- 在总样本的编码过程中遇到不同意见时的处理方式。
- 读者可以在哪里得到详细的编码指引、程序和编码表。
- 要报告每一个变量的信度水平，不要只报告所有变量的整体信度。
目前，大概有39种不同的同意度指标[7]，传播学界常用的有Percent agreement，Holstis Coefficient Reliability，Cohens kappa(k)，Scotts pi(π)，Cohens kappa(k)，Krippendorffs alpha(α)。Holstis Coefficient Reliability是当前最流行的指标。
那么，怎么计算信度呢？
根据公式手动计算或者运用工具计算，比如专门的信度结果计算软件或小程序(AGREE, PRAM, ReCal），或统计分析软件自带的一些信度结果计算功能（SPSS）。
参考文献
[1] 艾尔·巴比（2005）。社会研究方法。邱泽奇，译。北京：华夏出版社，137-140；迈克尔·辛格尔特里（2000）。大众传播研究: 现代方法与应用。刘燕南，等，译。北京:华夏出版社，94-97；Zeller, R. A. (1979). Reliability and validity assessment. Beverly Hills, CA: Sage, 12.
[2] Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for standardization in content analysis reliability. Human Communication Research, 30(3), 434-437.
[3] Neuendorf, K. A. (2002). The Content Analysis Guidebook. Sage Publications Inc., California.
[4] Kolbe, R. H. & Burnett. M. S. (1991). Content-analysis research: an examination of applications with directives for improving research reliability and objectivity. Journal of Consumer Research, 18(2), 243-250.
[5] Potter, W. J., & Levinedonnerstein, D. (1999). Rethinking validity and reliability in content analysis. Journal of Applied Communication Research, 27(3), 258-284.
[6] Rust, R. T., & Cooil, B. (1994). Reliability measures for qualitative data: theory and implications. Journal of Marketing Research, 31(1), 1-14.
[7] Popping, G. (1988). Stone parting device. EP0283674.