【DiVoMiner研究方法课7】不用1分钟就计算好信度,我做了这件事

2021-04-12 | 学术研究

导读:上一讲我们介绍了大数据内容分析法中,不可或缺的步骤——信度测试。(点击回顾:【DiVoMiner研究方法课6】做大数据内容分析时,不可不做信度测试!)看完之后,有不少读者会好奇,做完信度测试后,又应该如何计算测试结果呢?这一期,小编介绍一下我们如何运用工具来帮助我们便捷地完成信度测试。

在正式介绍工具之前,先和大家回顾一下信度测试的基本流程: 

 

本文内容主要介绍如何计算信度系数?

当有两位编码员时,我们如何计算两位编码员之间的信度?
★方法一:
每两位同学登录同样的内容,然后依以下步骤进行信度计算: 

  1. 登录的内容总件数:X
  2. 统计两位同学相同答案所占的比率:Po
  3. 计算各个答案所占的比率:a%,b%,c%,d%
  4. 将(3)的比率平方,然后加总 :
    (a%)² + (b%)² + (c%)² + (d%)² =Pe
  5. 代入以下公式计算出最终结果即可。
Po: 实际一致性Pe: 期望一致性 

Pi: 信度系数

 

★方法二:
R: 相互同意度M: 两位编码员编码结果相同的次数 

N1: 第一位编码员编码的次数

N2: 第二位编码员编码的次数

   当有多位编码员时,我们需要计算复合信度:

CR:复合信度n:编码人员数目 

R为方法二求得

大家可以找到两位或多位编码员将信度测试的编码结果代入到以上的公式中进行计算。但相信不少读者看到这些公式的时候,就已经头皮发麻…. 

机智的读者会说:“都什么年代了?还手动计算?有专门的计算工具好吗?!”确实,除了这样手动计算信度系数外,我们也可以选择使用计算信度系数的工具。

 

有哪些工具可以帮我们计算信度?

★专门软件和小程序

  •   比较早期的是1984年的AGREE,用来计算Cohens kappa的付费软件。
  •   还有专门计算Krippendorffs alpha的Krippendorffs alpha 3.12a。
  •   较新的是可以处理多位编码员并可计算多种信度指标的PRAM,包括Percent agreement、Holstis reliability、Scotts pi等。
  •   网页版小程序ReCal,可在网页上直接在线计算信度,处理多位编码员,仅支持上传CSV和TSV文档,一次只能计算一个题目的结果。
统计分析工具
信度是数据分析和文本分析过程中不可缺少的一环,因而一些统计软件中往往会嵌入信度分析的功能,如在SPSS统计分析软件中,可以计算Cohens kappa,但在信度计算的环节,对表格的形式有一定的要求。
其他软件,如Simstat、QDA Miner v1.1都自带了信度计算的功能,可下载体验。以上的工具都是在信度测试过程中,计算信度结果时发挥作用的。 

但如果按照传统的计算方法,我们需要借助的软件也实在是太多了吧?!在争分夺秒的时代,还要耗费大量的精力去学习不同的工具,时间成本确实是有点高。那么,是否有个工具可以让我们进行信度测试的整个流程呢?

当然有!!DiVoMiner®可助你一站式解决所有问题。 

DiVoMiner®上的信度测试功能,为大家提供了从信度测试的准备工作开始到信度测试完成的整个流程,确保大家在平台上可以逐步进行信度测试,直至完成整个测试流程,而且每一个步骤都是透明可追踪的。不论你是第一次做信度测试,还是已经熟练了整个测试流程,都可以让你方便快捷地完成。

下面详细给大家介绍一下具体的操作流程:

 

第一步:建立测试库

【编码库】-【随机导入到测试库】,即可完成测试库的建立。
也可以选中某一条数据,点击数据右侧的【测试库】单独导入到测试库。
进入到【测试库】查看已导入用以进行信度测试的数据。
第二步:做测试编码 

所有编码员进入到【信度测试】-【编码测试】中,阅读文本,填写页面右侧的编码簿,点击【保存】完成编码。
第三步:与其说计算信度系数,不如说查看信度系数 

因为在我们完成编码后,信度结果即可实时查看了!
待所有编码员完成测试编码后,在【信度计算】中,选择编码员和信度指标,点击【计算】,得到信度结果。目前平台上提供了四种常用的信度指标,大家可任意使用哟~
小提示 

总是有读者询问小编,到底信度结果要达到多少才能算是“理想信度”呢?其实,在学术上关于信度达标的硬性标准未有定论,信度会依据研究需求以及类目难度(主观性类目难度较大)有所浮动。下面是四种信度指标的可接受水平的参考范围,供大家了解。

第四步:编码校正 

【编码跟踪】中便捷查询编码员的测试编码情况,看到编码差异,方便校正。
如编码员之间信度达到合理水平,则可以进入正式编码。如系数不佳,则需要重复多次测试编码,直到信度系数达致可信水平。
小提示 

针对信度系数较低的题目,需对编码员进行重新的培训和指导,重新进行信度测试。
重建测试库的方法是,在【测试库】中【清空测试库】,测试库中的所有内容编码结果将随之全部清空。重新在【编码库】建立测试库,各编码员在新的测试库中重新进行独立的编码。
赶快来在你的研究项目中,加入编码员,开始信度测试吧!

最新动态

博易代表应邀出席两大重要传播学会议并发表主旨演讲

近日,博易代表应邀出席两大重要传播学会议——亚太传播论坛2020和第五届中国公共关系学术年会,并分别在会上发表主旨演讲。亚太传播论坛嘉宾与各校师生合照第五届中国公共关系学术年会与会专家学者合照亚太传播论坛2020暨亚太传播论坛联盟成立大会于2020年10月24-25日在珠海横琴·澳门青年创业谷及澳门大学澳门研究中心举行,此会议由亚太传播交流协会(APCEA)主办,是新冠肺炎疫情以来澳门主办最重要的国际传播会议之一。博易代表应邀出席会议并发表题为《为什么大资料在研究方法论中很重要:从传统到创新?...

连接琴澳创新科技合作的秘诀是什么?

2020年10月28日,由三一(珠海)投资有限公司及珠海市青年创业协会主办的珠澳科技创新合作论坛暨招商成果发布会在珠海横琴新区三一南方总部大厦举行,澳门互联网研究学会会长、珠海横琴博易数据技术创始人兼总裁张荣显博士应邀出席,与珠澳两地专家学者及企业家等共同解读珠澳创新合作新机遇。 论坛出席嘉宾合照 论坛现场 当日,张荣显博士在论坛上发表题为《用数据架起琴澳科技合作的桥梁》的主题演讲。 易研张荣显博士...

长假之后,聊聊双节假期的热点和槽点

疫情稳定之后,等来了中秋加国庆,相信大家都度过了一个愉快的假期,那么今年国庆的哪些地区或景点较为受大家追捧呢? 为此,小编整理了9月30日至10月8日的微博数据,为大家梳理下国庆长假期间的热点。   01  今年长假旅游有哪些热门? 热门地区——江浙沪、西南、西北、北京、广东皆为大热门 据文旅部数据中心统计,国庆假期前七天,全国共接待国内游客6.37亿人次,实现旅游收入4665.6亿元。今年地处大西北的陕西、甘肃也成为微博上讨论热门旅游地区,有网友戏称“大西北堵骆驼”。 热门景区——双“黄”最热门...

【DiVoMiner x 浸大】社媒品牌分析比赛获奖作品赏析

这学期,香港浸会大学传理学院传播系的同学们,以“社交媒体品牌分析”为题举办数据分析比赛。一个月时间内完成分组报告,为指定品牌进行社交媒体运营分析及制定一系列商业数字传播策略。   本次比赛由DiVoMiner®与香港浸会大学传理系课程合作,利用社交媒体数据集(Facebook、Instagram、YouTube、Office Website、Mobile App),同学们使用DiVoMiner®文本大数据挖掘与分析平台作为分析工具。   “Digital Report...

张荣显博士应邀到浙江越秀外国语学院作讲座

2019年10月23日,澳门互联网研究学会会长、易研方案总裁兼博易数据创始人张荣显博士应邀到浙江越秀外国语学院网络传播学院作题为《人工智能与文本数据研究方法新路径》的讲座,分享了系统、科学、严谨的大数据技术辅助在线内容分析法在网络文本大数据研究中的实践和应用。 以下文章来源:微信公众号“长三角网络新舆情”,作者陈徐来,标题《张荣显博士来我校讲座》 讲座相关...