本文发表在 rolia.net 枫下论坛明天就该联邦大选了,此之前各种不同类型的民意调查纷纷出笼,在多伦多来看,其中以三大报纸Torontostar, Global mail 和National post的民意调查最为引人注目。出于工作的关系,接触所谓的民意调查比较多,结合自己的专业知识,谈谈自己关于民意测验和统计误差的看法。
民意调查起源于美国,依据的理论基础是抽样调查理论和态度测量技术。民意调查家喻户晓始于1936年的美国总统大选预测,字面上理解,民意调查的内涵是对民众意见的调查。所以说到底,民意调查是对民众意见的一种抽样调查,实际上就是一种统计。
提到统计,不能不提到统计误差,这也是不同调查机构产生不同的调查结果。
以电话调查为主要调查方法的民意调查而言,产生的主要统计误差包括如下几类:
一,样本代表性误差,就是抽样调查开始选择的样本根本代替不了总样本。比如三大报纸调查基础是他们的订户,大家想一想,有多少华人自己订阅这三大报纸。所以在开始选择调查样本时出现的失误,我们有个名词叫“抽样误差”(sampling error)
二,调查问卷设计的误差,一份成功的调查问卷要在措辞(wording)、次序安排(ordering)、形式(form);选项设计(items & range and number)、反应次序(response order)等方面做到公正、公平。如果有意识的在设计问卷上做诱导性设计,那调查结果的误差也是明显的。
三,采访误差,主要是调查人员在调查过程中人为出现的错误。比如在记录客户调查项目时填错,填漏。被调查者真实的民意被误会了。现在很多的调查机构聘用的调查人员流动性大,素质很低,有的是学生,还有的新移民连姓名,地址都记录不全。这方面的误差对统计结果的影响来讲实在不应该。
四,数据统计误差,不用解释,就是数据在录入,汇总,归类等统计过程中的误差,现在的统计软件可以很好的控制,但是不是说没有产生的可能。
五,分析方法的选择。从抽样方法的确定到偏好判断的选择。不同的分析方法对统计的结果影响也是巨大的。尤其是做统计预测的时候。
六,新闻价值判断。这个最难讲,严格说不属于统计误差,但它却一统计数据的形式反映出来。大家不知道注意到没有。三大媒体的调查数据结果不仅在数据上多少有不同,而且在每个特殊的调查项目上观点炯乎不同。比如,新民党在三大媒体的调查报告中的表现就是很好的例子。它体现了不同媒体的新闻价值判断标准。
这么多可能出现的误差,民意要能清楚彻底表达太困难了。你看看台湾大选折腾的情况就知道了。国内的调查报告就更有趣,通常先把结果定下来,再编辑数据,再设计问卷和安排样本。:)
一句话,民意调查只是个统计,是一个时点下的抽样调查。所以不管有多少不同版本的民意结果。按我的观点,除非结合以前的结果来判断趋势,以及表达调查机构的基本观点之外,没有多少有用的学术价值。它最有用的价值就是利用媒体的力量来影响公众,通过所谓的民意来诱导公众。真正的结果,只有后天就知道了。更多精彩文章及讨论,请光临枫下论坛 rolia.net
民意调查起源于美国,依据的理论基础是抽样调查理论和态度测量技术。民意调查家喻户晓始于1936年的美国总统大选预测,字面上理解,民意调查的内涵是对民众意见的调查。所以说到底,民意调查是对民众意见的一种抽样调查,实际上就是一种统计。
提到统计,不能不提到统计误差,这也是不同调查机构产生不同的调查结果。
以电话调查为主要调查方法的民意调查而言,产生的主要统计误差包括如下几类:
一,样本代表性误差,就是抽样调查开始选择的样本根本代替不了总样本。比如三大报纸调查基础是他们的订户,大家想一想,有多少华人自己订阅这三大报纸。所以在开始选择调查样本时出现的失误,我们有个名词叫“抽样误差”(sampling error)
二,调查问卷设计的误差,一份成功的调查问卷要在措辞(wording)、次序安排(ordering)、形式(form);选项设计(items & range and number)、反应次序(response order)等方面做到公正、公平。如果有意识的在设计问卷上做诱导性设计,那调查结果的误差也是明显的。
三,采访误差,主要是调查人员在调查过程中人为出现的错误。比如在记录客户调查项目时填错,填漏。被调查者真实的民意被误会了。现在很多的调查机构聘用的调查人员流动性大,素质很低,有的是学生,还有的新移民连姓名,地址都记录不全。这方面的误差对统计结果的影响来讲实在不应该。
四,数据统计误差,不用解释,就是数据在录入,汇总,归类等统计过程中的误差,现在的统计软件可以很好的控制,但是不是说没有产生的可能。
五,分析方法的选择。从抽样方法的确定到偏好判断的选择。不同的分析方法对统计的结果影响也是巨大的。尤其是做统计预测的时候。
六,新闻价值判断。这个最难讲,严格说不属于统计误差,但它却一统计数据的形式反映出来。大家不知道注意到没有。三大媒体的调查数据结果不仅在数据上多少有不同,而且在每个特殊的调查项目上观点炯乎不同。比如,新民党在三大媒体的调查报告中的表现就是很好的例子。它体现了不同媒体的新闻价值判断标准。
这么多可能出现的误差,民意要能清楚彻底表达太困难了。你看看台湾大选折腾的情况就知道了。国内的调查报告就更有趣,通常先把结果定下来,再编辑数据,再设计问卷和安排样本。:)
一句话,民意调查只是个统计,是一个时点下的抽样调查。所以不管有多少不同版本的民意结果。按我的观点,除非结合以前的结果来判断趋势,以及表达调查机构的基本观点之外,没有多少有用的学术价值。它最有用的价值就是利用媒体的力量来影响公众,通过所谓的民意来诱导公众。真正的结果,只有后天就知道了。更多精彩文章及讨论,请光临枫下论坛 rolia.net