摘要
这项工作的目的是提供一种将Delphi方法应用于教学研究的方法。
作者从与该主题相关的书目分析入手,并以研究人员自己的硕士学位论文中进行的实际例子进行了论证,从而可以更好地理解所提出的思想。
此外,这是在这方面的一系列相关主题中构想的,它将构成一本有关应用于科学教育研究的统计学的电子书。
通过使用超链接,该作业将使用Windows电子Excel选项卡阐明您的解决方案。
摘要
这项工作旨在为在教学研究中应用Delphi方法提供一种方法。
作者离开了与该主题相关的书目分析,他以自己研究者的硕士论文中的一个实际例子为他辩解,这有助于更好地理解所揭示的思想。
另外,在这方面的一组主题调子中构思了这一概念,这些主题将使有关电子书的统计信息适用于科学教育研究。
通过使用超链接,该作品用Windows的电子制表器Excel阐明了其解决方案。
介绍
很多时候,在回顾科学,学术和文凭工作的不同论点时,已经发现其中有些参考了所谓的德尔菲法。但是在分析工作时,有时会存在一些错误:在采用上述方法时,选择专家的方式,甚至只是在一轮咨询中进行分析。
这就是为什么这项工作旨在通过应用一个实际示例(从采用该方法的作者的硕士学位论文中摘录)来阐明我们的教授和研究人员可能对所讨论的主题产生的所有疑问。 。
在开发主题之前,需要弄清楚这些文章构成了作者的电子书,因此存在一些超链接,这些超链接链接了其他主题上呈现的内容,并且可能会对您的查询感兴趣。为此,感兴趣的一方必须仅转到给定的超链接并双击。
1.什么是德尔菲法?
德尔菲方法包括系统地使用一组专家的直观判断来获得知情同意(Valdés,1999)(Moráguez,2001)。这些意见不可渗透或不受某些专家标准的影响是至关重要的。
如果可以保证匿名,受控反馈和组统计响应,则此方法会更有效。
该方法可以应用:
- 作为已知变量行为的预测;在透视图中确定系统的组成,例如:如果不知道要研究的系统元素,或者,即,评估已知变量的行为,从而可以推断行为的可能形式。它们从未应用于研究对象,并且样本的方向是确定要应用的系统或模型的可能结构。
最后一种情况构成了我们说明的示例。
2. delphi方法的优点是什么?
与Zayas(1998),Campistrous(1998),Valdés(1999),Moráguez(2001)一样,该作者认为该方法的优点在于:
- 它可以形成具有较高客观性的准则,在准则的基础上达成的共识是非常可靠的,专家根据专家的准则做出的决策任务很有可能是有效的。价值决定的替代方案:通过匿名避免专家之间的冲突(这是保证方法成功的基本要求),并为创造创造了良好的氛围,专家感到自己完全参与解决问题并为解决问题提供了便利植入。其中,专家自愿参与调查的原则很重要,它保证了见解自由(匿名和保密)。没有专家应该知道他们的同行正在征求意见。
3. delphi方法的缺点是什么?
其最大的缺点是:
- 它的应用非常费时费力,因为它至少需要转两圈才能获得必要的共识。与其他方法相比,它的成本很高,因为它需要使用:专家时间,纸张,打印机,电话,邮件…需要良好的沟通以节省搜索和接收响应的时间,必须由一组分析人员(例如专家)进行,发布主观标准,因此过程可能带有主观性,外部影响。
因此,有必要进行几轮调查,寻求各种分析技术以获得共识,并进行统计测试以确定其可靠性和相关性。
4.如何选择专家并运用什么手段?
对于该方法的实际应用,有必要在方法上考虑两个基本方面:选择要调查的专家组和准备一份或多份问卷。但首先:谁可以被视为专家?
一个人被定义为专家,一群人或组织,他们能够对所遇到的问题提供结论性的评估,并就其基本瞬间以最大的能力提出建议(Valdés,1999)(Moráguez,2001)。
从此定义可以推断,作为the选专家的基本要求,考虑到他的工作年限(实践),他在要咨询的主题方面具有经验,并且可以通过以下方式加以补充:与此主题相关的不同形式的改进,以及获得的学术或科学学位。
5. delphi方法如何发展?
解释将基于作者在其硕士论文中所做的方式(可以在图书馆中查询)。
根据以下特征创建了“潜在专家库”或他们的列表:经验,能力,创造力,参与调查的意愿,分析和思考的能力,集体主义和自我批评的兴趣。
考虑到上述特征,使用了工具1,该工具仅与潜在的专家一起使用(附件1)。
因此,根据作者的估计以及与其他可行专家的协商,他们考虑了来自全国各地的50名可能的候选人(他们认为可能是这样的决定)(决定是否与这些可能的专家保持匿名)。
在确定竞争系数时,从竞争系数(K)中选出30人组成该主题要考虑的专家库,其中:
专家的熟练度系数(K)确定为:
- Kc:关于征求意见的主题的知识系数。该系数根据量表的值进行自我评估(附件1,问题1)。由可能的专家建议的该值乘以0.1并得到一个分数,例如:如果可能的专家拨8,则将其乘以0.1得出0.8;那么Kc = 0.8。 Ka:论证系数。该系数在高(A),中(M)或低(B)时受到以下来源的影响程度的自评:可能的专家进行的理论分析,他的经验获得,国家作家的作品,外国作者的作品,他们对国外问题的状态和直觉的了解(附件1,表2)。让我们看一下本附件的表2:
论点来源 | 来自每个来源的影响程度 | ||
高) | M(中) | B(低) | |
您进行的理论分析。 | (0.4) | (0.3) | (0.2) |
您的经验积累了。 | (0.5) | (0.4) | (0.2) |
国家作家的作品。 | (0.025) | (0.025) | (0.025) |
0.025 | 0.024 | 0.022 | |
外国作家的作品。 | (0.025) | (0.025) | (0.025) |
0.025 | 0.024 | 0.022 | |
您自己对国外问题的了解。 | (0.025) | (0.025) | (0.025) |
0.025 | 0.024 | 0.022 | |
你的直觉 | (0.025) | (0.025) | (0.025) |
0.025 | 0.024 | 0.022 |
资料来源:Campistrous,1998年。
查看表格时,在以下方面:论据来源,经修订的提案(Campistrous,1998年),(Valdés,1999年)……,根据指标未区分高,中和低类别:与国家作者合作(从国家作者的作品指标中观察括号中上部而不是粗体显示的值),为每个项目分配相同的分数;之所以提出与之不同的原因是,它以粗体显示在条形下面的值中,以便使论点来源的每个类别都得到很好的区分。
根据获得的分数,该系数的值为0.796(该指标各项的总和,请参见附件1表2中标有``X''的值)。那么该专家的能力系数将由下式得出:K =½(0.8 + 0.796)= 0.798≈0.8,在这种情况下,这是很高的,因为:
- 是£0.8K£1; 则竞争系数很高是0.5£K <0.8:中等竞争系数是K <0.5:低竞争系数
重要的是要澄清,附件1第二个表中每个项目的值都对研究人员有意义,因此不应出现在其中。
出于本调查的目的,已确定排除25名潜在专家,以实现较低的胜任力系数(许多人都是经验丰富的技术和职业教育老师,但没有其他要求)。因此,有25位专家。
6.什么是托格森模型?
有多种评估专家共识的技术和模型,可以在管理技术小组的手册(Getedi)中进行研究(Zayas,1990)。
以及由于工作范围明显的其他手册将不予分析;因此,当用于专家的工具所使用的标度是有序的时,解释一种非常有用的数学方法和模型被认为是方便的:Torgerson数学模型,它是Thurstone方法的一种变体(Moráguez,2001年)。
已经分析过,该方法(Delphi)的缺点之一在于所发布标准的主观性,因此,为了解决该问题,决定使用此数学模型,该模型不仅允许分配比例值,到每个指标,但是确定每个类别之间的界限,这样,您就可以在序数类别之间以及每个类别之间的相应区间比例(实数)之间获得实际界限(由实数指定)组成专家给出的评估标准的范围,这样就可以准确地知道每个类别的实际限制是什么;也就是说,该变量最多可以被认为是必不可少的,非常有用的等。
Torgerson模型试图通过将顺序量表转换为区间量表(从定性到定量)来客观化专家或其他被调查人员的标准。
为了实现客观性,基于主观标准,该模型依赖于两种社会心理学定律:比较审判法和分类审判法(Campistruos,1998)(Moráguez,2001)。以下假设也支持该方法:
1)每个对象(指标)对应于正态分布随机变量的主观维度,其平均值m是该对象的标度值。所有差异均相同。
2)每个类别限制对应于正态分布随机变量的主观维度,其平均值t是该限制的标度值。所有变量都相同。
3)代表对象和界限的随机变量是独立的。一个变量不能包含另一个变量的值。
4)决策规则:对象a的标度值x在阶数限制k-1和k的值之间时,属于第k类。该规则为定义明确的指标在每个假定类别之间留下了边界。(Campistrous,op。Cit。),(Moráguez,op。Cit)。
该模型允许将独立专家对指标的顺序判断转换为表达其在连续统中的相对位置的工具;就是说,它允许将序数标度取为区间标度(实数),并以此方式知道每个类别所处的极限(以实数值表示);例如:
优秀,非常好…; 或5、4、3…
7.应用Torgerson数学模型的方法
1)对要使用的变量进行运算
重要的是要澄清,当要求专家提供有关估计每个拟议指标或变量的可能分类的信息时,研究人员有必要离开他为每个变量定义好的概念,并确定其可操作性,仅仅是安排不同的参数和指标,以衡量该主题的变量(Tena,1996),以便更好地理解和评估专家的判断。
为了更好地理解该方法,作者以其硕士学位论文的建议为参考,通过专家的方法确定了24个指标,分布在六个维度上,建议评估学校的外部效率或教育影响理工学院(Moráguez,2001)。由六个指标组成的“学术效果”维度被用作分析的基准。
我们提醒读者,带下划线的蓝色单词是创建的超链接,因此通过按Control +单击可以将其直接转到附件,表格等。
附件2显示了第二轮专家在“学术效果”维度中每个指标与拟议变量的相关性。
在列中,序数类别似乎用于度量以下变量中给出的变量:必不可少(I),非常有用(MU),有用(U),也许服务(Q)和不服务(N)。请注意,为每个指标分配了一个连续的数字(行),以方便对其进行汇总和统计工作,出于显而易见的原因,在本工作中将不进行详细说明。
2)绝对频率汇编
我们提醒感兴趣的一方,通过单击标记的超链接,可以在Excel中开发该示例的计算。
由于汇编了适用于专家的工具,因此在Excel中创建了一个表格(附件2,表I),其中包含有关与教育效果维度相对应的指标的专家标准。这些列反映每个类别的总计。
3)确定累计频率
每个指标都由其累积频率决定,因此:指标1(附件2,表I)21位专家认为它不可或缺,4个非常有用,因此,在指标的累积频率(附件2,表II)中出现非常有用的项目是25(框C14);因此,其中包括21个,将其视为必不可少的(框B14),以及4个非常有用。以类似的方式找到每个人,并完成根据附件2的表格。
4)确定累积相对频率或累积概率
累积概率矩阵由四个小数位确定(附件II,表III),其结果是将每个累积的数除以样本数,在这种情况下为25; 例如,如果我们将21(单元格B14中的值)除以25,则得出的累计概率为0.8400(单元格B23)。该表已完成。
重要的是要注意如何从重复概率为1的类别(在本例中为非常有用的类别)中,由于已经累积了最大概率,因此不必填写以下各列,这意味着该指标至少,它被认为是非常有用的。为了更好地理解下一步,仅删除了最后一列:不用于测量变量(N)。
5)计算临界点和指标规模(附件2,表IV)
5.1确定反标准正态值
a)手动查找值的方法
为了确定每个指标的累积概率的反标准正态值,根据相关的概率将这些值置于附件3的表(第1至3页,仅是标准分布表)中并执行以下操作:
在附件3中搜索“正常标准”曲线的最接近值,其累积概率为0.8400(附件2表III)。需要说明的是,在Excel中调用此反标准函数是因为一旦知道累积概率的值,就必须搜索表的标准化值。
在附件3的第2页中,累积概率的最接近值出现(标为)0,即8389,对应的反标准值为0.99;附件2的表IV的框B32中的值。
重要的是要知道,当累积概率等于1时,反向标准值3.5对应于该值,并且该值从3.49开始渐近,因此在实践中将其取为3.5,对于两端平等地工作;即,相反,如果累积概率等于0,则假定逆标准值等于-3.5(分别为附件3,第3页和第1页);在表(附件III第1页)中观察到,从z = -3.5开始的概率取极小的值(无穷小),因此可以认为对于小于-3.5的值,假定累积概率等于为0,并且将最大和最小概率与相同的绝对值(3.5)关联也是一种轻松的资源;然后,如果Z = -3.5,则该值的概率= 0(最小值);相反,如果Z = 3.5,则与此值关联的概率为1(最大值)。
有必要向读者澄清,许多作者的正常功能的最大值和最小值有所不同;例如:Murray(1961)的最大值为3.99,最小值为-3.99;弗洛伊德(1977)假设3.09和-3.09;道格拉斯(Douglas)(1996)的误差为±3.99; Devore(2000)假设±3.49。
但是由于所有这些值都是从±3、5渐近而来的,因此这是作者采用这种方式进行假设的原因,因为它甚至更容易记住,这样您就可以手动找到此函数的值并填写表格IV(附件2)。 b)自动找到反标准函数值的方法这些值是通过Windows中的Microsoft Excel自动找到的。为了自动确定每个上述值,您必须将其放置在将插入反标准正态函数值的框中(Excel表格1的框B39,在此工作示例中与该框相对应) B32,摘自附件2。
一旦位于上述方框中,则必须在计算栏中指定,查找与累积概率0.8400相对应的逆标准函数(表III,附件2的方框B31),但是必须指定当累积概率为等于0,反函数取值-3.5(附件3的第1页,灰色标记的值); 相反,如果累计概率取值为1,则其逆标准函数将取值为3、50(第3页附件3的最新值)。这是在Excel公式栏中编程的:=是(B23 = 0,-3.5,是(B23 = 1,3.5,(STANDARD DISTR.INV(B23))))
请注意,引用的框是B23(附件2表III),因为它是必须确定累积概率的逆标准函数的第一个框。
这就是编程此函数(在Excel中)的方式,该函数允许确定每个相关概率的逆值,以便当该概率等于零时,计算机将其视为真实的逻辑响应并返回值-3.50,当概率为1时,返回3.50的逻辑值。
您可以通过单击以下超链接单击Excel计算栏来查看此内容:
Excel中的调用练习澄清了,根据模型提出的方法,消除了值等于3.5的最后一列,因为确定了最后一列截止点,将指示所有大于该值的值将对应于消除的变量(方法的预算编号4);下一部分将更好地理解后者。因此,只有四列显示为I,MU,U和Q。(附件2,表IV);坚持认为,出于更好地理解下一步的原因,由于正态分布的最大值达到3、5(概率为1,000),因此未消除U和Q列(可以这样做).5.2搜索切点一旦通过反标准正态曲线确定了每幅图像,每列和每一行都增加了(附件2,表IV);将行平均:将行的总和除以四,即对应于每个刻度的列数,并将结果分配给“平均值”列(P,方框G32)。如果已删除U和Q列,则将其除以2(剩余的列号:I和MU)。我们以相同的方式处理显示I,MU,U和Q的标度的列,但列的总和除以指标数(在本例中为6),然后求出平均值。栏(附录2,表IV,第39行)。框G32)。如果已删除U和Q列,则将其除以2(剩余的列号:I和MU)。我们以相同的方式处理显示I,MU,U和Q的标度的列,但列的总和除以指标数(在本例中为6),然后求出平均值。栏(附录2,表IV,第39行)。框G32)。如果已删除U和Q列,则将其除以2(剩余的列号:I和MU)。我们以相同的方式处理显示I,MU,U和Q的标度的列,但列的总和除以指标数(在本例中为6),然后求出平均值。栏(附录2,表IV,第39行)。
先前操作产生的值称为切点,它们确定将包括定性变量的区间的值(I,MU,U和Q)(请参见用射线的值确定的数值射线)。间隔见附件2的底部)。
现在将截止点的值平均,这只是每个类别(列)的平均值,因此获得了平均值,称为极限值N.
为了找出变量的实际范围,请从极限值N中减去每行P的平均值。例如:对于第一行或指标1(1),将极限值N减去(平均值平均值(2.79)此行P的平均值(2.87,方框G32)(附件2,表IV)及其结果显示在NP列(-0.08,方框H32)中。由于该值低于0.66(方框B39),它是必不可少(I)类别的起点或上限。
因此,专家认为这一类别对于指标(1)至关重要。
同样,确定其余指标的每个范围,其结果可以在上述附件的表格中看到。
8.确定第一轮共识的水平。
共识级别(C)由以下表达式确定:哪里:
哪里…
如果专家之间的共识C <75%,则应进行另一轮磋商,进行必要的修改和澄清,以便就这些专家对新提案的新修改和适应获得共识。
如附件2表四所示,这25名专家认为,评价教育效果的六项拟议指标是必不可少的(I),具有高度相关性;因为没有反对票(Vn = 0);总票数为25,与正面票数一致(Vt = 25),则:C =(1-0/25)•100 = 100%。这样,在拟议的六个维度中确定了其余24个指标。
作为结论,可以表示德尔菲法或专家法对于决策非常有价值,并且由于存在以下原因,它目前在领先公司中被广泛用作管理和综合研究的方法。授予一系列专家的参与,使他们能够以高水平的能力获取知情的意见,从而最终就提出的问题达成共识。
该方法最重要的要素之一是从证券交易所或关系中仔细选择可能的专家,并假设已经应用了已经分析过的工具并保证匿名,可以选择其中的专家:为了避免光环效应,每个专家都不知道谁相等。
通常,当要评估或确定以序数表表示的指标的相关性时,应使用Torgerson数学模型(已经在工作中进行了解释),这是对Thurstone模型的修改,允许按序数表进行缩放。定性类别之一,从而知道指标的相关程度,方法学变体以及总体上提出的建议。
这不是汇编专家意见结果的唯一方法。相反,该方法可以并且应该与其他方法结合使用,以帮助更好地达成所制配方的共识。
对应于附件1和2的文件:专家咨询(.doc)和如何应用Delphi方法的Torgerson数学模型的示例(.xls)
附录1
咨询专家
(德尔福法)
根据研究,您已被选为可能的专家,需要咨询的一系列指标的相关程度可能会用来评估Holguín省工业理工学校的外部效率或教育影响他正在研究拉丁美洲和加勒比海教育学院(IPLAC)的教育系统规划,管理和监督硕士学位。
作为经验研究方法的一部分,在进行相应咨询之前,有必要确定“专家咨询”,以确定您在此问题上的胜任力,以加强咨询结果的有效性。出于另一个原因,请尽可能客观地回答以下问题。谢谢!
1.在下表中,用叉号(X)标记与您在“评估教育质量的指标的确定”主题上拥有的知识程度相对应的值。(请注意,呈现给您的等级正在上升,也就是说,对所涉及主题的知识从0增长到10)。
表格1
0 | 之一 | 二 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
X |
资料来源:(Campistrous,1998; 19)。
2.对以下每种来源对您的知识和确定评估教育质量的指标的标准的影响程度进行自我评估。为此,请在适当的位置使用叉号(X)进行标记:A(上下),M(中)或B(低)。
表2
论点来源 | 来自每个来源的影响程度 | ||
高) | M(中) | B(低) | |
您进行的理论分析。 | (0.4) | (0.3)X | (0.2) |
您的经验积累了。 | (0.5) | (0.4)X | (0.2) |
国家作家的作品。 | (0.025) | (0.024)x | (0.022) |
外国作家的作品。 | (0.025) | (0.024) | (0.022)x |
您自己对国外问题的了解。 | (0.025)x | (0.024) | (0.022) |
你的直觉 | (0.025)x | (0.024) | (0.022) |
附录二
资料来源:(摩拉格兹,2001年,附件19)定性类别与数值射线之间的对应关系
请注意,截止点确定了每个类别的范围限制的范围。在这种情况下,发现所有小于或等于0.66的值都属于必不可少的类别,其余的都非常有用。
标准分配表(附件3第1页)
资料来源:Excel 2000反标准函数
标准分配表附件3第2页
资料来源:Excel 2000反标准函数标准分配表附件3第3页
资料来源:Excel 2000反标准函数如何应用Torgerson数学模型对一组学生进行最终评估的示例。考虑到本学期进行的所有定性评估,一群学生希望以签名的形式进行最终评估,为此应用了该数学模型。
参考书目
1. CAMPISTROUSPÉREZ,L。指标和教育研究/ Luis Campistrous,西莉亚·里佐·卡布雷拉。-1998年8月23日,哈瓦那。-23p。-(未出版的材料)。
2. FRIEDRICH,W.马克思列宁主义社会研究方法。编辑。社会科学,哈瓦那,1988年。325页。
3.MORÁGUEZIGLESIAS,A。关于评估奥尔金省工业技术学校的外部效率的指标提案。-2001年-105羽 论文选择教育系统规划,管理与监督硕士学位。-IPLAC:拉丁美洲和加勒比教育学院。哈瓦那,2001年。
4. TENA SUCK,E.,A.实验研究手册:论文准备。-编辑。墨西哥,广场和瓦尔代斯,1996年。第82页。
5. THURSTONE,LL社会价值的成对比较方法。于:J. Abn。心理学家 1927年第21号。第14页。
6.态度测量理论。于:1929年第36期,第Psychol。14页。
7. TORGERSON,WS多维调用:I.理论与方法(I Theory and method)。在:Psychometrika。1952年第17号。第12页。
8.模仿中的多维呼唤:Psychometrika。1965年第30号。第15页。
9. ZAYAS MIRANDA,E。决策和解决问题的过程。GETEDI管理技术小组。系列:管理问题。No 004,ISTH,奥尔金,1990年。70页。
该方法由TJ Cordon和Olaf Helmer在1940年代在美国的RAND CORPORATION中创建,并于1964年发布(Zayas,1990; 30)。