高校教师评价是师资队伍建设的核心措施^[1]。教学评价是教师评价中的重要组成部分。国内学者对教学评价的定义主要理解为教学评价属于对教师的教学过程与学生学习过程进行评价的范畴^[2]。目前针对高校教师教学水平的评价主要集中在课堂教学质量评价方面，缺乏对教师日常教学活动参与情况及课程结束后对学生考核管理等方面的综合评价。全面综合的教学评价不仅有利于高校全方面考核教师的教学水平，而且还有利于教师个人发现自身存在的问题并不断完善和提高。因此，本研究在教学评价指标中除课堂教学质量评价外引入了教师教研室教学活动参与情况及课程考核管理对高校教师的教学水平进行评价，较为全面地评价高校教师的综合教学水平。教学评价的具体方法选择综合指数法。综合指数法是指将一组相同或者不同指数值进行统计学处理，使不同计量单位、不同性质的指标值标准化，并按重要性赋予各项权重，后转化为一个加权综合指标，以准确地评价工作的综合水平^[3]。经查阅文献发现，“综合指数”一词最早出现于自由联想测验的综合指数^[4]，随后被国内外学者应用于各个研究领域，如评估家庭福利计划活动^[5]，评估人类发展状况^[6]，评价医疗质量相关工作^[7-10]，评估旱灾风险暴露度^[11]，评价生态经济^[12]，评价大学生综合素质^[13]，评价水质^[14]，评估职业健康风险^[15]，评价应用型人才的能力^[16]等诸多方面，目前还没有应用到教学水平评价的研究中。教学评价的各个指标性质不同，单位量纲也不同，基于优序图法的综合指数法能将这些指标统一起来，并且确定权重来综合评价高校教师的教学水平，为今后教研室评价教师的综合教学水平提供参考。

1.   资料与方法

1.1   资料来源

收集2017年1月至2020年1月间，昆明医科大学公共卫生学院“卫生事业管理与卫生经济系”，教师教学水平相关资料。选取能够综合反映教研室教师教学水平的3个方面指标进行评价，即教学质量评分（专家督导评分、同行评分及学生评分）、课程考核管理（试卷批改评分等）及教研室教学活动参与率。

1.2   建立评价指标体系

1.2.1   评价指标的确定

根据教研室实际情况，结合教研室管理实存资料及查阅教师教学评价指标的相关文献^[1-16]基础上，从课堂教学质量评分（专家督导评分、同行评分及学生评分）、教研室活动参与率及课程考核管理（试卷批改评分等）3方面对教研室教师的教学水平进行综合评价，一级指标3个和二级指标9个，见表1。

表  1  教学水平评价指标体系

Table  1.  Teaching performace evaluation index system

一级评价指标	二级评价指标	指标计算方法
A1课堂教学质量评分	A11 同行评价	评价总分
	A12 专家督导评价	评价总分
	A13 学生评价	评价总分
A2教研室教学活动参与率	A21 教研室教学活动参与率	教学活动参与次数/教学活动总次数×100%
A3课程考核管理	A31 试卷规范性	每份试卷的教学进度、考试出题大纲、空白试卷及其 标准答案和评分标准、成绩单、试卷质量分析、成绩分析、 归档试卷封面等的完整度及规范性。
	A32 评分准确性	每份试卷评分标准是否准确、含有形成性考核分数、 形成性考核分数是否合理等。
	A33 试卷错误率	出错份数/试卷总份数×100%
	A34 批改出错率	试卷批改错误总分数/试卷总分数×100%
	A35 出错严重性	只要有1份试卷出错≥5分，记为严重 = 2分，不严重 = 1分。

下载: 导出CSV 

| 显示表格

1.2.2   指标权重的确定

经过文献研究^[17]发现，指标的权重确定方法中主要有专家访谈法、德尔菲法、优序图法、层次分析法、主成分分析法、因子分析法等，其中优序图法因简单方便易行而被广泛应用。优序图是一个棋盘格的图式^[18]，对多目标决策问题进行两两相对比较，给出目标的优序排序，两两比较用“0、1”2个数字来描述，其评分规则是：若指标A1比指标A2优，则评分为1；若A2比A1劣，则评分为0；若A1比A2，优劣相当，则评分为0.5，相同指标A1与A1相比，评分为0.5，见表2。在实际权重确定过程中，共选取1位学院领导、2位教学管理人员、2位专职教师共5位专家利用优序图法对教学水平评价指标进行打分，得到5张优序图，将其各自相应格子中的数字分别相加，然后汇总就得出每个指标的权重。应用此方法，计算出各级指标的权重系数^[18]。本研究采用优序图法确定教学水平综合评价指标、课堂教学质量评价指标及课程考核管理体系中各个指标的权重，见表2。

表  2  优序图法确定指标权重示意表

Table  2.  Index weights by the optimal sequence diagram method

比较指标	A1	A2	A3	A4	……	An
A1	0.5	0	0.5
A2	1	0.5
A3	0.5		0.5
A4				0.5
……					0.5
An						0.5
注：1表示A2比A1优，0表示A1比A2劣，0.5表示优劣相当。

下载: 导出CSV 

| 显示表格

1.3   教学水平评价—综合指数法

1.3.1   原始数据的建立

根据原始数据列出一个n×m的指标原始数据表，n表示n位评价教师，m表示m个评价指标。

1.3.2   指标的指数化

根据评价指标性质确定高优指标和低优指标。高优指标是指“越高越好”，低优指标是指“越低越好”。教学水平评价指标体系中同行评分、专家督导评分、学生评分、教研室教学活动参与率、试卷规范性、评分准确性共6个指标属于高优指标，试卷错误率、批改出错率、出错严重性共3个指标属于低优指标。指标指数化的公式^{[3, 9-10]}：高优指标：Y = X/M；低优指标：Y = M/X，Y表示该指标的指数值，X为各指标的实际值，M为各指标的标准值。经过指数化转换为指数后，评价指标的指数表示“越高越好”。

1.3.3   计算综合指数和排序

根据各指标权重和二级指标指数计算课堂教学质量评分、教研室教学活动参与率及课程考核管理的指数，计算综合指数^[3]的公式为$I=\displaystyle\sum\nolimits _{i=1}^{m}{w}_{i}{y}_{i}$（$ {w}_{i} $为第i个指标的权重，$ {y}_{i} $为第i个指标指数化值），并对教师的教学水平综合指数进行排序得出最终排名结果。

1.4   统计学处理

利用Office Excel 2019版录入课堂教学质量评分（“三评”得分）、教研室教学活动情况、课程考核管理情况，利用公式编辑对权重进行计算。计算后的数值保留到小数点后2位（0.00）。

2.   结果

2.1   优序图法确定权重

将5位专家用优序图法对教学水平评价指标进行打分得到的5张优序图，同项相加合并计算每项评价指标的权重值，权重值 = 横向相加得分除以各个指标合计得分，A11同行评分权重值 = （2.50 + 1.00 + 1.50）/（5.00 + 10.5 + 7.00） = 0.22，同理可得其他指标权重值。

2.1.1   课堂教学质量评价指标的权重

二级指标同行评分、专家督导评分、学生评分的权重分别为0.22、0.47、0.31，结果见表3。

表  3  5位专家利用优序图法计算课堂教学质量评价指标权重结果（分）

Table  3.  5 experts used the optimal sequence diagram method to calculate the weight results of the classroom teaching quality evaluation index （points）

A1课堂教学质量评分	A11同行评分	A12专家督导评分	A13学生评分	合计	权重
A11同行评分	2.50	1.00	1.50	5.00	0.22
A12专家督导评分	4.00	2.50	4.00	10.50	0.47
A13学生评分	3.50	1.00	2.50	7.00	0.31

下载: 导出CSV 

| 显示表格

2.1.2   课程考核管理指标的权重

二级指标试卷规范性、评分准确性、试卷错误率、批改出错率、出错严重性5项指标的权重分别为0.14、0.19、0.20、0.22、0.26，结果见表4。

表  4  5位专家利用优序图法计算课程考核管理指标权重结果（分）

Table  4.  5 experts use the optimal sequence diagram method to calculate the weight result of the course assessment management index （points）

A3课程考核管理指标	A31试卷规范性	A32评分准确性	A33试卷错误率	A34批改出错率	A35出错严重性	合计	权重
A31试卷规范性	2.50	2.50	2.00	0.50	1.00	8.50	0.14
A32评分准确性	2.50	2.50	3.00	3.00	1.00	12.00	0.19
A33试卷错误率	3.00	2.00	2.50	3.00	2.00	12.50	0.20
A34批改出错率	4.50	2.00	2.00	2.50	2.50	13.50	0.22
A35出错严重性	4.00	4.00	3.00	2.50	2.50	16.00	0.26

下载: 导出CSV 

| 显示表格

2.1.3   教学水平评价指标的权重

一级指标课堂教学质量评分、教研室教学活动参与率、课程考核管理的权重分别为0.42、0.22、0.36，结果见表5。

表  5  5位专家利用优序图法计算教学水平评价指标权重结果（分）

Table  5.  5 experts used the optimal sequence diagram method to calculate the weight of the teaching level evaluation index （points）

A教学水平评价指标	A1课堂教学质量评分	A2教研室教学活动参与率	A3课程考核管理	合计	权重
A1课堂教学质量评分	2.50	3.50	3.50	9.50	0.42
A2教研室教学活动参与率	1.50	2.50	1.00	5.00	0.22
A3课程考核管理	1.50	4.00	2.50	8.00	0.36

下载: 导出CSV 

| 显示表格

2.2   综合指数法评价教学水平

2.2.1   教学水平评价指标原始数据表

昆明医科大学公共卫生学院下的卫生事业管理与卫生经济系教研室共7位教师（教师以代码代替，依次表示为B1至B7）参与教学水平的综合评价，评价指标的数据时间为2017年1月至2020年1月，每位教师相应指标的数据是3 a数据的平均值，见表6。

表  6  7位教师教学水平评价指标的原始表（2017年1月至2020年1月）

Table  6.  The original table of 7 teachers’ teaching level evaluation indicators （January 2017-January 2020）

教师代码	同行评分 均值（分）	专家督导评分 均值（分）	学生评分均 值（分）	教研室教学活动 参与率（%）	试卷 规范性（%）	评分 准确性（%）	试卷 错误率（%）	批改 出错率（%）	出错 严重性（分）
B1	98.08	97.00	95.95	100.00	100.00	100.00	0.96	1.00	1.00
B2	97.10	93.00	90.67	95.83	100.00	100.00	1.20	1.10	1.00
B3	97.60	91.25	96.59	100.00	100.00	100.00	0.38	1.00	1.00
B4	96.37	89.00	91.00	100.00	100.00	100.00	4.18	2.45	1.00
B5	97.63	90.00	90.00	100.00	100.00	100.00	2.38	2.00	1.00
B6	96.12	90.00	95.04	70.83	100.00	100.00	6.46	1.59	1.00
B7*	94.00	89.00	90.00	100.00	100.00	100.00	1.72	2.00	1.00
标准值M	96.70	91.32	92.75	95.24	100.00	100.00	2.47	1.59	1.00
注：表中M为各指标的标准值（各指标平均值作为标准值），出错严重性指标中所有试卷错误分数均未≥5分的，全部记为不严重 = 1分。*B7教师是2019年就职于教研室，故B7教师的数据是2019年的数据。

下载: 导出CSV 

| 显示表格

2.2.2   二级评价指标指数化

根据指标的指数化计算方法，高优指标：Y = X/M；低优指标：Y = M/X，Y表示该指标的指数值。指数化结果见表7。

表  7  二级评价指标的指数化结果

Table  7.  Indexed results of secondary evaluation indicators

教师代码	同行 评价Y值	专家督导 评价Y值	学生 评价Y值	教研室 活动Y值	试卷 规范性Y值	评分 准确性Y值	*试卷 错误率Y值	*批改 出错率Y值	*出错 严重性Y值
B1	1.01	1.06	1.03	1.05	1.00	1.00	2.57	1.59	1.00
B2	1.00	1.02	0.98	1.05	1.00	1.00	2.06	1.45	1.00
B3	1.01	1.00	1.04	1.05	1.00	1.00	6.50	1.59	1.00
B4	1.00	0.97	0.98	1.01	1.00	1.00	0.59	0.65	1.00
B5	1.01	0.99	0.97	1.05	1.00	1.00	1.04	0.80	1.00
B6	0.99	0.99	1.02	0.74	1.00	1.00	0.38	1.00	1.00
B7	0.97	0.97	0.97	1.05	1.00	1.00	1.43	0.80	1.00
注：*表示为低优指标，其余为高优指标；指数化后指数结果表示越高越好。

下载: 导出CSV 

| 显示表格

2.2.3   综合指数的计算及排序

利用综合指数计算的公式，根据各评价指标权重和指数化结果加权计算得出课堂教学质量评分、教研室教学活动参与率及课程考核管理的指数，并计算出教学水平最终综合指数和排序。B1至B7共7位教师的教学水平的综合指数为1.19、1.11、1.46、0.94、0.99、0.90、1.01，从高到低的排名为B3 > B1 > B2 > B7 > B5 > B4 > B6，结果详见表8。

表  8  7位教师的教学水平的综合指数值

Table  8.  The comprehensive index value of the teaching level of 7 teachers

教师代码	课堂教学质量评分Y值	教研室教学活动率Y值	课程考核管理Y值	综合指数	教学水平排名
B1	1.04	1.05	1.44	1.19	2
B2	1.00	1.01	1.31	1.11	3
B3	1.01	1.05	2.23	1.46	1
B4	0.98	1.01	0.84	0.94	6
B5	0.99	1.05	0.96	0.99	5
B6	1.00	0.74	0.88	0.90	7
B7	0.97	1.05	1.04	1.01	4
注：教学水平综合指数 = 课堂教学质量评分Y值×权重值 + 教研室教学活动率Y值×权重值 + 课程考核管理Y值×权重值，如：B1教师综合指数 = 1.04×0.42 + 1.05×0.22 + 1.44×0.36 = 1.19。

下载: 导出CSV 

| 显示表格

2.3   不同教师的综合指数年度变化情况

B1至B6共6位教师2017年教学水平综合指数排名为B3 > B1 > B2 > B5 > B4 > B6，2018年教学水平综合指数排名为B3 > B2 > B3 > B5 > B4 > B6，2019年教学水平综合指数排名为B1 > B3 > B2 > B7 > B5 > B4 > B6。由图1可以看出，B1教师2018年教学水平综合指数有所下降，2019年后上升排名第一，B2教师综合排名逐年上升，B3教师相较于2017年，2018年和2019年综合指数下降明显，B4和B6教师2019年综合指数也下降明显，B5教师3 a的综合指数无变化。B7教师因2019年就职教研室，无其它2 a数据，未做趋势变化图。

图  1  B1-B6共6位教师3 a综合指数变化情况

Figure  1.  Changes in the comprehensive index of 6 teachers in 3 years

下载: 全尺寸图片 幻灯片

3.   讨论

经过基于优序图法加权的综合指数法评价教研室B1至B7共7位教师的教学水平，得出7位教师的综合指数值分别为1.19、1.11、1.46、0.94、0.99、0.90、1.01，教师的综合教学水平的排名为B3 > B1 > B2 > B7 > B5 > B4 > B6。B3教师综合排名最佳，B6教师综合排名最差。从各个指标来看，B1教师在课堂教学质量和教研室活动参与方面表现佳，但课程考核管理方面差于教师B3，今后需认真批改试卷，减少试卷出错情况，提高课程考核管理质量；B2教师在教研室活动参与和课程考核管理质量方面较差，今后提高教研室活动参与的积极性和减少试卷批改错误情况；B3教师在课程考核管理质量方面是最佳，批改试卷错误情况相对其他教师较少，但课堂教学质量评分相对B1教师较低，该教师需继续保持自己课程考核管理的能力，同时改进教学方法，提高课堂教学水平；B4教师在3个方面都需要改进和提高，尤其在课程考核管理质量方面，排名最差，B4教师的实际情况是教授的班级相对于其他教师较多，批改试卷工作量大，容易出现错误，建议教研室综合考虑工作实际分配教师担任课程，同时教师B4也要认真批改试卷，减少错误率；B5教师在3个方面都有待提高；B6教师在3方面表现都较差，且综合排名为最差，尤其在教研室活动参与方面，教师应该提高积极性，积极参与到教研室的活动中，比如教研室的规范性集体备课是有利于提高课堂教学质量^[19]，同时提高课程考核管理质量；B7教师和B5教师一样，在3个方面都有待提高。不同教师的综合指数年度变化情况显示，B1教师2018年教学水平综合指数有所下降，2019年后上升排名第一，B2教师综合排名逐年上升，B3教师相较于2017年，2018年和2019年综合指数下降明显，B4和B6教师2019年综合指数也下降明显，B5教师3 a的综合指数无变化，基于这样的结果可以指导教研室管理者具体分析每位教师不同年份出现指数下降或者上升的原因，提出合理提高教师自身教学水平的建议。

综上可以看出，教学水平评价的过程中，综合指数法消除了评价指标的性质和单位的不同对量化的影响，加入了各指标的权重，对数据的分布、指标的多少也无严格要求，可以得出各个教师多方面的综合表现，而且较为简单方便可行，综合指数法可以应用于教学水平的评价中。但是综合指数法涉及到权重的计算，在实际应用过程中易夸大权数大的因素和掩盖权数小的因素的作用^[20]，所以权重的计算尤为重要，要制定合理的指标权重，经文献研究发现，与层次分析法计算权重相比，优序图法具有简便、结果可靠、容易理解、便于管理者和使用者掌握及推广应用等优点^[21]，因此，将优序图法用于教师教学水平评价指标的确定。利用优序图法确定教师教学水平评价指标即课堂教学质量评分、教研室活动参与率、课程考核管理3个一级指标及各个相应二级指标的权重，通过5位不同岗位职责的专家（1位学院领导、2位教学管理人员、2位专职教师）依据优序图打分，结果相对可靠，最终权重值经过专家讨论并用于教学评价中。

在高校教师教学水平评价研究中，建立科学有效的评价指标体系尤为重要，应根据教研室实际情况，不断地对指标体系进行优化，要加强各教学环节的教学质量监控^[22]，规范教育教学行为，有针对性地完善教学质量评价体系，更加全面地评价和提高教师综合教学水平 ^[23]。目前，高校教师教学质量评价体系不够完善，评价方法较为单一，教师评价指标较少^[24]。本研究在教师评价中引入了基于优序图法的综合指数法，为教学评价提供了一种新的方法。综合指数法既往应用于可持续发展能力综合评价^[25]、水质评价^[26-28]、医疗质量综合评价^[29]、基本公共卫生服务评价^[30]等诸多领域，但未发现应用于教学质量评价中，本次研究采用基于优序图法的综合指数法，考虑到了不同评价指标权数的不同，同时也考虑到不同指标单位的不同，较为全面的评价了不同高校教师的综合教学水平，也丰富了教学质量评价方法。另外，本研究将教研室活动参与率及课程考核管理等评价指标加入到教学评价中，增加了教学评价指标内容，为完善教学质量评价体系提供了参考。今后的研究中也可考虑将科研管理、课外教学实践等更多评价内容补充到教学评价体系中，不断完善教学质量评价体系，提高高校教师综合教学水平。

总的来说，基于优序图法的综合指数法消除不同指标性质不同，计量单位不同的影响，加入各指标的权重，结果得出各个教师多方面的综合表现，且方法简单易行，可应用于教研室对高校教师教学水平的评价。