Reliability and Validity of A Questionnaire for International Students in China with Educational Service Satisfaction in English Version-Taking Kunming Medical University as A Case
-
摘要:
目的 评价来华留学生全英文教学满意度量表（ISCESSE）的信度和效度。 方法 通过查阅文献、专家访谈和预调查自行编制全英文版本留学生教学服务满意度量表，对结果进行量表的信度和效度检验。其中信度用内部一致性的Cronbach’ s α系数、折半信度和组合信度、效度采用探索性因子分析和验证性因子分析评价量表的效度。 结果 共回收有效量表112份。该量表提取出教师教学水平、教师教学态度和学生自身素养3个维度，共24个条目。量表总的Cronbach’ s α系数为0.961，折半信度系数0.907，三个维度的Cronbach’ s α系数分别为0.926、0.935、0.917，组合信度为0.896、0.912、0.925。经过探索性因子分析，提取三个因子的累积方差贡献率分别是53.7%、62.9%和68.9%。各维度与总量表的相关系数为0.803～0.935 （P < 0.05）。验证性因子分析，模型整体适配度指标（如卡方自由度比值，RMSEA）基本满足要求，参数估计值误差方差均无负值，各条目与所在维度之间的标准化参数估计值除1个小于0.7外，其它均接近或高于0.8。 结论 该量表具有较好的信度和效度，可用于昆明医科大学来华留学生全英文教学服务满意度的评估。 Abstract:Objective To evaluate the reliability and validity of a questionnaire for International Students in China with Educational Service Satisfaction English version （ISCESSE）. Methods Item and performance indicators were selected after expert groups discussion and preliminary experiments to construct the ISESSE. Cronbach's α coefficient and split-half reliability were used to evaluate the reliability as well as composite reliability. Exploratory factor analysis （EFA） and confirmatory factor analysis （CFA） were used to evaluate the validity. Results A total of 112 students were enrolled. The Cronbach's α coefficient, split-half reliability of the scale were 0.961, 0.907. The composite reliability of 3 dimension was 0.896、0.912、0.925, respectively. The Cronbach's αcoefficient of 3 dimension with 24 items was 0.926、0.935、0.917, respectively. EFA showed the cumulative variance proportion were 53.7%, 62.9%, and 68.9%. The correlation coefficients of each dimension and the total questionnaire ranged from 0.803 to 0.935 （P < 0.05）. CFA showed that the goodness of fit index （such as χ2, RMSEA） indicated good model fitting and good structure validity. Except for one less than 0.7, the standardized parameters between each item and dimension were all close to or higher than 0.8, which also suggested a very favorable validity. Conclusion The established ISESSE is of good reliability and validity and could be used to evaluate the international students' Educational Service Satisfaction in Kunming Medical University. -
我国2013年倡议建设“一带一路”，得到许多国家的积极响应与参与，云南省的地理位置，历史渊源和长期的贸易往来，使东南亚国家的留学生成为来滇留学的主体[1]。在来华留学生学历教育中，医学成为越来越多留学生的选择的“热门专业”。截止2018年来华留学生中，医学（西医）人数占11.2%，在专业中排名第三。昆明医科大学以建设区域高水平医科大学和“双一流”建设为目标，立足云南，辐射南亚、东南亚，紧密围绕国家战略，积极发展来华留学教育，形成了以医学专业教育为主，汉语教学和医学进修为辅，宽领域、多层次的留学生教育格局。迄今已培养来自40个国家和地区的各类留学生1000多人次，其中来华留学全英文授课本科生（bachelor of medicine & bachelor of surgery，MBBS，以下简称MBBS）500余人 [2]。然而，日益增多的来华医学留学生也给我国留学生的教育管理带来了巨大的挑战。留学生来自不同的国家，宗教、文化、生活经历、教育背景和价值观念等存在差异，如何提高医学高等教育服务质量，满足来华留学生的教育工作已经成为一个亟待解决的重要问题[3]。我国目前针对来华留学生教学满意度已经开展了一些研究并获得很好的成果，但大多缺乏量表的测量工具的信度和效度的评价，加之由于地域、高等医学教育学校教学模式、教学内容等的差异，很有必要针对评估工具进行全面、深入的评估。本研究通过对全英文教学服务满意度量表进行信度和效度的评价，为来华医学留学生就学满意度研究提供标准化的测量工具，并为后续进一步分析提供证据支持。
1. 对象与方法
1.1 研究对象
在某大学一年级至四年级的MBBS学生中，按照立意抽样的原则，每个年级选取28名学生，共112名留学生为研究对象，开展问卷调查。
1.2 量表编制
1.2.1 量表设计与修订
以“留学生满意度”为关键词，在中国知网、万方和维普期刊检索到相关文献初步拟定条目，随后通过与国际教育管理部门教师和留学生的访谈法进行条目的扩充和遴选。形成初步中文量表后，请英语专业老师将其回译成英文，重点修订中英文不一致，理解有较大差异的条目。量表历经多次直译和反译，使其语言符合英文表达习惯。完成量表的预试验后，最终确定全英文来华留学生教学服务满意度量表（international students in China with educational service satisfaction English version，ISCESSE）。
1.2.2 量表确定内容
分为基本信息和教学满意度两部分，其中教学满意度包括教师教学水平（9个条目）、教师教学态度（9个条目）和学生自身素养（6个条目）三个维度，共24个条目。所有条目选用Likert量表5级计分方式，为很不满意（1分）、不满意（2分）、一般（3分）、满意（4分）、非常满意（5分），均值分数越高，满意程度越高。
1.3 统计学处理
1.3.1 数据采集
为避免入学初期的兴奋和期末考试的压力带来情感干扰，于学期中期采取现场自填式ISESSE量表的方式，由教师和经过培训的调查员，在课后教室里统一发放、收集和整理有效量表。共发放112份问卷，收回有效问卷112份，有效率为100%。采用EpiData 3.1软件双录入，建立数据库。
1.3.2 数据分析
主要是ISCESSE量表的信度和效度评价，运用SPSS25.0软件进行统计描述以及相关统计分析，AMOS24软件进行验证性因子分析。
（1）信度：信度是指测算问卷所得到的结果的一致性或稳定性，反映被测特征真实程度的指标。本研究采用以下指标来评估量表的信度：①克朗巴赫系数α（Cronbach’ s α）[4]，评价量表内部一致性，α系数的取值范围为0≤α≤1， α的值越大，说明量表的各题目之间的关联度越高，其内部一致性信度越好，一般当系数 > 0.8时，则可认为量表信度好；②折半信度（split-half reliability） [5]，检验量表跨条目的一致性，结果用Spearman-Brown 系数评估，Spearman-Brown 值越大，说明该量表的检测功能越稳定；（3）组合信度（ Composite Reliability，CR）[6]，量表题项之间相关性越强，潜在变量对它们的解释能力也越强，因子载荷值加和的平方就越大，CR值越大，内部一致性就越好；
（2）效度：效度是是指测量工具能够测出所需测量事物的准确程度[7]。本研究采用探索性因子分析（exploratory factor analysis，EFA）和验证性因子分析（confirmatory factor analysis，CFA）评价量表的结构效度和内容效度[8]。结构效度通过EFA确定量表的维度后，进一步进行CFA分析拟合模型，模型适配度指标主要为卡方自由度比值（χ2/df）、渐近残差均方和平方根（root mean square error of approximation，RMSEA）、增值拟合指数（incremental fit index， IFI）、比较适配指数（comparative fit index，CFI）、塔克-刘易斯指数（tucker-lewis index， TLI）、简约调整适配度指数（parsimony goodness-of-fit index，PGFI）、简约调整比较适配指数（parsimony-adjusted comparative fit index， PCFI）、简约调整规准适配指数（parsimony-adjusted normed fit index，PNFI）[9-10]，而内容效度的指标考虑量表总分与各因子之间的相关系数[11-12]。
2. 结果
2.1 基本信息
112名留学生中，女生53名（47.3%），男生59名（52.7%）。以印度籍最多（占82.11%）、其余来自孟加拉国、泰国和尼泊尔。大多信仰印度教和伊斯兰教。通过EFA判断数据是否适合因子分析，KMO统计量值为0.899，Bartlett 球形检验结果小于0.05，各变量间具有相关性，提示可以采取因子分析。
2.2 信度评价
从表1可知，量表总体的 Cronbach’ s α系数为 0.961，三个维度Cronbach’ s α系数分别为 0.925、0.933和0.915，α系数值均高于0.9，说明本次数据的信度质量水平较好，研究数据真实可靠。折半信度系数分别为0.896、0.912、0.925，同样验证量表有很好的内部一致性；组合信度分别为0.926、0.935、0.917。
表 1 ISESSE量表信度检验结果Table 1. Reliability test results of ISESSE维度（子题目数目） 克隆巴赫系数 折半系数 组合信度 教师教学水平（9） 0.925 0.896 0.926 教师教学态度（9） 0.933 0.912 0.935 学生自身素养（6） 0.915 0.925 0.917 量表总体（24） 0.961 0.907 0.972 2.3 效度评价
2.3.1 结构效度
通过EFA分析，所有24个条目中抽取特征根 > 1 的因子，确定教师教学水平、教师教学态度和学生自身素养3个维度（因子）。三个因子的累积方差贡献率分别是53.7%、62.9%和68.9%，说明这三个维度有较好的结构效度（ 表2）。
表 2 ISCESSE量表条目在医学生中的因子载荷（n = 112）Table 2. Factor loading of ISESSE scale in medical students （n = 112）条目 教师教学
水平教师教学
态度学生自身
素养专业知识、技能水平 0.823 内容符合学生发展 0.716 跨文化意识 0.714 内容具有条理性和丰富性 0.694 全英文教学水平 0.664 不依赖于教材或ppt 0.662 不照本宣科，联系实际 0.654 多种教学方法 0.472 态度认真、严谨、敬业 0.455 课堂上给予足够的关注 0.942 积极与同学互动交流 0.787 优化和选择教学方法 0.704 引入知识和培养能力 0.613 按时上下课 0.541 课堂气氛民主、开放 0.535 平易近人，公平对待同学 0.506 调动气氛、及时回答问题 0.498 积极充实和更新教学内容 0.438 学生自身的学习态度 0.888 学生的英语成绩 0.849 学生思考发言，参与互动 0.839 学生完成课堂任务或作业 0.776 学生出勤率 0.686 学生课堂收获 0.674 特征值 12.885 2.220 1.205 方差贡献率 0.537 0.092 0.050 累计方差贡献率 0.537 0.629 0.680 进一步CFA分析发现，该模型拟合程度较好（表3），显示该ISESSE量表的效度较好。CFA模型路径因子及标准化的载荷系数结果见图1，3个因子对应着24个测量项，模型误差项间的协方差矩阵未出现负数；参数估计值无异常偏大的标准误；参数估计值t检验有统计学意义（P < 0.05）；仅一个测量项的标准化载荷系数值小于0.7，其余项的载荷系数值均接近或者高于0.8，表示潜在变量对测量变量的解释程度较高，模型适配很好，且各测量变量的标准化系数均有统计学意义。潜变量之间相关系数0.65～0.92，说明因子之间具有较强的关联性，ISESSE量表具有可靠的结构效度。
表 3 ISCESSE量表验证性因子分析模型评价结果（n = 112）Table 3. CFA of ISCESSE scale with model evaluation （n = 112）项目 χ2/df CFI IFI TLI PGFI PNFI PCFI RMSEA 模型 2.574 0.826 0.828 0.807 0.902 0.673 0.745 0.119 拟合度判断标准 < 3 > 0.9 > 0.9 > 0.9 > 0.5 > 0.5 > 0.5 < 0.1 
图 1 留学生满意度量表验证性因子分析路径图与标准化解Figure 1. Path diagram and standardized coefficient of CFA of ISESSE2.3.2 内容效度
各因子与总量表的Spearman 相关系数在 0.505～0.839 之间，各条目与所在维度的相关系数在 0.438～0.942 之间，均有统计学意义（P < 0.01）；各维度与总量表的相关系数为0.803～0.935 （ 表4），均有统计学意义（P < 0.05）。说明量表的内容效度较好。
表 4 ISCESSE总量表与各维度的Spearman 相关系数（rs）Table 4. Spearman’s rank correlation coefficient （rs） of ISCESSE total scale and each dimension项目 教师教学水平 教师教学态度 学生自身素养 量表总体 教师教学水平 1 教师教学态度 .848** 1 学生自身素养 .614** .618** 1 量表总体 .935** .934** .803** 1 注：*P < 0.05， ** P < 0.01。 3. 讨论
2020年4月，中国教育国际交流协会发布的《来华留学生临床医学专业本科教育（英语授课）质量控制标准（试行）》[13]中明确各高校应建立完善学生评教机制，对教师教学水平、教学过程、教学管理开展评价活动。随着来华学习的留学生增多，针对来自印度、孟加拉国、尼泊尔等国家MBBS留学生的不同文化背景、知识结构和兴趣特点，有效开展学生评教工作是MBBS学生培养过程上有待解决的问题[14]。而问卷调查方式在医学科研和教育领域中广泛应用，合格的问卷能够尽可能真实地反映调查对象各方面的情况，为相关部门制定科学的预防干预措施提供科学依据[15]。因此，在编制和使用问卷时，研究者都需要对问卷的稳定性、有效性和准确性进行评价[16-18]。
信度和效度评价是考评量表的重要指标[12]。本研究针对昆明医科大学留学生所设计的全英文来华留学生教学服务满意度量表（ISCESSE）信度检验结果显示，无论是总体还是各维度的克朗巴赫系数α均在0.9以上，并且三个维度的组合信度均在0.910以上，满足组合信度 > 0.600为可接受信度的要求 [19]，可以认定本研究的量表有良好的信度，同时其中的潜在变量的测量信度也是比较好的。对于ISESSE的效度评价，内容效度方面，Pearson结果显示，教师教学水平维度、教师教学态度维度、学生自身素养维度与总量表之间呈正相关，相关系数均 > 0.5， P值均 < 0.01；各维度之间也呈正相关，相关系数均 > 0.5， P值均 < 0.01；说明该量表的内容效度较好。结构效度方面，通过EFA和CFA深入分析结果显示，三个潜在因子的载荷均达到较强的关联性，说明量表的因子结构具有较高的稳定性和拟合度；24个条目三个公因子的累积方差贡献率分别为53.7%、62.9%和68%，符合公因子累积方差贡献率至少在50%的要求 [20]，说明该量表具有良好的结构效度，基本反映了问卷的设计结构。
综上所述，该英文量表在昆明医科大学医学留学生教学质量评价中应用具有良好信度和效度，是可信、有效的测评工具，可用于来华留学生教育服务满意度的测量与评价，从而从教师和学生角度有针对性地优化教育模式，提高教学质量。同时，考虑到不同国家、文化背景和生活方式的留学生群体，建议在国内高校的留学生医学教育的相关研究中推广应用，从而进一步完善修订，为适应医学高等教育事业的发展提供科学依据。
-
图 1 留学生满意度量表验证性因子分析路径图与标准化解
Figure 1. Path diagram and standardized coefficient of CFA of ISESSE
表 1 ISESSE量表信度检验结果
Table 1. Reliability test results of ISESSE
维度（子题目数目） 克隆巴赫系数 折半系数 组合信度 教师教学水平（9） 0.925 0.896 0.926 教师教学态度（9） 0.933 0.912 0.935 学生自身素养（6） 0.915 0.925 0.917 量表总体（24） 0.961 0.907 0.972 
下载: 导出CSV
表 2 ISCESSE量表条目在医学生中的因子载荷（n = 112）
Table 2. Factor loading of ISESSE scale in medical students （n = 112）
条目 教师教学
水平教师教学
态度学生自身
素养专业知识、技能水平 0.823 内容符合学生发展 0.716 跨文化意识 0.714 内容具有条理性和丰富性 0.694 全英文教学水平 0.664 不依赖于教材或ppt 0.662 不照本宣科，联系实际 0.654 多种教学方法 0.472 态度认真、严谨、敬业 0.455 课堂上给予足够的关注 0.942 积极与同学互动交流 0.787 优化和选择教学方法 0.704 引入知识和培养能力 0.613 按时上下课 0.541 课堂气氛民主、开放 0.535 平易近人，公平对待同学 0.506 调动气氛、及时回答问题 0.498 积极充实和更新教学内容 0.438 学生自身的学习态度 0.888 学生的英语成绩 0.849 学生思考发言，参与互动 0.839 学生完成课堂任务或作业 0.776 学生出勤率 0.686 学生课堂收获 0.674 特征值 12.885 2.220 1.205 方差贡献率 0.537 0.092 0.050 累计方差贡献率 0.537 0.629 0.680
下载: 导出CSV
表 3 ISCESSE量表验证性因子分析模型评价结果（n = 112）
Table 3. CFA of ISCESSE scale with model evaluation （n = 112）
项目 χ2/df CFI IFI TLI PGFI PNFI PCFI RMSEA 模型 2.574 0.826 0.828 0.807 0.902 0.673 0.745 0.119 拟合度判断标准 < 3 > 0.9 > 0.9 > 0.9 > 0.5 > 0.5 > 0.5 < 0.1
下载: 导出CSV
表 4 ISCESSE总量表与各维度的Spearman 相关系数（rs）
Table 4. Spearman’s rank correlation coefficient （rs） of ISCESSE total scale and each dimension
项目 教师教学水平 教师教学态度 学生自身素养 量表总体 教师教学水平 1 教师教学态度 .848** 1 学生自身素养 .614** .618** 1 量表总体 .935** .934** .803** 1 注：*P < 0.05， ** P < 0.01。
下载: 导出CSV
-
[1] 崔延强, 李云梅. “一带一路”倡议下大学国际化发展问题研究—基于云南省中外合作办学现状的考察[J]. 教师教育学报,2019,6(1):83-91. [2] 李红宾, 梁红敏, 彭云珠, 等. 来华留学生临床教学质量提升探索与实践[J]. 昆明医科大学学报,2020,41(3):150-153. doi: 10.3969/j.issn.1003-4706.2020.03.029 [3] 隋婧, 赵心蕊, 和一之, 等. 中国西部地区医学留学生教育现状调查及对策思考[J]. 临床医学研究与实践,2019,4(6):187-191. [4] 梁乃文, 王小燕, 侯振挺, 等. 湖南省公众安全感调查问卷及其与信度和效度分析[J]. 数理统计与管理,2012,31(6):1039-1048. [5] Berglund A L, Ericsson K. Different meanings of quality of life: a comparison between what elderly persons and geriatric staff believe is of importance[J]. Int J Nurs Pract,2003,9(2):112-119. doi: 10.1046/j.1322-7114.2003.00414.x [6] Fornell C, Larcker D F. Evaluating structural equation models with unobservable variables and measurement error[J]. Journal of Marketing Research,1981,18(1):39-50. doi: 10.1177/002224378101800104 [7] 孟琼, 罗家洪, 万崇华, 等. 胃癌患者生命质量测定量表EORTC QLQ-STO22中文版的制定和评价[J]. 昆明医科大学学报,2012,33(10):34-38. doi: 10.3969/j.issn.1003-4706.2012.10.009 [8] Van Der Scheer E A, Bijlsma H J E, Glas C A W. Validity and reliability of student perceptions of teaching quality in primary education[J]. School Effectiveness and School Improvement,2019,30(1):30-50. doi: 10.1080/09243453.2018.1539015 [9] 李跃平, 黄子杰. 验证性因子分析在量表结构效度考核中作用[J]. 中国公共卫生,2007,(10):1198-1199. doi: 10.11847/zgggws2007-23-10-25 [10] 吴明隆. 结构方程模型-AMOS的操作与应用[M]. 重庆: 重庆大学出版社, 2010: 37-68. [11] 熊家豪, 牟劲松, 赵淑英, 等. 我国大学生健康素养问卷的研制及信度和效度评价[J]. 中国卫生统计,2018,35(4):518-521. [12] Bakker A B. The work-related flow inventory: Construction and initial validation of the WOLF[J]. Journal of Vocational Behavior,2008,72(3):400-414. doi: 10.1016/j.jvb.2007.11.007 [13] 中国教育国际交流协会国际医学教育分会, 《来华留学生临床医学专业本科教育（英语授课）质量控制标准（试行）》[EB/OL].（2020-05-09）[2020-12-12]. http://www.ceaie.edu.cn/shewaibanxuezhiliangbaozhangbu/tongzhigonggao/1970.html. [14] 雷雯, 吴文娟, 李振坤, 等. 参与式教学在MBBS学生见习教学中的效果评价[J]. 昆明医科大学学报,2018,39(5):138-140. [15] 黄鑫, 胡敏予, 黄忆明. 血脂知识-态度-行为问卷的信度和效度检验[J]. 卫生研究,2008,(2):204-206. [16] Aydoğan S, Atay E, Metintaş S, et al. Reliability and validity of disability literacy scale for medical school students[J]. European Journal of Public Health,2019,29(Suppl4):298. [17] Ocal E E, Onsuz M F. Reliability and validity of healthy lifestyle behaviours scale in children[J]. European Journal of Public Health,2020,30(5):392. [18] Huang A Y, Wu K S, Li A N, et al. The reliability and validity of an assessment tool for developmental dyslexia in Chinese children[J]. International Journal of Environmental Research and Public Health,2020,17(10):3660. doi: 10.3390/ijerph17103660 [19] 郭太玮, 朱勤, 施鸿飞. 基于结构方程模型的大学生亚健康量表效度测评[J]. 中国卫生统计,2013,30(1):23-26,30. [20] 赵斐然, 周天驰, 张俊颖, 等. 量表(问卷)信度、效度评价在我国医学领域的应用与展望[J]. 中华中医药杂志,2014,29(7):2280-2283. -
下载:
点击查看大图
计量
- 文章访问数: 5154
- HTML全文浏览量: 2611
- PDF下载量: 13
- 被引次数: 0
