训练成效评估的四个层次
目前理论上与实践中最被广泛应用的是Kirk Patrick博士所提出的训练成效评估的四个层次。
(一)反应评估(Reaction Measures)
所谓“反应评估”是评估学员对课程的满意程度。通常是于课程结束前邀请学员填写课后问卷以了解学员对课程的满意程度,并将搜集的意见作为未来举办同样课程之改善参考。问卷项目通常包括有课程实用性、深浅难易度、时间长短、讲师讲授技巧等。
这一层次的评估是训练主办人员最能掌控的,无论就课程规划、讲师遴选、教材编辑等方面,因此,每堂课后皆应进行课后问卷,并可以学员满意度作为训练主办人员年终绩效评估项目之一。
(二)学习评估(Learning Measures)
大家也了解,学员满意并不保证学员学习效果,而学习效果不能验证,便无法证实训练对公司的实质贡献,因此,实有必要进一步进行学习评估。
所谓“学习评估”,就是指根据训练目标,测量学员对所学的知识、技能的了解吸收程度。根据课程类型不同有如下不同的评估方式:
书面测验(Written Tests) 是用来了解学员对专业知识的的理解程度。常见的书面测验是于课后一周内举行书面测验(包括有是非/选择/填充题与实作),及格分数大多设定为70分。测验的目的是为了让学员能于课后温习,以便对于最根本而重要的观念能牢记在心。
模拟情境(Simulation Exercises) 即在课后设计一些工作中的模拟情境,以观察学员是否能正确应用所学的相关观念与技巧。这种情境模拟评估方式,通常是在管理技能训练与顾客服务训练课程中较常被用来评估学习成效。
操作测验 举凡电脑操作训练,应设计实作题,以便评估学员是否已会操作使用。
学前/后比较(Pretest-Posttest) 即在课前先自我测试对于授课内容的了解程度,然后在上完课后再做一次测试,课前/后差异的比较,便表示所学习之处。这种比较法通常是在管理技能训练中使用。
上述前三种的学习评估方式,亦常被企业作为员工能力评估的方法。
(三)行为评估(Behavior Measures)
即通过训练前/后行为的改变,以评估训练对受训员工绩效改变的程度,这样的评估是最能直接反应训练绩效的。然而,这方面的评估,是有赖于受训员工主管、同侪、甚至部属的观察与回馈。
课前/后问卷调查 要观察受训员工行为/绩效是否有明显改变,其实不难,因一般的专业技能训练,大多是使学员“由不会到会”、“由会到熟练”或“由简单到困难”,是容易辨识的,所以教育训练主办人员可于课前透过结构式问卷,向受训员工主管调查受训员工目前能力水准,然后在课后1-3个月再施予同样的问卷调查,再比较其差异,便可了解受训员工将所学运用于工作中情形。
360度管理能力评估 所谓360度管理能力评估,即是主管、同事与部属观察受评人日常管理行为而做的回馈,以协助主管人员了解本身的管理能力优劣势,找出训练发展需求并施予所需训练,然后再定期评估受评人的训练发展成效。但问卷的设计执行需要相当专业素养,诸如首先须与高阶经营主管共同界定公司的核心管理能力,然后再分项发展行为导向的问卷题目,最后则找出绩效良好的常模(标准);此外,执行过程中须审慎处理敏感问题;最后,问卷资料的汇总分析,是相当费时耗事,而分析结果的应用解说,亦须有专业顾问引导。故若一般公司要引进,最好能借助企管公司的专业,代为协助执行较合宜。
一般而言,同样的课程,每位学员的学习与应用能力通常多少都有所不同,这可能是员工本身因素,亦可能是主管或环境因素,但若有执行事后的问卷追踪,则可督促受训员工与主管的重视程度,进而达到间接强化学习的效果。
(四)组织效益评估(Organizational Result Measure)
组织效益评估是评估训练对组织绩效,诸如生产力、销售额、顾客满意、品质改善等的影响。但事实上,影响组织绩效的变数很多,可能是经济景气因素、新制度、新机器设备、新主管等因素,所以较难证明训练与组织绩效的直接关连性。仅就最常见的几种训练,来分析其对组织效益的关连性:
有关公司核心专业能力训练 这类训练通常是公司突显与其他竞争者更为专业之处,若此能力无法持续精进与传承,则公司难保有竞争优势,尤其是高科技产业或知识密集产业。基本上,公司的内部运作通常系围绕着核心专业能力,若某一环结有误,将会造成延误、重做、甚至引发不可控制后果而严重影响商誉。以保险公司为例,若前线业务人员要保书填写不正确,将使核保单位降低出单速度与增加错误率,而影响整体运作效率、品质与客户满意度;再者,若业务员夸大保单承保范围,则理赔时则易与顾客发生争议等。因此,只要提高业务员要保书填写与保单说明的专业能力,便能大大提升公司生产力与服务品质。
有关电脑技能训练 通常包括有输入训练、Office软件等操作训练等。以输入训练为例,若原输入速度每分钟为20个字,训练后提升至40个字,则表示生产力提升50%。再以财务人员原需制作一份报表速度为1小时为例,若经EXCEL训练而降为半小时,则表示生产力提升了50%。从这些数据分析,可显示电脑科技的使用,能大大提升企业生产力。
有关管理技能训练 因牵涉到人的问题,较难量化,不过可间接从员工士气、流动率、员工满意度、缺勤率等,得知训练对组织的效益。
有关顾客服务训练 可以内外部顾客满意度调查来比较训练前/后之不同,以验证训练成效。
有关销售技巧训练 最直接的验证方式,则是业绩是否有所提升。
整体而言,训练是协助企业员工能有效地执行任务,因此,透过训练至少应可将员工绩效提升至一定可接受水准,让上述潜在隐藏成本,降至最低,进而提高生产力。
训练到底贵不贵
一次完善的课程举办,需要通过PDCA的管理循环,才能精益求精。因此,除了课前缜密规划与课中细心执行外,检核与修正更是不可少,而训练成效的评估即是扮演着这重要角色。此外,规划课程时,还应本着“以终为始”的原则,将预期训练成效纳入考量,然后再发展合适的训练内容与教学方法,如此才易确保达到预期的训练成效。
然而,客观的训练成效评估必须能回答两个基本问题:
一、是可否造成“学习”、“行为”与“组织效益”的改变?
二、前项的改变是否是因“训练”而发生?
一般而言,训练的成本是较易计算的,其包括的成本,不光是因训练所发生的成本,如讲师费、教材费、器材费、场地费、差旅费与住宿费等,尚包括训练承办人员与受训人员的薪资,真可谓“训练很贵”。因此,举办任何课程实有必要于课前详细地做好训练的成本效益分析,以便辩护“不训练更贵”。
从前一单元的组织效益分析,有效的训练的确可降低隐藏成本、提升生产力,若将这些隐藏成本转换为实际的费用节省或收益增加,便是公司直接的获益,也就是训练主办人员对公司最直接的贡献了。
(本文作者邓玉金,资深HRD,知名培训师,《招聘的8节实战课》著作者,公众号:邓玉金人力资源实战,转载请注明作者和出处)