第一章 绪 论
第一节 研究背景
中组部在《关于加强和改进基层干部教育培训工作的意见(征求意见稿)》中强调抓好基层干部教育培训,对于巩固党的执政地位、实现全面建设小康社会具有重大现实意义,提出要多渠道、全覆盖地开展基层培训工作。随着国家财力的增强和财政转移支付力度的加大,在乡镇基层财政部门运行的资金越来越多,基层财政部门必须积极适应财政工作的新形势新变化,不断加强财政管理基础工作,切实加强基层财政管理,努力提高财政管理科学化精细化水平,这就需要加强对乡镇财政干部和农村基层干部及财会人员财政政策培训,提高基层干部综合素质。
在培训教学中如何有效地实现培训实效,是衡量财政基层培训工作是否成功的重要因素。建立公开、透明、科学、规范的培训考核评价体系,加大培训考核评价力度。对培训的前期准备过程(培训需求调研、教学计划、实施方案等)、实施过程(培训内容、培训形式、培训方法、培训师资、组织管理、后勤保障等)和培训实施效果进行多角度、深层次、全过程量化考核评估,达到以评促训的目标。因此,研究财政基层培训效果的评估体系成为整个培训工作的关键所在。
第二节 研究目的和意义
一、研究目的及意义
雷蒙德·A·诺伊教授认为,“培训效果评估”就是指“收集培训成果以衡量培训是否有效的过程”;而英国的管理服务委员会(MSC)将其定义为“用来判断培训是否达到既定目标的过程”。培训是一个由培训需求分析、培训设计、培训实施和培训效果评估组成的系统,如果说前三个环节的开展越来越受到各级财政部门重视的话,培训效果评估却远远落后于培训的脚步。长期以来,各级财政部门对管理人员进行培训后没有对培训效果进行评估,或者评估效果欠缺,这就大大降低了培训效果,进而影响了各级财政部门整体工作的推进。而各级财政部门不重视效果评估的一个重要原因是缺乏一套科学的财政基层培训效果评估指标体系。
效果评估是对各评估指标的信息综合,评估结果是否客观、准确,首先依赖于被综合的对象——各评估指标的信息是否准确、全面和有代表性,评估指标的选取和评估指标体系的设计是否合适,直接影响到综合评估的结论。因而,选取什么指标来刻画管理培训的效果,是本课题要解决的重要问题。
当前国内外对培训效果的评估研究对象大多针对企业,而政府公共部门的专业培训效果评估研究尚未出现。以公共管理为使命的政府部门与以赢利为根本目的的企业存在着本质性的区别,其评估模型与方法也是大相径庭。公共部门可以借鉴企业培训效果评价的部分方法,但更应该探索一条符合自己的道路。
本研究将分析财政基层培训的对象-受训人员满意的前置因素和后向结果,尝试建立适合财政基层培训评估的满意度模型,从而为财政基层培训效果评估提供理论支撑。同时通过研究,发现财政基层培训中存在的问题,为财政改革和发展,提高公共服务水平提出具体参考建议,对于完善公共服务体系,构建和谐社会有着重要的现实意义。
二、应用价值
本研究得出的财政基层培训满意度指数可以为省、州市、县等各级财政部门的培训服务改进提出战略性建议,也可以为建立适合中国国情的公共服务满意度模型积累经验。
第三节 研究方法与思路
一、研究方法
本课题研究的资料搜集方法采用专家访谈法、调查问卷法;数据分析方法则采用量表分析、相关分析和结构方程模型分析方法。
本课题以结构方程模型作为分析架构,而放弃多元回归分析法的主要原因在于结构方程模型方法具有以下优势:
(一)能同时处理多个因变量。而回归分析只能处理一个因变量,如有多个因变量需要处理,则需分别计算,在计算一个因变量时,就忽略了其他因变量的存在及影响。目前,许多国家都开发了评价公共部门公众满意度的相关测评模型,如美国顾客满意度指数模型(ACSI)、瑞典的顾客满意度指数(SCSB 模型)、欧洲顾客满意度指数(ECSI)、韩国的顾客满意度指数(KCSI 模型)等,在这些模型中结构方程模型是研究的首选方法。
(二)允许自变量和因变量均包含测量误差。而回归分析只允许因变量存在测量误差,而假定自变量没有误差。
(三)可以分析变量间内在的结构关系,估计整个可以比较不同模型模型的拟合度。通过拟合参数值,对同一样本数据的整体拟合程度,验证理论模型并加以修改。
二、研究思路
(一)收集整理关于管理培训绩效评估的国内外文献,制定财政基层培训评价体系的大纲与指标体系草案。
(二)采用德尔斐法,遴选各级财政部门专家,参与研讨财政基层培训评价体系的大纲与指标体系。
(三)开展州市、县、乡镇多级财政基层支农培训,根据评价大纲和指标体系及时评价培训效果,收集数据,建立培训效果评价模型,论证评价大纲与指标体系的科学性与实用性。并根据模型评价情况,修订财政基层培训评价体系的大纲与指标体系。
(四)按照财政基层培训评价指标体系的若干变量,将培训班级分成若干小组,对不同变量,分别设计不同权重,进行综合测定评价班级最终的成绩;在不同阶段比较各组成绩,从而总结培训评价规律。
第四节 国内外文献综述
一、国外顾客满意度指数研究和应用
(一)顾客满意度指数研究发展概况
顾客满意度指数正是一种新型的以顾客为基础,用来评价并改善组织绩效的一种测量体系。最初,顾客满意度模型只是应用在经济部门,随着顾客满意度模型应用的范围逐渐扩大,一些国家的公共部门也开始应用顾客满意度模型进行公众满意度测评,其中,美国联邦政府和地方政府可以说应用最为成功,美国顾客满意度指数已经成为美国联邦政府绩效考核的重要指标。为此,顾客满意度模型正为公众参与公共服务提供的理论支持,应用顾客满意度指数对政府部门进行评估也顺应了新公共管理及新公共服务理论的发展。
1.美国顾客满意度模型
美国公共部门顾客满意度模型与经济部门使用模型的结构体系基本一致。主要有以下区别:一是,两个模型应用领域不同,测量的内容有区别。经济部门测量的私人服务和物品,而政府部门测量是公共服务和物品;二是,政府部门应用的模型剔除了感知价值的潜在变量。这是因为在公众接受政府提供的公共服务或物品的过程中,往往都是免费的,所以政府部门的测量模型中剔除了感知价格这一潜在变量;三是,潜在变量顾客忠诚的标识变量设计,主要是体现在顾客信任和支持上,而不是重复购买等行为表现上,这是由政府公共服务具有垄断性所决定的。
2.欧洲顾客满意度模型
欧洲顾客满意度指数(ECSI)模型仍然延续了 ACSI 模型的理论和架构,不同之处在于因其在现实中对顾客满意影响较为微弱,去掉了顾客抱怨这一潜变量;同时增加了企业形象这一前置因素,认为其对顾客期望,顾客满意和顾客忠诚有正向影响。
(二)教育满意度研究
20 世纪 80 年代,国外顾客满意度应用到高等教育领域。在Sangeeta,S 等人的研究中采用了服务质量量表和质量功能展开量表(QFD,Quality Function Deployment)对印度几所大学进行了顾客满意度测量。服务质量量表的5个指标是:有形性、可靠性、响应性、保证性和移情性。利用质量功能展开方法确定影响顾客满意度的关键测量指标并逐级展开,进而利用顾客的最终评分和指标之间的关联关系求出顾客满意度数值。就顾客需求来说,通过有效性和可靠性分析确定了26个标志变量,5个公因子包括能力、态度、满意、传递和可靠性。而能力又包括适当的物质设施、教师的专业技能、教学能力和技巧、充足的师资(也包含行政人员的支持);态度包括有效的解决问题、不断地向目标努力、自发积极地帮助,营造健康的竞争环境及谦虚合作的学习氛围;满意包括学会实践应用,清楚地将课程分类,设立满足未来社会需求的课程和灵活的知识交叉课程;传递包括学生容易与老师和行政人员取得联系,有效的教室管理,充足合理的教室安排,对于学生的积极回应,奖励制度,表现记录,有序的环境;可靠性包括清晰的价值和目标,知行合一,清晰的政策,公平且强有力的规则,科目的连贯性。
2001 年 Anne M.D.用顾客满意度评估大学教育,同时采用了比较研究的模式分别对要测量的主要学校和其他 5 个不同类型的学校进行分析。
20 世纪 90 年代,国外顾客满意度被应用到义务教育领域,并有所进展。Maykel Verkuyten 和 Jochem Thijs 指出,学生满意度影响心理健康、学习成绩、出勤率、辍学率和行为问题等方面。
Chandler 和 Kathryn 等人主要采用 5 级量表研究了学生和家长对学校学习环境的感知质量,学校环境的评价标准包括 7 个因素。Chandler 和 Kathryn 等人的研究是通过对 6-12年级的 10117 名学生家长和 6504 名学生以电话访谈方式进行的。
研究表明:家长及学生会根据自己直接、近期的经历对学校做出评价。学校评价结果依学校的特点而不同:公立学校比私立学校分数低;规模大的学校比规模小的学校分数低;初中要比小学分数低。尽管评价总体是肯定的,但是很少有学生强烈感到在学校受到激励,享受学校生活,学生和老师相互尊重等。很多学生认为,在学校的学习成绩和表现并不十分重要。但是,此项研究只针对学生及其家长对学校学习环境的满意度研究,研究范围较窄,没有涵盖学校的教育质量、老师素质等各方面内容,具有一定的局限性。
二、中国顾客满意度研究的发展
(一)我国满意度指数测评体系的建立
我国的满意度指数(CCSI)测评体系的建立起步较晚。1997年在中国质量协会、全国用户委员会的推动下,开始着手 CCSI系统研究,并联合清华、北大、人大、社科院等国内顶级学术机构共同攻关,展开适合中国国情的国家满意度模型的设计工作。1999 年 12 月,国务院发布了《关于进一步加强产品质量工作若干问题的规定》,明确提出要研究和探索顾客满意度指数评价方法。CCSI 是在参照和借鉴美国用户满意度指数方法(ACSI)的基础上,根据中国国情和特点而建立的具有我国特色的质量测评方法。
国家质量监督检验检疫总局于 2003 年委托清华大学中国企业研究中心对耐用消费品制造业、非耐用消费品制造业、流通业6 大领域的 22 个行业、59类产品或服务类别的主要品牌进行调查。调查内容包括顾客对产品的预期质量、感知质量、感知价值、顾客满意度、顾客忠诚度(顾客保持率)和品牌形象。
(二)教育满意度研究
胡中锋提出中小学学生及家长参与学校评价的重要意义。书中采用的学校评价是从一般意义上界定的,对学校的办学条件、办学水平、办学质量等进行评价,旨在为学校办学提供指导,提高人才的培养质量。弥补了对于发展学校评价研究缺少系统性的不足,试图从传统的学校评价和现代学校评价的内容、方法、标准等各个方面的对比分析中探讨完美和改进基础教育的途径。这没有建立真正意义上的顾客满意度模型并采用高级统计软件去分析影响义务教育顾客满意度的主要因素。但它却着重体现了以学生为中心的宗旨,并旨在为学生和家长提供更好的学校服务与教育质量。并客观上促使中学(小学)去努力完善自身更好地满足学生和家长的需求。但是书中对于学生及家长参与学校评价的重要性所述较少,并且没有提出让学生及家长参与学校评价的方法及途径。
张忠山指出,家长对学校的满意度应有 5 方面因素构成:师资水平、环境设施、日常管理、学生学业和学生压力。年龄越大,家长对环境设施的满意度越高。不同性别、家庭收入、居住地区的家长对学校满意度的各层面的影响没有显著差异,家长满意度是测评学校效能的比较稳定的指标。
刘武和杨雪根据我国高等学校的具体情况,对现有的主流顾客满意度模型进行了改进,建立了一个新的适合我国高等学校具体情况的中国高等教育顾客(学生)满意度模型(China Higher Education-Customer Satisfaction Index,CHE-CSI),并以沈阳市 6所高等院校学生(N=596)为样本进行了因子分析和结构方程模型分析。因子分析发现可以将影响高等教育质量的诸多因素概括为教学质量和校园服务两个主要因子;结构方程模型的分析表明,CHE-CSI 模型对感知质量、顾客满意等重要潜在变量的解释能力优于 ACSI 模型,整体的拟合度也较好。但由于个别问卷题目采用了否定式提问方式,使得个别量表信度不高,个别结构变量(高等院校形象)只使用一个标识变量,影响了对其信度的评估,这表明 CHE-CSI 模型的量表和题目设计仍需进一步改进。
后来,刘武、李海霞和杨雪以辽宁省 20 所高等院校学生(N=1989)为样本进行了 CHE-CSI 模型的进一步验证和修正,提出服务公平性的概念,分析感知公平对顾客满意度的作用和影响,从而建立了新的CHE-CSI’模型。通过对三类公平性的验证性因子分析构建概念模型。通过理论研究尝试提出新的假设,分析结果表明 ,CHE-CSI’多项拟合指标都优于 CHE-CSI。
第二章 受训人员满意度模型构建
开展实际的受训人员满意度测评必须依据一定的受训人员满意度理论模型,然后对理论模型中的潜在变量逐级展开,直到形成一系列可以直接测量的指标,这些测量指标便构成了受训人员满意度评价指标体系。通过受训人员满意度评价指标体系,建立起属性表现、受训人员满意度及培训教学行为三者之间的关系,从而发现提升受训人员满意度的关键因素,进而有针对性地采取措施提升受训人员满意度。
第一节 信息收集
本课题组结合研究内容,组织了相关领域专家和各级财政业务干部开展了研讨,方法采用德尔斐法,目的在于了解各级财政部门业务人员和农村基层干部的培训目的、需求,受训人员培训的特点以及他们所关注的培训效果评估指标,并通过访谈对文献研究法归纳出的评估指标进行修订,使得评估指标更加具有针对性、操作性。
专家访谈的对象共19人,由三部分组成:
l 处级以下财政部门管理或人事管理领域的专家、学者;
l 管理培训领域的培训师和组织者;
l 乡镇财政部门、委托代理中心、村集体受训人员。这部分对象的数量不必很多,但要求有较强的理解能力,并对培训评估问题有较深刻的认识或实践经验。
l 依据德尔斐法的原则,采用匿名发表意见的方式,即专家组成员之间不得互相讨论,不发生横向联系,只能与课题组发生关系,以反复的填写问卷,以集结问卷填写人的共识及搜集各方意见。
专家访谈主要问题:
l 能描述一下我省(市、县)的发展战略吗?如何将该战略应用到财政基层人员的培训上呢?
l 近年来,各级财政部门开展了哪些针对财政基层人员的培训活动?能具体描述一下吗?您觉得效果如何?您觉得效果不错或不理想的主要原因是什么呢?
l 您所了解的各级财政部门在管理培训效果评估时通常会使用哪些评估指标?您觉得有效吗?
l 我们已总结出了一些评估指标(如上所述),您认为它们是否重要?
l 您认为是否有其他的评估指标需要加入?
访谈结束对访谈内容进行整理和评估指标提炼后,将结果反馈回各位专家,要求根据反馈结果再次考虑,做出新的判断。经过三轮这样的反馈判断后,专家意见趋于一致。
最后,汇总访谈结果,总结出影响受训人员满意度的相关因素,并对指标草案进行了修改和补充,构造出受训人员满意度理论模型(基准模型)。
第二节 影响因素分析
对受训人员满意度的研究表明,与受训人员满意度有关的主要因素可以分为两类,即受训人员满意度的原因要素和受训人员满意度的结果要素。
1.受训人员满意度的原因要素。
影响受训人员满意度的原因要素主要包括:受训人员对培训服务的期望、培训服务的实际表现、受训人员对培训机构的情感以及受训人员对公平的判断等。
(1)受训人员对培训服务的期望。受训人员对培训服务的期望通过两种方式影响满意度。一方面,期望是受训人员满意或不满意的参照标准。受训人员经常把对某种培训服务实际表现的感受同他参训前的期望进行比较,期望越高,失望会越大,可见受训人员期望与受训人员满意度呈负相关关系。另一方面,期望是受训人员在采购之前对某种培训服务未来实际表现的预期,受训人员在使用或消费实际的培训服务后,往往将其感受到的满意水平向预期靠拢,导致受训人员期望与受训人员满意度成正比。
(2)培训服务的实际表现。培训服务的实际表现是指培训服务在被受训人员使用或消费过程中表现出来的实际状况,包括教学需求的分析,教学计划的安排,教师的感染力、责任心、专业水平、所采用的教学方法,教学内容的实用性、启发性、丰富性等。培训服务的实际表现与期望的比较对受训人员满意度产生影响,培训服务的实际表现与受训人员满意度呈正相关。
(3)受训人员对培训机构的情感。情感对受训人员满意度的影响有两种典型的解释:一是受训人员在受训过程中对培训机构产生的情感会在记忆中留下痕迹,这种痕迹被受训人员纳入到满意度的评价过程中;二是依据受训经验是否成功,唤起特定的情感,并把这种情感纳入满意度的评价过程中。可见,情感和满意度存在正相关关系。
(4)受训人员对公平的判断。依据公平理论,当受训人员同参照对象比较后发现公平比率较高,满意度就较高;相反,如果发现公平比率较低,满意度就较低。受训人员对公平的判断与满意度存在正相关关系。
2.受训人员满意度的结果要素
受训人员形成了满意或不满意的心理感受后,将会产生多种后续行为,最主要的后续行为是正式抱怨、负面口碑和再次参训。
(1)正式抱怨。正式抱怨是指受训人员向直接责任方或执法方提出的抱怨。当受训人员不满意时,通过正式抱怨来发泄愤怒,减轻心理的不平衡,或寻求补偿。研究还表明受训人员的不满程度越高,提出正式抱怨的可能性就越大,抱怨的次数就越多,抱怨的激烈程度就越高,例如:不满意——反应迟钝——私下聊天——频繁出入教室——逃课缺席。显然,受训人员满意度与正式抱怨具有负相关关系。
(2)负面口碑。向其他人传播负面口碑是另外一种形式的受训人员抱怨行为。在受训人员不满意时,负面口碑将增加,会向其他人诉说自己不满意的遭遇来减轻紧张感,寻求心理平衡。负面口碑的动机表明,受训人员的负面口碑与受训人员满意度具有负相关关系。
(3)重复参训。满意度的高低直接影响到受训人员再次参训该培训服务的可能性。在公共部门内部,满意的最高程度表现为受训人员对该培训机构行动上的忠诚——积极请求部门领导外派,持续的重复参训。受训人员满意度越高,重复参训的可能性越大;受训人员的满意度越低,重复参训的可能性越小。
第三节 受训人员满意度理论模型
根据以上的理论分析,借鉴国内外研究成果和实践经验,结合我国受训人员的实际特点以及企业调研的实际可操作性,我们提出“价值——忠诚受训人员满意度测评模型”。该受训人员满意度测评模型包含6个结构变量,即“预期质量、感知质量、宣传效果、感知价值、受训者满意度和受训者忠诚”,它们之间的结构关系模型见图1。
图1价值——忠诚导向受训人员满意度测评模型
模型中的6个结构变量都是难以直接量化的潜在变量,它们之间的关系大致是:“宣传效果”为外生变量,其对“预期质量”、“感知质量”、“感知价值”及“受训者满意度”产生影响;受训人员的预期容易对其实际的感知产生影响,把实际感知的质量与预期质量相比较,形成受训人员对价值的判断(感知价值),进而对受训人员满意度构成影响,当然感知质量本身也直接对受训人员满意度产生影响;受训人员满意度的高低,直接决定着其忠诚程度。
各潜在变量的定义及对应的测量变量说明如下:
1.预期质量。“预期质量”是受训人员在参训之前对其质量的估计。受训人员对某培训服务的预期质量主要来自于受训人员近期的培训经验、培训需求以及培训机构对本次培训的宣传。“预期质量”通过“总体预期”、“质量预期”和“服务预期”这3个观测变量进行测评。
2.感知质量。“感知质量”是受训人员在参训后对其质量的实际感受。感知质量与预期质量一样包括3个观测变量,分别是“总体感知”、“性能感知”和“服务感知”,这样便于把感知质量和预期质量一一对应地加以比较。
3.宣传效果。“宣传效果”是指受训人员在参训前对培训机构进行的培训级别、培训内容、领导关注程度及方式等方面宣传的总体印象。受训人员的总体印象主要来自于培训机构进行的宣传和推广,包括“培训级别”和“领导关注”两个测量变量。
4.感知价值。“感知价值”体现了受训人员在综合培训质量和学习成本后对其收获的主观感受。感知价值包括“给定学习成本下对质量的感知”和“给定质量下对学习成本的感知”两个观测变量。
5.受训人员满意度。“受训人员满意度”是指受训人员对培训服务的满意程度,反映受训人员对培训服务满足自身需要程度的总体态度。受训人员满意度相应地包括“总体满意程度”、“实际与预期差别”、“实际与宣传差别”三个测量变量。
6.受训人员忠诚。“受训人员忠诚”是指受训人员对某系列培训的忠诚程度,包括重复参训的可能性、向他人推荐程度及自身对学习成本变动的承受能力等方面。受训人员忠诚对应的3个测量变量分别为“再次参训可能性”、“推荐程度”、“学习成本变动”。
其中,由于财政基层干部和农村基层干部两个模块的不同特征,学习成本可定义为:
l 财政基层干部:因为属于政府部门内部培训,不存在培训费用、差旅费用等直接成本,所以学习成本=间接成本=放弃工作导致的日后加班成本+放弃照顾家庭的机会成本。
l 农村基层干部:学习成本=直接成本+间接成本=(差旅成本+误工成本-培训补贴)+(放弃工作导致的日后加班成本+放弃照顾家庭的机会成本)。直接成本可参照当地平均差旅费和平均日工资。
以上模型可表格化为:
表2 财政基层培训效果评价指标体系表(基准模型)
一级指标
|
二级指标
|
三级指标
|
四级指标
|
评估目标及方法
|
预期质量
|
总体预期f1
|
|
|
考察受训人员对培训各方面效果的期望值
|
质量预期f2
|
|
|
服务预期f3
|
|
|
感知质量
|
总体感知f4
|
|
|
考察受训人员对培训总体效果的感知
|
质量感知f5
|
培训准备
|
需求分析
|
考察是否针对组织的战略目标,是否做各部门的需求、职位的需求、受训人员个人的需求分析
|
教学计划
|
考察是否组织针对不同对象指定了不同的培训项目,且计划内容完备
|
培训师资
|
感染力
|
考察教师的授课技巧是否胜任
|
责任心
|
考察教师的职业道德是否胜任
|
专业水平
|
考察师资的专业水平是否胜任
|
教学方法
|
考察是否采用适合于受训人员的多种培训方法
|
教学内容
|
实用性
|
考察是否符合受训人员的职业角色和要求
|
启发性
|
考察课程的设置和学习是否对工作有一定的启发
|
内容丰富性
|
考察是否针对不同的对象、不同的目标选择不同的培训内容
|
服务感知f6
|
培训组织
|
教材资料
|
考察是否事先准备好相关的资料、案例和PPT
|
时间安排
|
考察是否根据受训人员的工作特点安排培训时间
|
专人管理
|
考察是否有专门的培训管理机构和专人负责受训人员的培训活动
|
后勤保障
|
培训环境
|
考察是否组织有专门用于培训的空间
|
专用设备
|
考察是否组织有专门用于培训设备,且运转良好
|
宣传效果
|
培训级别f7
|
培训机构级别
|
|
|
培训规模
|
|
|
领导关注f8
|
与会领导级别
|
|
|
与会领导人数
|
|
|
感知价值
|
给定学习成本下对质量感知f9
|
|
|
给定质量下对学习成本感知f10
|
|
受训者满意度
|
总体满意f11
|
|
|
考察受训人员对培训各方面的实际满意度
|
实际与预期差别f12
|
|
|
实际与宣传差别f13
|
|
|
受训者忠诚
|
再次参训可能性f14
|
|
|
推荐程度f15
|
|
学习成本变动f16
|
|
|
|
|
|
|
|
第三章 受训人员满意度模型验证和分析
第一节 受训人员满意度理论模型验证
上述受训人员满意度理论模型的合理性如何?各潜在变量之间的关系及其强度怎么样?以下利用结构方程模型对其进行验证。
一、研究对象分类
现阶段财政干部基层培训的主要工作范围包括基层财政干部培训和基层农村干部培训,本课题研究目的在于加强培训质量考核,提高基层工作人员综合素质,因此后文将分别对基层财政干部和基层农村干部两个模块进行分析研究。
二、观测变量的量化方法
模型中六个潜在变量及对应的观测变量,共同构成受训人员满意度评价指标体系。
将观测变量展开为调查问卷上的问题,利用消费者对问题的回答,可得到观测变量的数值。这涉及到如何用数值反映受训人员对测量对象的态度,“量表”是态度测量的基本工具。其设计包括两步:第一步是“赋值”,根据设定的规则对不同态度特性赋予不同数值;第二步是“定位”,将数值排列或组成一个序列,把受访者的不同态度定位于序列的不同位置。
我们对受训人员满意度的测评采用5等级李克特(Likert)量表,5个态度等级分别是满意、较满意、一般、较不满意和不满意,对应的值为5、4、3、2、1。数据收集过程中遇到不能直接用李克特量表表示的定量指标,也将其转化成量表形式,具体方法是把指标量值划为5个区间,每个区间对应李克特量表相应等级,指标值所在区间对应的等级即为指标的李克特量表值。
三、数据来源
本课题组委托云南、广西两省各级财政部门,对本辖区范围内财政基层干部和农村基层干部的受训人员满意度开展研究,样本取自云南、广西两省2014年4月至2014年9月的各级培训,回收调查问卷3456份,有效问卷3311份。调查部门采用上述“价值——忠诚导向受训人员满意度测评模型”进行受训人员满意度的测评。样本概况如下表3。
表3 研究样本概况表
地区
|
培训类别
|
举办单位
|
培训级别
|
问卷
数量
|
有效问卷数量
|
有效率
|
云南
|
基层财政干部
|
云南省财政厅
|
省级
|
90
|
90
|
100%
|
乡镇
|
505
|
501
|
99%
|
昆明市财政局
|
县区
|
134
|
134
|
100%
|
街道
|
243
|
238
|
98%
|
小计
|
|
972
|
963
|
99%
|
基层农村干部
|
昆明东川区财政局
|
县区
|
304
|
288
|
95%
|
安宁市财政局
|
街道
|
117
|
117
|
100%
|
大理州弥渡德苴乡财政所
|
乡镇
|
41
|
40
|
98%
|
普洱市
勐郎镇会计委托中心
|
县区
|
173
|
171
|
99%
|
楚雄州楚雄市财政局
|
地市
|
125
|
124
|
99%
|
楚雄州禄丰县财政局
|
县区
|
150
|
147
|
98%
|
楚雄州姚安县财政局
|
乡镇
|
60
|
58
|
97%
|
楚雄州牟定县财政局
|
乡镇
|
50
|
50
|
100%
|
楚雄州元谋县财政局
|
乡镇
|
80
|
77
|
96%
|
楚雄州大姚县财政局
|
乡镇
|
60
|
55
|
92%
|
楚雄州双柏县财政局
|
乡镇
|
40
|
35
|
88%
|
楚雄州永仁县财政局
|
乡镇
|
30
|
28
|
93%
|
楚雄州武定县财政局
|
县区
|
240
|
223
|
93%
|
楚雄州南华县财政局
|
乡镇
|
70
|
70
|
100%
|
小计
|
|
1540
|
1483
|
96%
|
合计
|
|
2512
|
2446
|
97%
|
广西
|
基层财政干部
|
玉林市财政局
|
地市
|
200
|
188
|
94%
|
天等县财政局
|
县区
|
40
|
35
|
88%
|
田林县财政局
|
县区
|
13
|
10
|
77%
|
宜州市财政局
|
县区
|
36
|
20
|
56%
|
合山市财政局
|
县区
|
10
|
8
|
80%
|
忻城县财政局
|
县区
|
20
|
20
|
100%
|
蒙山县财政局
|
县区
|
9
|
9
|
100%
|
天峨县财政局
|
县区
|
26
|
26
|
100%
|
三江县财政局
|
县区
|
20
|
20
|
100%
|
田东县财政局
|
县区
|
28
|
25
|
89%
|
钟山县财政局
|
县区
|
11
|
10
|
91%
|
融安县财政局
|
县区
|
25
|
24
|
96%
|
西林县财政局
|
县区
|
32
|
31
|
97%
|
田阳县财政局
|
县区
|
10
|
7
|
70%
|
凌云县财政局
|
县区
|
15
|
11
|
73%
|
平南县财政局
|
县区
|
8
|
7
|
88%
|
鹿寨县财政局
|
县区
|
8
|
6
|
75%
|
靖西县财政局
|
县区
|
15
|
13
|
87%
|
小计
|
|
526
|
470
|
89%
|
基层农村干部
|
北流市财政局
|
地市
|
354
|
332
|
94%
|
忻城县财政局
|
县区
|
21
|
20
|
95%
|
合山市财政局
|
县区
|
18
|
18
|
100%
|
天等县财政局
|
县区
|
25
|
25
|
100%
|
小计
|
|
418
|
395
|
94%
|
合计
|
|
944
|
865
|
92%
|
总 计
|
|
3456
|
3311
|
96%
|
根据调研目的和理论模型要求,设计了受训人员满意度测评的调查问卷,问题围绕理论模型的16个观测变量展开,采用李克特5级量表形式。
数据的描述性统计特征见表4、表5。
四、因果关系路径图和模型方程式
根据受训人员满意度理论模型及潜在变量对应的观测变量,按照结构方程模型路径图的符号规则,画出模型的因果关系路径图,如图2。由于基本原理和方法相同,两个模块可使用的以下同一套路径图和模型方程式。
图2中,椭圆表示潜在变量,方框表示观测变量,单向箭头表示因果关系。ξ表示外生潜在变量,η表示内生潜在变量,λ表示观测变量对潜在变量的作用系数,γ表示外生潜在变量对内生潜在变量的作用系数,β表示内生变量之间的作用系数。δ1、δ2为外生潜在变量的两个观测变量的测量误差,ε1,ε2,……,ε14为内生潜在变量观测变量的测量误差,ζ1,ζ2,……,ζ5为内生潜在变量的测量误差。
图2 因果关系路径图
依照因果关系路径图,可得到各观测变量的测量模型,以及各潜在变量之间的结构关系模型。各观测变量的测量方程式为:
(2)
潜在变量间的结构方程式为:
五、参数估计及拟合效果
利用结构方程模型软件AMOS7.0对模型的未知参数进行估计。结构方程模型参数估计的基本思想是:求参数使得模型隐含的协方差矩阵与样本协方差矩阵“差距”最小。对这个矩阵之间“差距”的不同定义方法,产生了不同的模型拟合方法及相应的参数估计。最常用的结构方程模型参数估计方法是极大似然函数法(ML),虽然此法需要假定观测指标的分布为正态或近似正态分布,但很多研究表明,即使指标的分布不为正态分布,ML方法也能得到合适的估计,尤其在大样本条件下。也即,ML估计是稳健的。本课题采用ML进行阐述估计。
AMOS7.0的输出结果给出了未标准化情况下,各因子负荷的估计以及与各负荷相应的标准差估计值和 统计量值。一般可简单地取 值大于2为显著,即此时认为相应的负荷显著不为0。若有某几个因子负荷不显著,每次取消一个路径,重新运行程序后,再进行负荷的显著性检验,重复此过程,直到各个负荷均显著为止。
AMOS7.0的输出结果也给出了标准化情况下参数的估计结果。标准化情况下,参数估计结果不受各指标或因子量纲的影响,便于对变量之间的相互关系进行分析。
本课题利用AMOS提供的图形界面,画出因果关系路径图,如图2所示。
规定模型中每个潜在变量对应的测量指标中的一个系数为1,相当于规定潜在变量的度量单位与对应测量指标的单位相同;规定外生潜在变量、内生潜在变量的观测变量的测量误差系数为1。设置好因果关系路径图后,运行程序得到结果。
1.基层财政干部模型参数估计及拟合效果分析
标准化解直接标示在路径图中,同时给出了多种拟合指数,表6列出十种主要的拟合效果指标。
表6 基层财政干部Fit Measures
|
CMIN
|
DF
|
P
|
RMR
|
GFI
|
AGFI
|
NFI
|
RFI
|
CFI
|
RMSEA
|
Default model
|
173.821
|
94
|
0.147
|
0.077
|
0.930
|
0.954
|
0.913
|
0.851
|
0.894
|
0.052
|
总体上希望得到不显著的卡方值,从表2中反映拟合效果的指标看,卡方对应的P值具有不显著性,卡方与自由度之比小于2,RMR小于0.08,GFI和AGFI大于0.9,RMSEA小于0.08,只有CFI略小于0.9,说明数据和模型拟合效果很理想。回归系数的估计中,除了ξ→η3的回归系数P值不具有统计显著性外,其他回归系数都通过95%的显著性检验。
此时,可以得出结论:基层财政干部培训基准模型验证成功。
图3 基层财政干部培训模型路径系数图
2.基层农村干部模型参数估计及拟合效果分析拟合效果指标如下表7。
表7 基层农村干部Fit Measures
|
CMIN
|
DF
|
P
|
RMR
|
GFI
|
AGFI
|
NFI
|
RFI
|
CFI
|
RMSEA
|
Default model
|
334.862
|
94
|
0.000
|
0.077
|
0.830
|
0.754
|
0.883
|
0.7441
|
0.821
|
0.101
|
从表2中反映拟合效果的指标看,卡方对应的P值具有统计显著性,卡方与自由度之比大于2,GFI、AGFI和CFI小于0.9,RMSEA大于0.08,说明数据和模型拟合效果不是很理想,模型需进一步修正。回归系数的估计中,除了ξ→η3、η2→η3、η3→η7、η3→η8的回归系数P值不具有统计显著性外,其他回归系数都通过95%的显著性检验。
此时,需要对基层农村干部培训基准模型进行修正。
认真分析理论模型,各测量变量、结构变量之间的关系没有问题。仔细查看未能通过检验的几个回归系数,发现可能是“感知价值”的两个测量变量的误差之间存在较强的相关性,在路径图中增加ε7、ε8两个测量误差之间的相关关系,重新进行参数估计,得到标准化解,见图4。
图4 修正后的测评模型路径系数图
相应的拟合效果指标为:
表8 基层农村干部 Fit Measures
|
CMIN
|
DF
|
P
|
RMR
|
GFI
|
AGFI
|
NFI
|
RFI
|
CFI
|
RMSEA
|
Default model
|
276.483
|
93
|
0.000
|
0.057
|
0.911
|
0.832
|
0.906
|
0.894
|
0.912
|
0.053
|
可见,修正后的模型与数据拟合度有较大提高。虽然得到的仍是显著性卡方值(P=0.000),卡方与自由度之比为2.97,仍大于2,但RMSEA为0.053,小于90%的置信上限0.08,接近于0.05,GFI、NFI、CFI均大于0.9,AGFI、RFI接近0.9,说明模型与数据的拟合效果总体上还比较好,显著性卡方值可能与数据非正态性有关。回归系数的估计中,除η3→η7的回归系数未通过95%的显著性检验外,其他回归系数都通过95%的显著性检验。
第二节 受训人员满意度模型分析
从AMOS输出的模型中各变量间的标准化系数,可以看出各变量间的关系及相互作用的强弱程度,有利于找出影响受训人员满意度的关键因素,以便有针对性地加以改善提高。
一、结构变量之间的关系分析
结构变量间的系数表示某一变量的变动引起其他变量变动的程度。如图5、图6中宣传效果与预期质量之间的系数为0.8/0.83,表示宣传形象提高1个百分点将直接使预期质量提高0.8/0.83个百分点。宣传形象除了直接对受训人员满意度产生影响(系数为0.85/0.78)外,还通过预期质量、感知质量、感知价值对受训人员满意度产生间接影响,间接影响系数的大小可以由所有从品牌形象到受训人员满意度路径上的系数乘积的累加和表示。
图 5 基层财政干部潜在变量路径系数图
图6 基层农村干部潜在变量路径系数图
一般系数在0.80以上,说明两个变量之间具有较强的影响关系。图4显示,感知质量对感知价值、感知质量对受训人员满意度、感知价值对受训人员满意度、受训人员满意度对受训人员忠诚的系数都在0.80以上,说明每对关系中前者对后者有较强的影响作用。而预期质量对感知质量、预期质量对感知价值及宣传形象对感知价值的系数较低,一定程度上说明参训前受训人员期望越高,参训后往往会感到失望;培训项目在培训接受者心中的形象越好,实际参训后也往往有一定的落差。可见,要提高受训人员的满意度,应实实在在地提高培训质量、培训组织和后勤服务,以形成受训人员较高的感知质量和感知价值;而不能过于注重宣传和包装,以免形成受训人员较高的期望值。
二、结构变量与观测变量之间的关系分析
通过受训人员满意度中结构变量与观测变量之间关系的分析,可以发现哪些观测变量与结构变量的关系重大,并可进行观测变量间的比较。
图 7 基层财政干部模型测量变量 图 8 基层农村干部模型测量变量
与潜在变量路径系数图 与潜在变量路径系数图
1.基层财政干部培训模型结构变量与观测变量之间的关系分析
a) 宣传形象与其观测变量之间的关系。宣传形象与观测变量培训级别(0.85)较强相关,说明提高培训等级有利于形成培训好的宣传形象。宣传形象与观测变量领导关注(0.9)强相关,说明基层财政干部对于上级领导对培训的关注非常重视,应尽量提高参训领导级别以及培训主管领导级别。
b) 预期质量与其观测变量之间的关系。预期质量与质量预期关系(0.86)强于预期质量与总体预期(0.74)之间的关系,说明基层财政受训人员对培训的预期往往落实在培训的质量上;但是,预期质量与服务预期(0.35)关系明显偏弱相关,说明在培训实施之前,基层财政受训人员对培训教务组织和后勤管理不太关注。
c) 感知质量与其观测变量之间的关系。感知质量与服务感知(0.88)、感知质量与质量感知(0.8)均较强相关,说明在培训实施过程中,基层财政受训人员对培训质量、教务组织和后勤管理都很重视。
此处b、c分析中,基层财政受训人员对培训服务(包括教务组织和后勤管理)的感知出现差异,原因在于期望质量的感知往往始于培训实施之前,而感知质量产生于培训实施之后,两处结论并不矛盾。培训机构应当重视这个差异问题,因为根据期望理论,若服务预期与服务感知之间的差异越大,越容易导致受训人员的不满意度,必须采取措施消除差异。
d) 感知价值与其观测变量之间的关系。感知价值与给定质量下对学习成本的感知关系(0.65)弱于其与给定学习成本下对质量的感知(0.9),说明基层财政受训人员对学习成本不敏感,相较之下,培训质量是受训人员关注的重点。
e) 受训人员满意度与其观测变量之间的关系。受训人员满意度和实际与预期差别(0.85)、实际与宣传差别的关系(0.85)强于受训人员满意度与受训人员总体感觉(0.75)间的关系,说明受训人员的实际感受与预期的差别是形成其满意度的重要因素。
f) 受训人员忠诚与其观测变量之间的关系。受训人员忠诚与重复参训(0.91)、推荐程度(0.9)都强相关,说明受训人员忠诚形成后其一般会产生重复参训及向同事推荐的行为,当然对学习成本的变化也较不敏感(0.62)。
2、基层农村干部培训模型结构变量与观测变量之间的关系分析
a) 宣传形象与其观测变量之间的关系。宣传形象与观测变量培训级别(0.81)较强相关,说明提高培训等级有利于形成培训好的宣传形象。宣传形象与观测变量领导关注(0.45)弱相关,说明基层农村干部对于上级领导对培训的关注不太重视。
b) 预期质量与其观测变量之间的关系。预期质量与质量预期关系(0.76)强于预期质量与总体预期(0.64)之间的关系,说明基层农村受训人员对培训的预期相对关注培训的质量;预期质量与服务预期(0.75)关系较强相关,说明基层农村受训人员希望能够在培训中能够得到较好的服务,因为良好的教务和后勤服务能够让基层农村干部得到归属感,提高满意度。
c) 感知质量与其观测变量之间的关系。感知质量与服务感知(0.85)、感知质量与质量感知(0.75)均较强相关,说明在培训实施过程中,基层农村受训人员对教务组织和后勤管理较培训质量更加重视。
d) 感知价值与其观测变量之间的关系。感知价值与给定质量下对学习成本的感知关系(0.85)强于其与给定学习成本下对质量的感知(0.76),说明基层农村受训人员对学习成本较为敏感。
e) 受训人员满意度与其观测变量之间的关系。受训人员满意度和实际与预期差别(0.80)、实际与宣传差别的关系(0.85)强于受训人员满意度与受训人员总体感觉(0.63)间的关系,说明受训人员的实际感受与预期的差别是形成其满意度的重要因素。
f) 受训人员忠诚与其观测变量之间的关系。受训人员忠诚与重复参训(0.80)、推荐程度(0.83)都较强相关,说明受训人员忠诚形成后其一般会产生重复参训及向同事推荐的行为。特别地,对学习成本的变化比较敏感(0.93),因此对于参训者应当适当补贴,并且合理安排培训时间和地点,尽量降低差旅成本和误工成本。
第四章 受训人员满意度模型应用
第一节 受训人员满意度计算
在对模型的具体应用中,需要对模型的满意度进行指标衡量,根据前面信息收集所获得的资料,在对受训人员满意度理论模型验证后,可以构造受训人员满意度指数(Trainee Satisfaction Index,TSI)。
一、具体操作流程
1、收集培训效果评估调查问卷;
2、计算调查问卷中每一项目满意度指数;
3、计算6个结构变量满意度指数;
4、计算受训人员满意度指数,并给出相关指标体系;
5、应用相关变量满意度指数对培训效果进行综合分析,并提出改进建议。
下面主要就满意度指数计算和指标体系进行介绍。
二、满意度指数计算
首先计算出受训人员对16个观测变量打分的平均值 ;将各观测变量的 除以最高标度5(里克特量表法),得到各观测变量的受训人员满意程度(单一项目满意度指数,Single Project Trainee Satisfaction Index,SPTSi),即
然后,将各观测变量的满意程度加权平均得到各结构变量的满意程度指数(部分项目满意度指数,Part of Trainee Satisfaction Index,PTSI),即
其中各测量指标以相关系数作为基础计算权重。
最后,由于感知质量、感知价值和宣传效果为输入结构变量,是受训人员满意度的影响变量,因此可将此三个变量的满意程度加权平均得到受训人员满意度指数(TSI)。同样地,以相关系数作为基础计算权重。
三、指标体系
根据受训人员满意度指数,结合相关数据,我们可以得出如下指标体系:
(一)基层财政干部培训效果评估指标体系(对应调查表项目见附录)
一级指标
|
二级指标
|
三级指标
|
四级指标
|
PTSIj
权重
|
TSI权重
|
对应调查表项目
|
预期质量
|
总体预期f1
|
|
|
0.38
|
-
|
1-1
|
质量预期f2
|
|
|
0.44
|
1-2
|
服务预期f3
|
|
|
0.18
|
1-3
|
感知质量
|
总体感知f4
|
|
|
0.34
|
0.35
|
2-11
|
质量感知f5
|
培训准备
|
需求分析
|
0.31
|
-
|
教学计划
|
-
|
培训师资
|
感染力
|
2-4
|
责任心
|
2-5
|
专业水平
|
2-6
|
教学方法
|
2-7
|
教学内容
|
实用性
|
2-2
|
启发性
|
2-3
|
内容丰富性
|
2-1
|
服务感知f6
|
培训组织
|
教材资料
|
0.35
|
2-8
|
时间安排
|
2-9
|
专人管理
|
-
|
后勤保障
|
培训环境
|
2-10
|
专用设备
|
-
|
宣传效果
|
培训级别f7
|
培训部门级别
|
|
0.48
|
0.32
|
-
|
培训规模
|
|
-
|
领导关注f8
|
与会领导级别
|
|
0.52
|
-
|
与会领导人数
|
|
-
|
感知价值
|
给定学习成本下对质量感知f9
|
|
0.42
|
0.35
|
3-2
|
给定质量下对学习成本感知f10
|
|
0.58
|
3-1
|
受训者满意度
|
总体满意f11
|
|
0.31
|
-
|
4-1
|
实际与预期差别f12
|
|
0.35
|
4-2
|
实际与宣传差别f13
|
|
0.35
|
4-3
|
受训者忠诚
|
再次参训可能性f14
|
|
0.37
|
-
|
5-1
|
推荐程度f15
|
|
0.37
|
5-2
|
学习成本变动f16
|
|
0.26
|
5-3
|
(二)基层农村干部培训效果评估指标体系
一级指标
|
二级指标
|
三级指标
|
四级指标
|
PTSIj权重
|
TSI权重
|
对应调查表项目
|
预期质量
|
总体预期f1
|
|
|
0.3
|
-
|
1-1
|
质量预期f2
|
|
|
0.35
|
1-2
|
服务预期f3
|
|
|
0.35
|
1-3
|
感知质量
|
总体感知f4
|
|
|
0.35
|
0.36
|
2-11
|
质量感知f5
|
培训准备
|
需求分析
|
0.3
|
-
|
教学计划
|
-
|
培训师资
|
感染力
|
2-4
|
责任心
|
2-5
|
专业水平
|
2-6
|
教学方法
|
2-7
|
教学内容
|
实用性
|
2-2
|
启发性
|
2-3
|
内容丰富性
|
2-1
|
服务感知f6
|
培训组织
|
教材资料
|
0.35
|
2-8
|
时间安排
|
2-9
|
专人管理
|
-
|
后勤保障
|
培训环境
|
2-10
|
专用设备
|
-
|
宣传效果
|
培训级别f7
|
培训部门级别
|
|
0.64
|
0.31
|
-
|
培训规模
|
|
-
|
领导关注f8
|
与会领导级别
|
|
0.36
|
-
|
与会领导人数
|
|
-
|
感知价值
|
给定学习成本下对质量感知f9
|
|
0.47
|
0.34
|
3-2
|
给定质量下对学习成本感知f10
|
|
0.53
|
3-1
|
受训者满意度
|
总体满意f11
|
|
0.28
|
-
|
4-1
|
实际与预期差别f12
|
|
0.35
|
4-2
|
实际与宣传差别f13
|
|
0.37
|
4-3
|
受训者忠诚
|
再次参训可能性f14
|
|
0.31
|
-
|
5-1
|
推荐程度f15
|
|
0.32
|
5-2
|
学习成本变动f16
|
|
0.36
|
5-3
|
(三)关于指标测算的若干说明
1.满意度指数的计算方法
l 部分项目满意度指数(PTSIj):
l 受训人员满意度指数(TSI):
2.培训机构考核分值定义
l 需求分析分值定义为:具备“10份以上调查表、3个以上调查部门、需求分析报告”三项条件之一-1分,之二-3分,之三-5分,无-0分;
l 教学计划分值定义为:有-5分,无-0分;
l 专人管理分值定义为:有-5分,无-0分;
l 专用设备分值定义为:有-5分,无-0分;
3.学习成本定义为(差旅成本+误工成本-培训补贴)/培训天数。由培训机构根据当地情况估算,可参照当地平均差旅费和平均日工资。此项应由培训机构在满意度调查表上列示,告知被调查者。
4.具备三、四级指标的项目,可根据调查表所得的Likert分值和培训机构考核分值,采用算术平均法依次求得二、三级指标的分值。
5.其他二级指标采用5等级李克特(Likert)量表法,根据满意度调查表的结果计算分值。5个态度等级分别是满意、较满意、一般、较不满意和不满意,对应的值为5、4、3、2、1。
第二节 应用案例结论解析
一、基层财政干部培训满意度指数解析
采用2014年8月6-14日云南省财政厅组织的全省乡镇财政所长培训班的数据,经过计算,得到本次培训受训人员的总体满意度指数及各分项满意程度。
表9 受训人员总体满意度指数及各分项满意度计算表
观测变量
|
SPTSi
|
ρi
|
Wi
|
结构变量
|
PTSIj
|
ρj
|
Wj
|
TSI
|
培训级别
|
91.6%
|
0.85
|
0.48
|
宣传效果
|
88.64%
|
0.85
|
0.32
|
87.46%
|
领导关注
|
81.4%
|
0.92
|
0.52
|
总体感知
|
90.1%
|
0.86
|
0.34
|
感知质量
|
84.80%
|
0.85
|
0.32
|
质量感知
|
88.5%
|
0.80
|
0.31
|
服务感知
|
85.5%
|
0.88
|
0.35
|
给定质量对学习成本感知
|
89%
|
0.65
|
0.42
|
感知价值
|
79.52%
|
0.92
|
0.35
|
给定学习成本对质量感知
|
88.3%
|
0.90
|
0.58
|
总体预期
|
81.2%
|
0.74
|
0.38
|
预期质量
|
72.29%
|
-
|
-
|
-
|
质量预期
|
86.3%
|
0.86
|
0.44
|
服务预期
|
84.9%
|
0.35
|
0.18
|
总体满意程度
|
92%
|
0.75
|
0.31
|
受训者满意度
|
81.94%
|
-
|
-
|
实际与预期差别
|
87.5%
|
0.85
|
0.35
|
实际与宣传差别
|
75%
|
0.85
|
0.35
|
再次参训可能性
|
95%
|
0.91
|
0.37
|
受训者忠诚
|
83.23%
|
-
|
-
|
推荐程度
|
75%
|
0.90
|
0.37
|
学习成本变动
|
91.1%
|
0.62
|
0.26
|
经过对上表的分析,对于结构变量而言,可得出以下结论:
l 受训人员对该次培训的总体满意度指数为87.46%,效果较好。
l 6个结构变量中“宣传效果”的满意度最高,达88.64%,说明受训人员对本次培训的培训级别(省级)和领导关注程度(3位省厅领导到会指导)寄予了很高的期望,有效提高了学习的积极性和士气;
l “预期质量”的满意度最低,仅为72.29%,说明培训之前受训人员对本次培训期望不高,结合感知质量(84.8%)比较来看,可以发现实际感知质量超过培训前预期质量,根据期望理论,这将极大提高受训人员的满意度。
l 对于16个测量变量而言,受训人员满意度较高的分别为“再次参训可能性”、“总体满意程度”及“培训级别”,可得出以下结论:
l 说明受训人员对本次培训级别相当满意,总体满意程度较高,形成较好的忠诚度;
l “实际与宣传差别”的满意度较低,与“宣传效果”的较高满意度相比,可以说明本次培训宣传尚存在缺陷,有宣传过分夸大的可能,有待组织者在以后的管理工作中加以改进。
l “推荐程度”的满意度较低,这与各地州受训人员的培训推荐机制相关。
二、基层农村干部培训满意度指数解析
采用2014年8月11-12日云南省昆明市东川区财政局组织的全区农村基层干部财政培训班的数据,经过计算,得到本次培训受训人员的总体满意度指数及各分项满意程度。
表10 受训人员总体满意度指数及各分项满意度计算表
观测变量
|
SPTSi
|
ρi
|
Wi
|
结构变量
|
PTSIj
|
ρj
|
Wj
|
TSI
|
培训级别
|
71.6%
|
0.81
|
0.64
|
宣传效果
|
68.14%
|
0.78
|
0.31
|
85.34%
|
领导关注
|
69.6%
|
0.45
|
0.36
|
总体感知
|
73.4%
|
0.85
|
0.35
|
感知质量
|
81.40%
|
0.91
|
0.36
|
质量感知
|
66.4%
|
0.73
|
0.3
|
服务感知
|
69.6%
|
0.85
|
0.35
|
给定质量对学习成本感知
|
59.6%
|
0.76
|
0.47
|
感知价值
|
80.75%
|
0.86
|
0.34
|
给定学习成本对质量感知
|
61.6%
|
0.85
|
0.53
|
总体预期
|
75.6%
|
0.64
|
0.3
|
预期质量
|
72.08%
|
-
|
-
|
-
|
质量预期
|
76.6%
|
0.76
|
0.35
|
服务预期
|
73%
|
0.75
|
0.35
|
总体满意程度
|
64.6%
|
0.63
|
0.28
|
受训者满意度
|
77.17%
|
-
|
-
|
实际与预期差别
|
60.4%
|
0.80
|
0.35
|
实际与宣传差别
|
56.4%
|
0.85
|
0.37
|
再次参训可能性
|
57.5%
|
0.80
|
0.31
|
受训者忠诚
|
85.70%
|
-
|
-
|
推荐程度
|
50.2%
|
0.83
|
0.32
|
学习成本变动
|
49.8%
|
0.93
|
0.36
|
经过对上表的分析,对于结构变量而言,可得出以下结论:
l 受训人员对该次培训的总体满意度指数为85.34%,效果较好;
l 影响受训人员总体满意度的6个结构变量中“受训人员忠诚”的满意度最高,达85.7%,说明受训人员普遍对培训有较强的追求,渴望得到更多的教育;“宣传效果”的满意度最低,仅为68.14%,说明受训人员对此次培训的级别和领导关注程度感觉一般,培训机构在鼓舞士气方面尚需改进。
对于16个测量变量而言,可得出以下结论:
l 受训人员满意度较高的分别为“质量预期”、“总体预期”及“总体感知”,说明受训人员在参训前对该次培训期望普遍较高,参训后的总体感觉还可以;
l 满意度较低的分别为“学习成本变动”、“推荐程度”及“实际与宣传差别”,说明受训人员对学习变化很敏感,宣传存在言过其实的问题,有待培训机构在以后的管理工作中加以改进。
总 结
本课题所研究的财政基层培训是指政府部门对本部门基层干部和农村基层干部进行的专业培训,其本质是行政部门行使教育职能,属于行政学、教育学交叉范畴,具有双重属性。目标在于追求培训的满意度,力图提高行政部门员工专业能力与工作效率。因此基层财政培训指标体系的建立必须辨析决定培训受众满意度的诸多因素,追求培训满意度指数的提高。
将顾客满意度指数这一经济学领域的测量工具引入到财政部门的培训水平评估中来,并进行理论探讨和必要性分析,具有重大理论意义和实践意义。应用顾客满意度指数模型对财政培训服务水平进行评估顺应了公共部门“民众本位”的发展趋势,并融汇了行政管理学、经济学、教育学、统计学、社会学和心理学等多学科的理论成果。
通过采用实证分析模式,在通过对云南、广西两省省级、州市、县区和乡镇四级基层财政干部和基层农村干部的培训进行充分的调研后,基于结构方程研究方法,提出基准模型并进行分析调试,最终得出财政基层干部培训效果评估体系(面向基层财政干部和基层农村干部专业培训),并提出使用受训人员满意度指数衡量培训效果。
在具体应用中,我们可以根据每次培训的调查问卷,培训机构可以计算出TSI,画出TSI变化趋势图,用以评估培训效果,并长期追踪TSI变化趋势,可以总结影响培训效果的相关因素,从而改进培训方法,提升培训效果。也可以根据各级各地财政部门在所组织的财政基层培训中,分别计算出TSI后进行排名比较,奖优惩劣,引发各级财政部门对培训工作的重视,从而加快对各地财政基层干部和农村基层干部队伍的专业建设。
参考文献
[1] Claes Fornell,刘金兰.顾客满意与 ACSI[M].天津大学出版社,2006:51-52.
[2]刘新燕.顾客满意度指数模型研究[M].北京:中国财政经济出版社,2004:33-37.
[3]刘武 ,李 海霞 ,杨 雪. 中国高等 教育 顾客 满意 度指 数(CHE-CSI)模型的构建:基于辽宁省的数据[J].高教发展与评估,2008,(4):59-65.
[4]吴建南,庄秋爽.公众满意度测量:美国顾客满意度指数在公共管理部门的应用[C].2004年厦门公共部门绩效管理学术研讨会会议论文,2004.
[5]国家质检总局质量管理司,清华大学中国企业研究中心.中国顾客满意指数指南[M].北京:中国标准出版社,2003:6-23.
[6]胡中锋.教育测量与评价[M].广州:广东高等教育出版社,2006,6-23.
[7]高兵,胡咏梅.中小学学生及家长满意度的实证研究[J].内蒙古师范大学学报,2006 年,(10):43-47.
[8]杨雪,刘武.中国高等教育顾客满意度指数模型及其应用[J].辽宁教育研究,2006,(10):68.
[9]黄芳铭.结构方程模式:理论与应用[M].北京:中国税务出版社,2005,155.
[10]刘贵忠. 政府服务的公众满意度测评研究[D].湘潭大学, 2006.
[11]罗正清,方志刚. 常用顾客满意度模型及其优缺点分析[J].2002(6):16—17.
[12]侯杰泰,温忠麟,成子娟.结构方程模型及其应用[M].教育科学出版社,2004,186-191.
[13]韩晓芸,汪纯孝著,服务性企业顾客满意感与忠诚感关系[M].北京:清华大学出版社,2003,40-43.
[14]麻志宏.顾客满意度测评方法研究[J].大连:大连理工大学,2006,109-112.
[15]郝黎仁,樊元,郝哲欧等.SPSS 实用统计分析[M].北京:中国水利水电出版社,2005(01),304-315.
附 录
培训效果评估调查问卷(修订版)
培训名称: 培训时间: 举办单位:
第一部分:关于培训预期和宣传效果
|
序号
|
项目
|
评分
|
1-1
|
参训前您认为本次培训给您带来的收获
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
1-2
|
参训前您认为本次培训教学质量
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
1-3
|
参训前您认为本次培训教学管理和后勤服务
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
1-4
|
接到参训通知您对本次培训组织单位
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
1-5
|
接到参训通知您对本次培训的领导关注程度
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
第二部分:关于培训课程质量及教学组织
|
2-1
|
您认为本次培训内容的丰富性
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-2
|
您认为本次培训对您的实用性
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-3
|
您认为本次培训对您的工作有无启发性
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-4
|
您认为本次培训教师授课感染力
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-5
|
您认为本次培训教师责任心
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-6
|
您认为本次培训教师专业水平
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-7
|
您认为本次培训采用的教学方法
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-8
|
您认为本次培训采用教材及资料如何
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-9
|
您认为本次培训时间安排是否合理
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-10
|
您认为本次培训设备、资料是否齐全
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
2-11
|
您对本次培训的课程质量及教学组织感觉
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
第三部分:关于学习成本
|
3-1
|
放弃工作、照顾家庭甚至承担部分费用来参训取得这样的效果,您觉得
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
3-2
|
为了减少误工、照顾家庭并降低培训给您带来的费用,降低培训规格、缩短培训时长或减少此类培训,您觉得
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
第四部分:关于满意度
|
4-1
|
您对本次培训总体满意度为
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
4-2
|
您认为本次培训与您预期效果相比
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
4-3
|
您认为本次培训与参训通知中的介绍相比
|
□满意 □比较满意 □一般 □较不满意 □不满意
|
第五部分:关于学员忠诚
|
5-1
|
您会再次参加本单位组织的此类培训吗
|
□非常愿意 □愿意 □一般 □较不愿意 □不愿意
|
5-2
|
您愿意向他人推荐本次培训吗
|
□非常愿意 □愿意 □一般 □较不愿意 □不愿意
|
5-3
|
如果学习成本上升,您愿意继续参训吗
|
□非常愿意 □愿意 □一般 □较不愿意 □不愿意
|
|
|
|
|
|
说明:此表是为了评估本次培训工作的效果,进而为我们培训工作的持续改善提供参照,请完整而诚实地回答,并在相应栏打“√”。