使用循证讲故事的元素来讲述您的评估故事

内容最初由国家学习成果评估研究所 (NILOA) 的 Gianina Baker 博士提供

2018 年 1 月,美国国家学习成果评估研究所 (NILOA) 分享了一份报告,该报告分析了一项名为“重要的评估”的机构有效性沟通的国家研究。这项研究的主要发现和意义之一是:

“有效地沟通学生的学习仍然是一个挑战。高校必须更清晰、更有说服力地传达相关、及时和情境化的信息,说明它们对学生的影响和对社会的价值。”

具体挑战

当深入研究这些数据以找出要公开分享的信息和结果的类型以及围绕这些的挑战时,出现了一些主题。具体来说,教务长说分享这些成果是最重要的:

  • 有关十大真钱下载保留、持久性、毕业和完成率的信息
  • 执照和十大真钱下载考试通过率
  • 工作安排和薪水
  • 投资回报
  • 费用

而且,对教务长来说最重要的不是分享什么,而是 如何分享 此信息。大多数机构都有大量的数据、报告、研究和机会来公开交流所有这些信息。那么,传统上机构是如何呈现成果的呢?

当前的机构传播方法

机构试图进行交流的方式之一是向受众灌输数据。它们按项目、工具或度量呈现综合结果,其中每个工具或度量之间几乎没有联系。他们的想法是以“透明”的名义提供他们所有的信息,对数据在整体叙述中所代表的意义或分析很少。有机会进行更好沟通的其他示例包括:

  • 压倒性的受众可以访问数据而没有意义
  • 试图猜测人们想要什么的进程的散点图项目符号列表
  • 记录过程的报告档案——但提供了令人困惑的数据收集历史或所做的更改
  • 在没有任何背景或故事组的情况下发布个别学生的成功故事(实习)
  • 在其网站上提供有限的公开信息。机构网站通常是传达有效学生学习成果的主要空间,但往往被遗忘了空间

研究中的一位教务长最好地说明了观众理解和评估证据之间最大的呈现和解释差距之一:

“我们可以提供我们喜欢的所有评估结果或数据,但如果其他人无法准确解释它们,那么透明度或问责制就没有任何好处。”

交流输出是不够的。必须使结果对目标受众更有意义。

“这并不容易在'声音片段'中分享,并且传达诸如就业率和起薪等输出并不能作为学生学习和课程质量的代理......我们需要找到方法来帮助公众理解结果。”

我们需要更加明确和有意义地分享校园评估学生学习的良好工作。具体来说,我们需要有意识地 分享什么, 我们如何分享 (主要是外部),最重要的是, 如何沟通一个 学生学习的细致、复杂的画面 将学习成果的证据与学生的成功数据结合起来。

一步一步的视觉

以下是大多数机构在向公众传达学习成果评估时如何分类的分步连续体。当您考虑您所在机构的沟通方式和内容时,您在这个规模上处于什么位置?

  1. 结果的合规性发布和选择(有利的)结果
  2. 过度分享易于衡量的结果和结果,只是为了做某事
  3. 根据不同受众的计划/主要经验和结果,更有针对性地发布结果
  4. 更全面地了解学习发生的所有地方,为不同的受众发布学生事务/服务和结果的结果
  5. 细致入微、量身定制的框架,以全面、以学生为中心和文化敏感的方式交流成果和改进

有效地传达有关学生学习的信息显然仍然是一个机会目标。那么我们如何进行有效的沟通呢?

为什么评估讲故事很重要——基于证据的讲故事

一个故事本身告诉别人一些关于我们和其他人的替代理论,并试图让信徒成为读者。故事让我们去寻找假设。循证讲故事的定义是学生学习的证据,用于支持关于改进和问责制的主张或论点,通过故事讲述说服特定受众。

在开始构建基于证据的故事时,这里有一个指南,可以有效地讲述我们的故事并帮助学生讲述他们的故事。

支持性主张或论据。 在这里,我们使用 Toulmin 的论证模型来构建故事的开头。这意味着我们正在选择学生学习的各种证据,这些证据可能会因受众而异,并提供与关于改善学生学习的主张的最终关系。这证明了为什么这种变化会导致我们希望在学生学习中看到的改进。

改进或问责制。 你想对学生的学习提出什么论点?论证需要什么类型的证据?

通过故事讲述:讲故事和说服特定观众的要素。 以下是讲故事的基本要素,您可以使用它们来思考并为特定受众制作有效的叙事。

  1. 听众:这个故事是为谁写的?对于报告的不同受众而言,什么才算是证据?
  2. 你在讲什么样的故事? (即顺从、改进、损失、挣扎、追求、悲剧、幻想等)读者需要什么样的语境才能理解故事?设置是什么?
  3. 谁是你故事中的人物? (你的故事中是否有主角——推动行动的人和/或你的观众可能认同的人?角色的动机是什么?)
  4. 剧情是什么? (情节是事件的因果序列,包括背景和冲突。)
  5. 你有什么证据来主张你的主张?
  6. 根据您制作的故事,分享它的最佳媒体是什么?视频、书面叙述、较短的视觉图像片段、组合,还是其他?
  7. 如果您在叙述中使用视觉效果——它们是否合适?他们是否支持您试图分享或贬低他们的故事?
  8. 您将如何让您的目标受众了解这个故事?

综上所述

一个好故事通俗易懂,介绍一个问题,并分享问题是如何解决的,突出了机构在解决问题中的作用。我们需要上下文和故事,因为证据赋予故事实质,而故事赋予证据意义。我们的故事可以是我们的背景、我们的历史、我们的使命、我们的组织传奇——它是我们看待世界的方式以及我们为什么做我们所做的事情。

一个以证据为基础的故事推翻了假设,创造了能够引起学生、教师和雇主等内部和外部利益相关者产生共鸣的叙述,最重要的是讲述一个改进的故事。事实上,以证据为基础的机构评估故事是将改进和问责制结合到一个有意义的机制中的一种方式。

***

有关此主题的更多详细信息,请观看 使用循证讲故事的元素来讲述您的评估故事 webinar recording.

***

关于 Gianina Baker 博士
Gianina Baker 博士目前是美国国家学习成果评估研究所的助理主任,该研究所与伊利诺伊大学厄巴纳-香槟分校和印第安纳大学-布卢明顿分校共同办公。作为助理主任,贝克博士研究、撰写和介绍与大学和大学校园学生学习成果评估相关的所有主题。她的主要研究兴趣包括少数族裔服务机构和社区学院的学生学习成果评估、代表性不足的行政人员和学生的入学和公平问题、高等教育政策以及学生在体育方面的学习评估。在此之前,她曾在伊利诺伊州里奇兰社区学院担任顾问、机构研究主任和机构有效性与规划主任。她拥有博士学位。伊利诺伊大学高等教育专业教育组织与领导学博士,圣路易斯大学人类发展咨询硕士学位,以及圣路易斯大学人类发展咨询学士学位。伊利诺伊卫斯理大学心理学博士。

 


 

想了解 Weave 如何帮助您简化评估流程?

填写下表以获取个性化演示。您将收到有关您当前十大真钱下载系统的建议,以及 Weave 如何简化您的工作流程、改善协作并使您的评估和十大真钱下载过程取得成功的概述。



没有回复

留下你的评论