評分不同,先回頭看評量要支援什麼決定

講師甲看見學員先問長輩意願,認為表現完整;講師乙看見學員沒有確認對方是否聽清楚,判定不通過。兩人可能都注意到真實行為,只是心中優先順序與門檻不同。若直接平均分數,差異被藏起來,學員仍不知道下次應改善什麼。

健康專業模擬評量與結構式臨床評量的系統性回顧顯示,信度與效度需要由多種證據支持,不能只因表格看起來完整就成立。校準的第一步不是追求講師永遠一致,而是先說清楚評量要回答:能否獨立執行、需要督導、還是這堂課是否學會一個練習單元。

第一步縮小目標:一站只判一組關鍵行為

把寬泛的「良好溝通」改成這一站真正要看的三到五個關鍵行為,例如先自我介紹並確認稱呼、說明要做什麼、取得同意、提供可拒絕或暫停的方式、最後確認理解。若還要評姿勢、感染控制與紀錄,應拆成不同站或不同明確區塊。

每個條目都要能連回工作決定。若某行為缺少會直接造成安全或權益風險,就列為必要項;若只是表現更流暢,可列發展性回饋,不和必要項混成同一印象分。這能避免講師用自己最熟悉的專業偏好取代課程目標。

穿鮮橘色短袖 polo 的台灣學員蹲至長輩視線高度溝通,兩名同樣穿橘色 polo 的講師持空白板在同一角度觀察
先讓評分者看見同一段表現,再分開記下可觀察證據。AI 生成情境示意。

第二步把印象詞改成可觀察證據

「有同理心」「態度自然」「不夠專業」很難讓另一位講師重現。改寫成可以看到或聽到的證據,例如是否直接對長輩說話、是否等待回應、是否在碰觸前取得同意、長輩表示不舒服後是否停止並確認下一步。不要從語速、口音或緊張推測人格。

評分者認知研究整理指出,評分會受到注意、解讀與判斷歷程影響。校準因此要同時問「你看見哪個行為」與「你用哪條規則解讀」,而不是只問誰給幾分。若兩人看的是不同瞬間,先回到共同證據;若規則不同,再修評分說明。

第三步準備邊界案例,先討論最容易分歧的位置

製作三段短示範:清楚達標、明顯未達,以及最容易爭議的邊界案例。邊界案例可以是學員有詢問意願但沒有等待回答,或有說明步驟卻沒有提供停止選項。先讓講師寫下判斷與證據,再逐條討論,不由資深講師先公布答案。

效度論證的實務指南提醒,評量結論需要串連評分、概化與決策等推論。邊界案例的用途不是背標準答案,而是確認:這個差異會不會改變通過決策、是否需要補充證據、何時應複核,以及學員如何知道改善後可以補做。

長照實作考核評分校準四步:定義決定、寫可觀察行為、用邊界案例獨立評分、比較分歧並重測
定性校準流程;遇到立即安全風險先停止演練,不為完整評分延續危險動作。

第四步同看一段、獨立評分,再對齊證據

正式考核前,讓所有評分者從相同角度看同一段現場或經同意的去識別示範,先各自完成評分,收齊後才比較。逐項標出一致與分歧,優先處理必要安全項與最常影響結論的條目,不把整張表重講一遍。

如果差異來自看不見關鍵動作,就調整觀察位置或情境;來自條目含糊,就改文字與例子;來自門檻不同,就把通過規則寫清楚。校準後再用另一個案例重測,確認不是只記住上一段答案。

三名穿鮮橘色短袖 polo 的台灣講師以無文字色卡與空白評分紙討論同一項證據
討論先問看見什麼、用了哪條規則,再決定是否修改條目或門檻。AI 生成情境示意。

把分歧留成品質資料,也把補做入口留給學員

記錄本次使用的版本、校準案例、主要分歧、修訂理由與生效日期。若同一條目持續出現歧異,先改善評量設計,不急著要求講師互相遷就。定期抽樣複核也要保護學員與長者角色的影像、聲音和身分資料。

對學員的回饋應指出具體證據、影響與下一步,例如「你有先說明,但長輩搖頭後仍繼續靠近;補做時要先停並確認選擇」。若結果影響結訓或工作權益,要有複核與申訴方式。公平不是每個人都拿同分,而是同一證據用同一規則被解讀。

實作考核上線前六項校準

  • 每一站要支援的工作決定與使用範圍已說清楚。
  • 必要安全項與發展性表現已分開,不以總印象互相抵銷。
  • 條目使用可見、可聽的行為,沒有性格、口音或態度推測。
  • 所有評分者已用同一段邊界案例獨立評分後再比較。
  • 分歧原因已分類為觀察位置、條目、門檻或證據不足。
  • 結果影響學員權益時,有具體回饋、補做、複核與申訴入口。

評分分歧的來源與修法

分歧來源先確認可調整
看到不同片段關鍵動作是否被遮住觀察位置或情境流程
同一句話不同解讀條目是否仍是印象詞改成可觀察行為與例子
同證據不同門檻必要項與加分項是否混在一起寫清楚通過與複核規則
證據本來不足是否需要另一段表現補充觀察,不急著硬判

常見問題

校準是不是要求每位講師都打同一分?

不是。目標是讓差異有可說明的證據與規則,並辨識哪些差異會影響重要決策。完全一致不等於評量一定有效。

可以用錄影做講師校準嗎?

可以考慮,但需先取得適當同意、限制用途與權限、設定保存及刪除方式,並依單位隱私政策辦理;不應把學員或長者影像任意傳到私人群組。

資深講師的分數可以直接當標準答案嗎?

不宜只靠資歷。資深經驗可提供判斷脈絡,但仍要回到課程目標、可觀察證據、門檻與決策後果,並讓其他評分者先獨立判斷。

如果你想讓實作考核不再靠講師默契,歡迎和歲悅教育品管一起整理關鍵行為、邊界案例、複核與補做流程。

留下需求討論

相關照顧服務:了解歲悅教育品管

參考資料

  1. Cook DA, Brydges R, Zendejas B, Hamstra SJ, Hatala R. Technology-enhanced simulation to assess health professionals: a systematic review of validity evidence, research methods, and reporting quality. Acad Med. 2013;88(6):872-883.
  2. Brannick MT, Erol-Korkmaz HT, Prewett M. A systematic review of the reliability of objective structured clinical examination scores. Med Educ. 2011;45(12):1181-1189.
  3. Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ. 2015;49(6):560-575.
  4. Gauthier G, St-Onge C, Tavares W. Rater cognition: review and integration of research findings. Med Educ. 2016;50(5):511-522.