Inter-Rater Reliability Analysis — Confusion Matrix Method
| ผู้ประเมินที่ 2 | รวม | ||
|---|---|---|---|
| เห็นด้วย | ไม่เห็นด้วย | ||
| ผู้ประเมินที่ 1: เห็นด้วย | 20 | ||
| ผู้ประเมินที่ 1: ไม่เห็นด้วย | 20 | ||
| รวม | 21 | 19 | 40 |
| รายการ | สัญลักษณ์ | ค่าที่คำนวณได้ |
|---|---|---|
| Observed Agreement | po | — |
| Expected Agreement | pe | — |
| Cohen's Kappa | κ | — |
| การแปลผล | — | |
จากข้อมูลที่กรอก ได้ตาราง Confusion Matrix ดังนี้:
N =
po = (เซลล์แนวทแยงมุม) / N
po = ( + ) / = / =
แถวที่ 1 (เห็นด้วย, ผู้ประเมิน 1):
แถวที่ 2 (ไม่เห็นด้วย, ผู้ประเมิน 1):
คอลัมน์ที่ 1 (เห็นด้วย, ผู้ประเมิน 2):
คอลัมน์ที่ 2 (ไม่เห็นด้วย, ผู้ประเมิน 2):
pe = [(R1 × C1) + (R2 × C2)] / N²
pe = [( × ) + ( × )] / ()²
pe = [ + ] / = / =
κ = (po − pe) / (1 − pe)
κ = ( − ) / (1 − ) = / =