Changes for page Post Box Exercise

Last modified by Ivan Kharitonov on 2022/01/30 17:24
From version < 16.1 >
edited by Eric deRuijter
on 2021/11/18 16:57
To version < 13.1 >
edited by Randell Greenlee
on 2021/11/09 16:48
< >
Change comment: There is no comment for this version

Summary

Details

Page properties
Author
... ... @@ -1,1 +1,1 @@
1 -XWiki.EricDeRuijter
1 +XWiki.RandellGreenlee
Content
... ... @@ -18,11 +18,13 @@
18 18  
19 19  (% style="color:inherit; font-family:inherit; font-size:23px" %)Reliability
20 20  
21 +|(((
21 21  Reliability and evaluation objectivity are special challenges in post box exercises. A meta-analysis based on 16 individual studies showed an interrater reliability of .76 (Whetzel et al. 2014). The assessment of different raters are therefore "good" or "substantial".
22 22  Since chance hits can distort the assessment results, a sufficient number of tasks should be set. Standardization can further increase reliability. In the scenario, an order and a time window for processing should be defined.
23 23  
24 24  Reliabilität und Auswertungsobjektivität sind besondere Herausforderungen bei Post Box Exercise. Eine Metaanalyse auf Basis von 16 Einzelstudien ergab eine Interrater-Reliabilität von .76 (Whetzel et al. 2014). Die Urteile unterschiedlicher Bewerter stimmen also "gut" bzw. "substanziell" miteinander überein.
25 25  Da chance hits die Assessment Ergebnisse verzerren können, sollten ausreichend viele Aufgaben gestellt werden. Durch eine Standardisierung kann die Reliabilität zusätzlich erhöht werden. So sollte im Szenario eine Reihenfolge und ein Zeitfenster zur Bearbeitung festgelegt werden.
27 +)))
26 26  
27 27  == Limitations ==
28 28