Summary

• Page properties (1 modified, 0 added, 0 removed)

Details

Page properties

Content

...	...	@@ -18,15 +18,12 @@
18	18
19	19	(% style="color:inherit; font-family:inherit; font-size:23px" %)Reliability
20	20
21		-
	21	+|(((
22	22	Reliability and evaluation objectivity are special challenges in post box exercises. A meta-analysis based on 16 individual studies showed an interrater reliability of .76 (Whetzel et al. 2014). The assessment of different raters are therefore "good" or "substantial".
23	23	Since chance hits can distort the assessment results, a sufficient number of tasks should be set. Standardization can further increase reliability. In the scenario, an order and a time window for processing should be defined.
24	24
25	25	Reliabilität und Auswertungsobjektivität sind besondere Herausforderungen bei Post Box Exercise. Eine Metaanalyse auf Basis von 16 Einzelstudien ergab eine Interrater-Reliabilität von .76 (Whetzel et al. 2014). Die Urteile unterschiedlicher Bewerter stimmen also "gut" bzw. "substanziell" miteinander überein.
26	26	Da chance hits die Assessment Ergebnisse verzerren können, sollten ausreichend viele Aufgaben gestellt werden. Durch eine Standardisierung kann die Reliabilität zusätzlich erhöht werden. So sollte im Szenario eine Reihenfolge und ein Zeitfenster zur Bearbeitung festgelegt werden.
27		-
28		-|(((
29		-
30	30	)))
31	31
32	32	== Limitations ==