Materi
Bhattacherjee Bagian 7.1 merumuskan keandalan sebagai sejauh mana ukuran sebuah konstruk konsisten. Keandalan berarti konsisten, bukan tepat: timbangan yang salah kalibrasi selalu memberi angka yang sama, jadi andal, tetapi angkanya keliru, jadi tidak sahih. Sumber ketidakandalan antara lain subjektivitas pengamat, pertanyaan yang ambigu, dan pertanyaan tentang hal yang tidak diketahui atau tidak dipedulikan responden.
Bagian yang sama menyebut empat cara memperkirakan keandalan. Keandalan antar-penilai: kesepakatan dua penilai atau lebih yang bekerja terpisah; untuk data kategori dipakai persen kesepakatan, misalnya kedua penilai sepakat pada 75 dari 100 pengamatan berarti 0,75, dan untuk data interval dipakai korelasi. Keandalan tes-ulang: korelasi skor orang yang sama pada dua waktu. Keandalan belah dua: korelasi skor dua paruh butir. Konsistensi internal: sejauh mana butir-butir satu konstruk dijawab serupa, diukur dengan rata-rata korelasi antarbutir, korelasi butir-total, atau alpha Cronbach (1951), yang memperhitungkan jumlah butir dengan rumus di bawah. K adalah jumlah butir, σ²ₓ varians skor total, dan σ²ᵢ varians butir ke-i.
alpha = K / (K − 1) × (1 − Σ σ²ᵢ / σ²ₓ)Bagian 7.2 membagi kesahihan menjadi dua kelompok. Kesahihan translasional dinilai secara teoretis, umumnya oleh panel ahli: kesahihan muka (tampak masuk akal sebagai ukuran konstruknya) dan kesahihan isi (butir-butirnya mencakup seluruh ranah isi konstruk). Kesahihan berbasis kriteria dinilai secara empiris: konvergen (berkorelasi tinggi dengan ukuran lain untuk konstruk yang sama), diskriminan (berkorelasi rendah dengan konstruk lain), konkuren (berhubungan dengan kriteria yang terjadi bersamaan), dan prediktif (meramalkan hasil di masa depan). Jhangiani dkk. Bab 5 membahas pasangan konsep yang sama untuk ukuran psikologis.
Contoh karangan: dua penilai mengode 80 jawaban terbuka ke tiga kategori dan sepakat pada 68 jawaban, jadi persen kesepakatannya 68 ÷ 80 = 0,85. Kelas ini tidak menetapkan ambang alpha atau kesepakatan yang dianggap cukup; ambang itu ditentukan rujukan di bidangmu dan pedoman kampus.