Materi
Uji A/B membandingkan beberapa versi email untuk melihat dampak satu perubahan kecil. Di Mailchimp, satu uji memilih satu jenis variabel, yaitu baris subjek, nama pengirim, isi, atau waktu kirim. Kombinasinya dikirim ke kelompok kontak yang dipilih acak, dan tidak ada kontak yang menerima lebih dari satu kombinasi. Pemenang dipilih otomatis dari tingkat buka, tingkat klik, atau pendapatan, atau dipilih manual dari laporan. Aturan kasus di kelas ini: kriteria pemenang ditulis sebelum pengiriman, supaya pilihan tidak mengikuti angka yang kebetulan tertinggi.
Kelas ini tidak menilai isi versi mana yang unggul, dan tidak menghitung kenaikan hasilnya; itu milik kelas Pemasaran Digital. Yang diperiksa di sini adalah syarat pembandingnya: hanya satu hal yang berbeda, pembagiannya acak, dan tidak ada kontak di dua kelompok. Kontak yang menerima kedua varian tidak bisa dihitung untuk salah satunya, jadi ia dibuang dari perbandingan.
Angka di laporan adalah kejadian yang tercatat, bukan perilaku manusia yang pasti. Di dataset kelas ini ada klik tanpa catatan buka, dan Mailchimp mencatat bahwa filter kotak masuk bisa mengeklik setiap tautan. Karena itu perbandingan hanya adil bila kedua kelompok diukur dengan cara yang sama.
