Materi
Buku eMarketing karya Rob Stokes (Bagian 20.4) membedakan dua rancangan uji. Uji A/B membandingkan dua versi yang berbeda di satu unsur, supaya pengaruh unsur itu bisa dipisahkan. Uji multivariat menguji beberapa unsur sekaligus untuk mencari kombinasi terbaik. Banyaknya kombinasi adalah hasil kali varian tiap unsur, sehingga dua versi dari tiga unsur sudah delapan kombinasi, dan uji multivariat butuh lalu lintas besar supaya tiap kombinasi mengumpulkan cukup data.
Pusat bantuan Meta menambahkan syarat pelaksanaannya: tiap versi ditayangkan ke bagian audiens yang terpisah sehingga tidak ada orang yang melihat keduanya, dan anggaran versi-versinya disamakan. Uji tidak resmi dengan menyalakan dan mematikan set iklan secara manual tidak dianjurkan, karena audiensnya bisa tumpang-tindih. Kenaikan relatif dan signifikansi uji A/B sudah dibahas di kelas Pemasaran Digital.
Membaca matriks: pengaruh satu unsur dihitung dengan menggabungkan semua sel yang memuat unsur itu. CTR gabungan sebuah judul adalah jumlah klik semua sel berjudul itu dibagi jumlah impresinya, bukan rata-rata CTR selnya, karena impresi tiap sel tidak sama.
Kombinasi = varian unsur 1 × varian unsur 2 × …
CTR gabungan judul A = jumlah klik sel judul A ÷ jumlah impresi sel judul A
