Materi
Uji A/B, dalam buku Stokes, selalu melibatkan tepat dua versi dari hal yang diuji: versi asli dan satu alternatif. Pengunjung dibagi; bila seluruh pengunjung diikutkan, separuh melihat versi A dan separuh melihat versi B. Stokes menegaskan hanya satu unsur yang diubah dalam satu uji, supaya pengaruhnya terhadap tingkat konversi bisa dipisahkan. Menguji beberapa unsur sekaligus disebut uji multivariat, dan butuh lalu lintas jauh lebih besar.
Hasilnya dibaca dalam dua langkah. Pertama, tingkat konversi tiap varian: konversi dibagi pengunjung varian itu. Kedua, perubahannya dalam persen terhadap versi asli, yang disebut kenaikan relatif: selisih kedua tingkat konversi dibagi tingkat konversi versi A. Stokes mencatat makin besar perubahan persen itu, makin cepat keputusan yang signifikan secara statistik bisa diambil.
Tingkat konversi varian = konversi ÷ pengunjung varian
Kenaikan relatif = (tingkat B − tingkat A) ÷ tingkat AContoh: halaman A dikunjungi 2.000 orang dengan 60 pendaftaran (3%), halaman B 2.000 orang dengan 75 pendaftaran (3,75%). Selisihnya 0,75 poin persen, tetapi kenaikan relatifnya 0,75 ÷ 3 = 25%. Dua cara menulis itu sama-sama benar asalkan satuannya disebut.
Selisih belum tentu nyata. Stokes menjelaskan hipotesis nol uji A/B: tidak ada beda antara dua versi, dan selisih yang tercatat hanya kebetulan. Nilai p menunjukkan seberapa mungkin selisih itu muncul karena kebetulan; Stokes menyebut ambang yang lazim p ≤ 0,05. Cara menghitungnya dibahas di kelas Uji Statistik dengan Python; di kelas ini signifikansi hanya konsep.
