A/B Testing

A/B testing adalah sebuah test untuk memilih produk mana yang akan kita pilih, misalnya untuk meningkatkan Omzet Perusahaan.

Illustrasi

Perusahaan penerbangan ingin memperbaiki website-nya dengan harapan bahwa website baru tersebut dapat meningkatan pembelian tiket pesawat. Namun pimpinan perusahaan tidak tahu apakah design website baru tersebut akan memberik an dampak pada penjualan tiket pesawat atau sama saja. Maka dilakukanlah sebuah eksperimen dengan menampilkan 2 pilihan, yaitu tampilan website lama dan tampilan website baru.

Apa itu A/B Testing?

• Eksperimen yang memiliki 2 pilihan
• Dilakukan secara bersamaan dan
• Melihat perbedaan performa (e.g., conversion rate)

Memutuskan untuk menjalankan sebuah program terkadang bisa salah karena Perusahaan tidak melakukan testing terhadap program yang akan dijalankan. Meskipun testing sudah dilakukan, mungkin saja terjadi bias dalam  pelaksanaannya, seperti :

• Bad design
• Pengambilan sampling yang kurang memadai atau terjadi sampling bias
• Tidak melakukan pre-run test
• Pelaksana testing tidak independent dan terjadi conflict of interest
  
  

Sehingga trustworthiness sebuah eksperimen diragukan dan perusahaan mengalami kerugian secara financial.

PT Takala Bisnis Konsultan siap membantu Anda dalam menguji apakah suatu program benar-benar layak untuk dijalankan atau tidak. Terkadang keberhasilan yang diklaim adalah keberhasilan yang semu karena eksperimen yang dilakukan terjadi bias.

Illustrasi 1:

• Seorang nasabah di Perusahaan Asuransi mengeluhkan waktu proses registrasi asuransi yang lama
• Diketahui waktu yang diperlukan nasabah untuk melakukan registrasi di loket memiliki rata-rata sekitar 16 menit 43 detik
• Akhirnya tim IT membuat sistem aplikasi registrasi yang baru dengan harapan bisa mempercepat proses registrasi nasabah
• Tim IT mengklaim bahwa aplikasi sistem registrasi baru bisa mempercepat durasi registrasi menjadi kurang dari 16 menit 43 detik
  
  

Bisakah kamu percaya klaim dari tim IT tersebut?
    

Illustrasi 2:

• Sebuah perusahaan e-commerce menyediakan produk smartphone dan simcard dengan provider yang menjual produknya melalui website
• Banyak customer yang membeli smartphone tidak menyadari bahwa mereka dapat memilih warna smartphone pada website
• Customer bisa melihat palet warna pada website, namun tidak mengetahui fungsinya
• Hal ini menyebabkan banyak customer yang menghubungi customer service (CS) perusahaan untuk mengubah warna smartphone yang sudah terlanjur dipesan
• Untuk mengatasi permasalahan tersebut CEO perusahaan berinisiatif untuk mengubah design website perusahaan dengan tampilan palet warna yang terlihat jelas di website
• Sebelum design baru diluncurkan, CEO meminta kepada karyawannya yang bernama Dewi untuk melakukan A/B testing terhadap design website lama dan baru
• Sebelum eksperimen dilakukan CEO sudah menduga bahwa design B lebih baik daripada design A
• Dewi kemudian melakukan eksperimen, dan mendapatkan 25 sample untuk masing-masing grup.
• Hanya dalam beberapa hari, conversion rate design B lebih tinggi 20% daripada design A
• Dewi kemudian melakukan eksperimen, dan mendapatkan 25 sample untuk masing-masing grup
• CEO pun berkata kepada Dewi bahwa dugaannya benar dan sudah cukup sampai disini eksperimen yang dilakukannya, ia harus menghentikan eksperimen tersebut supaya tidak membuang uang banyak
  
  

Benarkah conversion rate design B lebih tinggi dan conversion rate design A?

Ilustrasi 1 dan 2 di atas menunjukkan bahwa sebelum menjalankan sebuah program baru, perusahaan wajib memastikan apakah program tersebut benar-benar akan berhasil atau tidak. Dengan teknik-teknik statistik, PT Takala Bisnis Konsultan dapat membantu Anda untuk melakukan A/B testing terhadap rencana-rencana yang Anda ingin lakukan untuk menghindari pengambilan keputusan yang salah. Untuk menghindari kemungkinan kegagalan dalam mencapai kesuksesan semua pada illustrasi di atas, PT Takala Bisnis Konsultan menggunakan metode statistik yang berupa mencari :

• Nilai p-value: Nilai ini digunakan untuk memastikan bahwa keberhasilan tersebut tidak terjadi secara kebetulan (by chance)
• Nilai signifikansi
• Menggunakan hypothesis testing
• Menghindari p-hacking

 Silahkan menghubungi PT Takala untuk konsultasi