Я праводзіў невялічкую апытанку тут, пра тое якая з іконак перамагла ў A/B тэсце:

Вынікі былі такія:

Сама апытанка з'яўляецца выдатнай ілюстрацыяй таго, чаму A/B-тэсты так неабходны. Паказваючы іконку сябрам, абмяркоўваючы з дызайнерамі і нават ствараючы апытанні, мы знаходзім самую прыгожую іконку, тую, што эстэтычна падабаецца больш. У такіх абмеркаваннях можна пачуць шмат довадаў пра тое, што гэтая іконка лепш адлюстроўвае сутнасць гульні або з'яўляецца больш чыстай і зразумелай. Усе яны, часцей за ўсё, маюць сэнс. Але задача іконкі прыцягнуць карыстальніка ў гульню. І не проста абстрактнага карыстальніка, а таго, каму гульня сапраўды спадабаецца і ён будзе гуляць у яе далей.

Па выніку, перад намі ставіцца задача не эстэтычнага плану, што з'яўляецца першай, рэфлектарнай ацэнкай любой графічнай выявы, што трапляе нам на вочы. Гэта задача, хутчэй, будзе бліжэй да паводзінавай псіхалогіі з вельмі добрым веданнем сваёй мэтавай аўдыторыі. Спецыялістам у гэтай вобласці я дакладна не з'яўляюся і, шчыра кажучы, я не ведаю людзей здольных прадугадаць 3 з 3 вынікаў A/B тэстаў. Але гэта і не трэба ўласна дзякуючы таму, што гэты інструмент у нас ёсць, трэба проста не забываць ім карыстацца.

Вынікі гэтага A/B тэста на 3 іконкі на Google Play былі такія:

Іконка №3 – гэта першая версія іконкі. Яна, звычайна, не ідэальная, але адлюстроўвала сутнасць гульні, на момант яе выхаду.

Іконка №1 – гэта вынік вялікай колькасці ітэрацый і абмеркаванняў. Усё дакладна і выверана. У нас было шмат довадаў, чаму яна нашмат лепш, чым бягучая.

Іконку №2 мы вырашылі дадаць у апошні момант, праз тое, што мы заўважылі ў Google Play магчымасць задаць больш за дзве іконкі для A/B тэста – чаму бы не праверыць, як гэта працуе. Зроблена яна за 5 хвілін без якіх-небудзь затлумак і абмеркаванняў. Проста варыянт на паглядзець як працуе функцыянал.

Як можна здагадацца з майго апісання вышэй, менавіта №2 і перамог з вялікім адрывам. Прычым адрыў быў больш чым у 2 разы як для установак (First-time installers), так і па вяртаннях на першы дзень (Retained installers 1st day).

Выснова, што мы для сябе зрабілі: не заўсёды варта безагаворачна давяраць свайму густу ці адчуванню «так лепей». Час ад часу варта правяраць нават самыя дзіўныя варыянты і не быць такімі ўпэўненым у сабе, лішні раз падвяргаючы сумневу свае веды.