אופטימיזציית המרות ובדיקות A/B: החשבון שמאחורי ההחלטה

בדיקת A/B היא השוואה בין שתי גרסאות של אותו עמוד על מבקרים אמיתיים, כדי לדעת איזו מביאה יותר פניות או רכישות. לפני שמריצים אותה צריך לחשב כמה מבקרים נדרשים: באתר עם יחס המרה של 3%, כדי לזהות שיפור ל־3.6% ברמת מובהקות של 95% ועוצמה של 80%, צריך כ־13,900 מבקרים בכל גרסה. אם יש לכם 1,000 מבקרים ביום בעמוד, זה ארבעה שבועות. אם יש לכם 100, הבדיקה הזו לא מתאימה לכם, ויש דרכים אחרות לשפר יחס המרה.

מה זה אופטימיזציית המרות (CRO)

אופטימיזציית המרות היא תהליך קבוע של ארבעה שלבים: מחקר, השערה, בדיקה ומדידה. היא לא רשימה של "טיפים לשיפור יחס המרה" ולא החלפת צבע של כפתור כי מישהו קרא שאדום ממיר יותר. המטרה היא להבין איפה המבקרים באתר עוזבים ולמה, לשנות את הדבר שגורם לזה, ולמדוד אם השינוי עזר.

1. מחקר: איפה אנשים נעצרים, ומה הם עושים לפני שהם עוזבים.
2. השערה: שינוי אחד, עם סיבה, ועם מדד שיקבע אם הוא עבד.
3. בדיקה: מבחן A/B, כשיש מספיק תנועה, או שיטה אחרת כשאין.
4. מדידה והחלטה: משאירים, מבטלים או בודקים גרסה אחרת, ורושמים את מה שלמדנו.

המחקר: מאיפה מגיעות ההשערות

רוב השיפור מגיע מהמחקר, לא מהבדיקה. ארבעה מקורות מספיקים לרוב העסקים:

• משפכים ב־Analytics: כמה מבקרים עוברים מעמוד הבית לעמוד שירות, לטופס, ולסיום. השלב שבו הנפילה הכי חדה הוא המקום להתחיל. חשוב לפצל לפי מכשיר, כי במובייל התמונה כמעט תמיד שונה.
• מפות חום והקלטות: עד איפה גוללים, על מה לוחצים, ואיפה לוחצים על משהו שאינו קישור. צפייה ב־50 עד 100 הקלטות של אנשים שלא השלימו פעולה מלמדת יותר מכל דוח.
• ניתוח טפסים: באיזה שדה אנשים עוצרים, מה הם מוחקים, ואיזו שגיאה חוזרת.
• משוב ממשתמשים: שאלה אחת בסוף תהליך ("מה כמעט עצר אתכם?"), שיחות מכירה, פניות לשירות. שם שומעים את המילים שהלקוחות משתמשים בהן.

איך כותבים השערה

השערה טובה בנויה מארבעה חלקים: בגלל שראינו X, שינוי Y ישפר את Z, ונמדוד את זה לפי W. לדוגמה: "בגלל שבהקלטות ראינו שמבקרים במובייל לוחצים על המחיר ואז גוללים לחפש פירוט, הוספת מחיר מלא ומה כלול בו בעמודי הטיפולים תעלה את שיעור קביעת התורים, ונמדוד תורים שנקבעו חלקי ביקורים."

שלושה כללים: שינוי אחד לכל השערה, או לפחות כיוון אחד, כדי שיהיה ברור מה עבד. מדד מרכזי אחד שנקבע מראש. ומדדי ביטחון שאסור שיחמירו, כמו ביטולים, מהירות העמוד או החזרות. על הבחירה של המדד כתבנו גם במאמר דף נחיתה שממיר.

95%

החשבון: כמה מבקרים צריך לבדיקת A/B

גודל המדגם תלוי בארבעה מספרים:

• יחס ההמרה הנוכחי (p1): למשל 3% מהמבקרים משאירים פרטים.
• השינוי הקטן ביותר שחשוב לכם לזהות (p2): למשל עלייה ל־3.6%, כלומר שיפור יחסי של 20%. ככל שהשינוי קטן יותר, צריך יותר מבקרים.
• מובהקות של 95%: הסיכוי לקבוע שיש הבדל כשאין הבדל הוא 5%.
• עוצמה של 80%: אם ההבדל קיים באמת, הבדיקה תזהה אותו ב־80% מהמקרים.

הנוסחה המקובלת להשוואה בין שני שיעורים היא: n ≈ (1.96 + 0.84)² × [p1(1−p1) + p2(1−p2)] ÷ (p1−p2)². המספר 1.96 שייך למובהקות של 95%, ו־0.84 לעוצמה של 80%.

בדוגמה של 3% ל־3.6%: ‏(1.96+0.84)² הוא 7.84. ‏p1(1−p1) הוא 0.03×0.97 = 0.0291, ו־p2(1−p2) הוא 0.036×0.964 = 0.0347, ביחד 0.0638. ההפרש בריבוע הוא 0.006² = 0.000036. החשבון: 7.84 × 0.0638 ÷ 0.000036 ≈ 13,900 מבקרים בכל גרסה, כלומר כ־27,800 בסך הכול.

ואם מחפשים שינוי גדול יותר, מ־3% ל־4.5% (שיפור יחסי של 50%)? אותו חשבון נותן כ־2,500 מבקרים בכל גרסה. פי חמישה וחצי פחות. זו הסיבה שבאתרים קטנים בודקים שינויים גדולים. אפשר לבדוק את החשבון במחשבון של Evan Miller, שנותן תוצאות קרובות מאוד.

מגודל מדגם למשך הבדיקה

מחלקים את סך המבקרים הנדרש בתנועה היומית לעמוד הנבדק, ומעגלים למעלה לשבועות שלמים. בטבלה, עמוד עם 1,000 מבקרים ביום, חצי לכל גרסה:

איך קוראים את התוצאה

בסוף בדיקה יש שלוש תוצאות אפשריות. הגרסה החדשה ניצחה במדד המרכזי, ומדדי הביטחון לא החמירו: מטמיעים. הגרסה החדשה הפסידה: מבטלים, ורושמים למה ההשערה כנראה הייתה שגויה. אין הבדל מובהק: זו לא כישלון, אלא מידע. המשמעות היא שאם יש הבדל, הוא קטן מהשינוי שהגדרתם כחשוב, ואפשר להשאיר את הגרסה שנוחה יותר לתחזוקה. מה שלא עושים הוא להאריך את הבדיקה עוד ועוד עד ש"יוצא משהו". רושמים כל בדיקה, גם כזו שנכשלה, ביומן אחד: ההשערה, התאריכים, המדגם והתוצאה. אחרי שנה היומן הזה שווה יותר מכל בדיקה בודדת.

טעויות שהופכות בדיקה לחסרת ערך

להציץ ולעצור מוקדם

הטעות הנפוצה ביותר. בודקים את התוצאות כל יום, ועוצרים ברגע שהגרסה החדשה "מובהקת". הבעיה: בתחילת הבדיקה המספרים קופצים, וכמעט כל בדיקה עוברת רגע שבו נראה שיש מנצח. מי שעוצר ברגע כזה מכריז על הרבה שיפורים שלא קיימים. הכלל: קובעים מראש את גודל המדגם, ומחליטים רק כשהגיעו אליו. אם בכל זאת צריך להסתכל באמצע, למשל כי הגרסה החדשה עלולה לפגוע בהכנסות, משתמשים בשיטה שנבנתה לזה, כמו בדיקה סדרתית (sequential testing), וקובעים אותה לפני שמתחילים ולא תוך כדי.

לא להריץ שבועות שלמים

מבקרים ביום ראשון אינם כמו מבקרים בשישי בצהריים. בעסקים בישראל ההבדל בין ימי השבוע חד במיוחד. בדיקה של עשרה ימים סופרת חלק מהימים פעמיים. לכן מריצים שבוע, שבועיים או ארבעה שבועות, ולא פחות משבוע אחד שלם גם כשהמדגם הושג מהר.

יותר ממדד מרכזי אחד

מי שבודק עשרה מדדים ימצא באחד מהם הבדל "מובהק" במקרה. מדד מרכזי אחד מחליט; השאר רק מוודאים ששום דבר לא נשבר.

חלוקה לא שווה של התנועה

אם הגדרתם חלוקה של 50/50 וקיבלתם 10,000 מול 9,400, משהו לא תקין: הפניה שנשברה, גרסה שנטענת לאט, בוטים שנספרים רק בצד אחד. זה נקרא Sample Ratio Mismatch, ובדיקה כזו לא אמינה עד שמוצאים את הסיבה. בודקים את זה לפני שמסתכלים על התוצאה. בדיקת חי בריבוע פשוטה על שני המספרים מראה אם הפער גדול מכדי להיות מקרי.

מה עושים כשאין מספיק תנועה

לרוב העסקים הקטנים בישראל אין 28,000 מבקרים בחודש בעמוד אחד. מרפאה, משרד עורכי דין או סטודיו מקבלים לעתים כמה מאות מבקרים בשבוע, וזה מספיק כדי למכור, אבל לא כדי לזהות שיפור של 10%. זה לא אומר שאי אפשר לשפר יחס המרה באתר. זה אומר שצריך לעבוד אחרת:

• לבדוק שינויים גדולים: עמוד חדש, הצעה אחרת, טופס של שלושה שדות במקום עשרה. שינוי כזה יכול לייצר הבדל של 50% ומעלה, ואותו אפשר למדוד גם בתנועה נמוכה.
• לבדוק במקום שבו יש תנועה: עמוד הבית או מודעה, ולא עמוד שלישי במשפך.
• להסתמך על מחקר איכותני: חמש עד שמונה בדיקות שימושיות עם אנשים מקהל היעד מגלות את רוב הבעיות הברורות.
• לתקן בלי לבדוק: טופס שבור במובייל, מחיר שחסר, כפתור שלא נראה. את אלה פשוט מתקנים. לא כל שינוי צריך מבחן A/B.
• להשוות לפני ואחרי בזהירות: זה פחות אמין מבדיקה, כי עונתיות ופרסום משפיעים, אבל עם תקופות שוות ותיעוד טוב אפשר ללמוד ממנו.

גם הקריאייטיב בפרסום הוא מקום טוב לבדוק, כי שם התנועה גבוהה והשינויים גדולים. על זה כתבנו במודעות וידאו ב־AI.

דוגמה: תיק ההמרות של Névé

בתיק ההמרות של Névé הראינו את כל התהליך על מרפאה לרפואה אסתטית: שלושה שבועות של מחקר עם משפך לפי מכשיר, מפות קליקים וגלילה, ניתוח טופס קביעת התור ו־240 הקלטות; ארבע תובנות, כמו מבקרי מובייל שלא מגיעים למחיר הראשון, ובורר שעות שמאבד אנשים; שלוש השערות שנבדקו ב־A/B לאורך שלושה־עשר שבועות; ושתיים שהוטמעו. זו דוגמה שבנינו. Névé היא מרפאה בדויה, והנתונים שם להמחשה בלבד, לא ראיה לתוצאה שתקבלו. את אתר המרפאה עצמו אפשר לראות באתר של Névé, ודף נחיתה שבנוי מאותם עקרונות בדף ההשקה של ALBA.

כמה עולה תהליך כזה תלוי בכמות העמודים, בכלים שכבר קיימים ובמספר הבדיקות. פירטנו את מרכיבי המחיר של אתר בכמה עולה אתר. אם תרצו כיוון לאתר שלכם, שלחו בריף דרך עמוד שירות האתרים, ותקבלו תשובה במייל עם כיוון, מחיר ותאריך.

שאלות נפוצות

כמה מבקרים צריך לבדיקת A/B?

זה תלוי ביחס ההמרה הנוכחי ובגודל השינוי שרוצים לזהות. ביחס המרה של 3%, כדי לזהות עלייה ל־3.6% ב־95% מובהקות ו־80% עוצמה, צריך כ־13,900 מבקרים בכל גרסה. לשינוי ל־4.5% מספיקים כ־2,500.

כמה זמן להריץ מבחן A/B?

מחלקים את מספר המבקרים הנדרש בתנועה היומית לעמוד, ומעגלים לשבועות שלמים. לא פחות משבוע שלם, גם אם המדגם הושג מהר, בגלל ההבדלים בין ימי השבוע.

אפשר לעצור את הבדיקה כשהתוצאה כבר מובהקת?

לא. בתחילת בדיקה המספרים קופצים, וכמעט כל בדיקה עוברת רגע שנראה מובהק. עצירה מוקדמת מייצרת הרבה תוצאות חיוביות שגויות. מחליטים רק כשמגיעים לגודל המדגם שנקבע מראש.

מה עושים כשיש מעט תנועה?

בודקים שינויים גדולים, בודקים בעמודים עם הכי הרבה תנועה, נשענים על מחקר איכותני ובדיקות שימושיות, ומתקנים בעיות ברורות בלי בדיקה. לא כל שיפור צריך מבחן A/B.

מה ההבדל בין CRO לבדיקות A/B?

CRO הוא התהליך כולו: מחקר, השערה, בדיקה ומדידה. בדיקת A/B היא כלי אחד בתוכו, זה שמודד אם שינוי עבד כשיש מספיק תנועה.

להתחיל

רוצים את זה לעסק שלכם?

שלחו בריף קצר: שלוש שאלות חובה, והשאר רק אם בא לכם. חוזרים במייל עם כיוון, מחיר ותאריך כתובים.

לשלוח בריף←השירות: בניית אתר לעסק←