“חצי מתקציב הפרסום שלי מתבזבז. הבעיה היא שאני לא יודע איזה חצי” – מכירים את המשפט הזה? מסתבר שזה ציטוט נפוץ בעולם הפרסום ומשתמשים בו עוד מתחילת המאה ה19.
באותה תקופה למפרסמים היה קשה מאוד להבין איזו פרסומת עובדת טוב יותר, ולמה דווקא היא. עשרות שנים ומיליארדי דולרים אחר כך הגיע האינטרנט, ואיתו היכולת להגיע לקהל יעד רב בזמן קצר ובעלות הפקה זולה משמעותית מכל מה שהיה לפני כן.
היום הפרסום הדיגיטלי מאפשר לנו לא רק להבין איזה חצי של התקציב נותן לנו את התמורה הכי טובה, אלא גם את היכולת להריץ מבחנים שונים כדי לבדוק איזה חלק בקמפיין עובד טוב ואיזה לא, ולפנות לקהל שלנו בדיוק בדרך שבה הוא אוהב.
ליכולת המדהימה הזו קוראים A/B Testing או Split Testing. ובפוסט הזה נדבר על איך בדיוק עושים את זה בפייסבוק, כדי שתוכלו לשפר את הקמפיינים שלכם, לבזבז פחות ולהרוויח יותר.
נשמע טוב? המשיכו לקרוא…
נתחיל בהגדרה: מה זה בכלל A/B Test?
מבחן A/B הוא ניסוי סטטיסטי המשווה בין שתי גרסאות במטרה לזהות ולהטמיע את השינוי שיביא לשיפור התוצאה הרצויה, למשל: אחוזי הקלקה, הרשמה, רכישה וכו’.
השיטה הזו לא שייכת בלעדית לעולם השיווק, וידועה בתחומים פשוט כ”ניסוי מבוקר”. למשל בעולם הרפואה כאשר בודקים אפקטיביות של תרופה חדשה, מנסים על קבוצת נסיינים את התרופה האמיתית ועל קבוצה אחרת תרופת פלציבו (תרופת דמה), כדי לראות עד כמה התרופה באמת “מרפאת”.
בשיווק דיגיטלי אפשר ורצוי לעשות מבחני A/B להרבה מאוד דברים: כותרות של מיילים לניוזלטר שלכם, דפי נחיתה, תיאורי המוצר בחנות הוירטואלית שלכם, וכמובן מודעות פייסבוק שלשמן התכנסנו כאן היום.
למה חשוב לעשות את זה?
התשובה הפשוטה היא: לחסוך כסף. מבחן A/B טוב יכול בקלות להביא לשיפור משמעותי בהמרות שלכם בקמפיין, אפילו עד פי 10 מהמצב הקודם שלו וכך להוזיל את העלות לרכישת לקוח. היתרון הנוסף הוא שתתנסו בתהליך אופטימיזציה ותשפרו את יכולות השיווק שלכם גם לקמפיינים הבאים.
אחת הדוגמאות המפורסמות באינטרנט לשימוש במבחני A/B בשנים האחרונות היא מקמפיין הבחירות הראשון של אובמה. צוות השיווק של הקמפיין ביצע מאות מבחנים על המסרים כדי לגייס כמה שיותר כספי תרומות לקמפיין.
המבחנים השונים הביאו לשיפור של כ 40% בכמות התרומות שגויסה. הנה דוגמא לאחד המבחנים בדף הנחיתה לתומכים חדשים:
איזו מהגרסאות לדעתכם הצליחה לגייס יותר תרומות? אם חשבתם על גרסא ב’, צדקתם!
כנראה שמשהו בתחושת המשפחתיות עבר וגרם לאמריקאים להתחבר יותר לקמפיין.
אבל אל תחשבו שרק גופי ענק יכולים להנות מתוצאות של מבחני A/B. בפייסבוק תוכלו להריץ מבחנים גם עבור קמפיינים קטנים ולגלות בזמן אמת מה שורף לכם את התקציב, מתי להאט ומתי לתת גז.
לא משנה איזה קמפיין אתם מריצים וכמה ניסיון יש לכם, הסיכוי קטן שתפגעו כבר על ההתחלה בול בקהל הנכון, במסר הנכון, במיקום הנכון וכו’. מה שיקרה זה שתקבלו תוצאה כלשהי ותשאלו את עצמכם: אפשר לשפר את זה? בדיוק בשביל זה אנחנו עושים A/B Testing.
עכשיו ניגע בתכל’ס. איך עושים A/B testing לקמפיין שלכם בפייסבוק, שלב אחר שלב:
המדריך לבוחן המתחיל בפייסבוק:
1. החליטו מה אתם רוצים לשפר:
השלב הראשון בתהליך המבחן הוא להגדיר מטרה. כאן תצטרכו להגדיר במשפט אחד מה תרצו לשפר בקמפיין שלכם:
- להגדיל כמות לידים
- לקבל יותר לייקים לעמוד
- לשפר את אחוז ההקלקה על מודעה (CTR) וכו’.
נסחו את המטרה כך: “אני רוצה לשפר את X“. כאשר X הוא המדד שבחרתם.
תבחרו מטרה מדידה:
חשוב שהמטרה שלכם תהיה קלה למדידה, אחרת תסתבכו להבין אם באמת שיפרתם משהו. למשל המטרה “להגדיל שביעות רצון לקוח” היא איכותית וקשה יותר למדוד את השינוי בה בקמפיין פשוט.
תהיו ספציפיים:
חשוב שהמטרה שלכם תהיה כמה שיותר ספציפית ובלתי תלויה בדברים אחרים.
למשל, אם אתם מריצים קמפיין פייסבוק שמוביל לדף נחיתה עם טופס לידים. המטרה: “שיפור ההמרות של הקמפיין” היא מטרה כללית מידי כיוון שהיא תלויה בכמה דברים:
- אפקטיביות המודעה בפייסבוק
- אפקטיביות דף הנחיתה
אלו שני דברים שלא בהכרח תלויים זה בזה, לכן כדאי לבחון ולשפר אותם בנפרד.
יכול להיות שהמון אנשים לוחצים על המודעה ועלות ההקלקה עליה אפסית, אבל מעט ממירים בדף הנחיתה. או להפך: לוחצים מעט על המודעה, אך כמעט כל מי שמגיע לעמוד הופך לליד.
2. העלו רעיונות למבחנים:
אחרי שבחרנו מטרה, אנחנו צריכים להחליט מה לבחון כדי להגיע למטרה שלנו. כאן העניינים מתחילים להסתבך קצת, כי יש המון אפשרויות.
מבנה קמפיין הפרסום בפייסבוק מורכב מ3 שכבות, מהרמה האסטרטגית ועד הטקטית. בואו נדבר על האפשרויות העיקריות והנפוצות בכל שכבה:
מבחן ברמת הקמפיין:
סוג הקמפיין (Campaign Objective) –
כידוע לכם יש המון אפשרויות לקביעת סוג הקמפיין, אך המטרות העסקיות שלנו לרוב לא כאלו מגוונות, לכן נוכל לבחון סוגי קמפיין שונים כדי לעזור לנו להשיג את אותה התוצאה.
ברמה הזו נוכל לעשות מבחנים אסטרטגיים כדי להבין איזה סוג קמפיין הכי מתאים למטרה שאנחנו רוצים להשיג.
למשל, אם המטרה שלנו היא להביא יותר לידים לעסק, נוכל לבחון קמפיין לאיסוף לידים (Lead Generation) מול קמפיין קליקים לאתר (Website Clicks) שמוביל לדף נחיתה עם טופס.
אור מ Fialkov Digital שיתף אותנו שבאחד הקמפיינים שלו לרישום תלמידים לסדנת פרסום בפייסבוק, הוא ביצע מבחן כזה וקיבל עבור מודעת לידים המרות גבוהות פי 4 ממודעה דומה שהובילה לדף נחיתה עם טופס הרשמה !
מבחן ברמת ה Ad Set:
דמוגרפיה –
זהו כנראה הגורם המשפיע ביותר על אפקטיביות הקמפיין שלכם. נוכל לכוון את המודעה שלנו למגוון קהלים עפ”י גיל, מין, השכלה, מגורים, תחומי עניין וכו’. כאן שווה לבחון פילוחי קהל שונים זה מול זה כאשר יש לכך הגיון בקמפיין שלכם.
למשל, אם הייתי מפרסם לראשונה מחשב נייד במבצע לתלמידי תיכון בני 15-18, הייתי עושה מבחן של סט מודעות שפונה לתלמידים עצמם מול סט מודעות שפונה להורים שלהם.
סוג קהל מותאם (Custom Audience) –
כשאתם מטרגטים קהלים מותאמים “שלכם”, שווה לבחון כמה אפשרויות טרגוט. למשל טרגוט קהל האוהדים בעמוד שלכם, מול קהל מבקרים כללי באתר שלכם, או מול קהל Lookalikes שיצרתם מאחד הקהלים הנ”ל.
לדוגמא, אורטל מ Ortal Digital שיתף אותנו במבחן מעולה שעשה לסוגי קהל שונים באחד הקמפיינים שלו. את הקמפיין הוא חילק ל4 סטים של מודעות:
- קהל מותאם שנצבר מאתר הלקוח
- קהל lookalikes עם התאמה של 1%
- קהל lookalikes עם התאמה של 2%
- קהל שבנה לפי תחומי עניין רלוונטיים
בתמונה תוכלו לראות שקהל הlookalikes 2% מוביל עם כמעט פי 2 בכמות ההמרות נכון לזמן צילום התמונה:
מיקום הצגת המודעות (דסקטופ, מובייל, מודעות צד וכו’) –
המיקום הוא אחד המשתנים החשובים ביותר שניתן לבחון בקמפיינים שלכם בפייסבוק. מניסיוני ההבדלים בתוצאות בין מודעות במובייל למודעות דסקטופ גדול מאוד, ובד”כ גם העלות לקליק שונה מאוד.
לפעמים ההבדלים בקליקים נובעים מטעויות לחיצה במובייל (משתמשים שלוחצים על המודעה בטעות בעת הגלילה במכשיר), לכן חשוב מאוד לבדוק את משמעות הקליקים ולא להסתפק בלבדוק רק את כמות הקליקים.
בנוסף, משווקים נוטים לזנוח את מודעות הצד בד”כ בטענה שאף אחד לא מקליק עליהן.
יש אמת כלשהי בדבר, אבל אם מדובר בRetargeting לקהל שמכיר את המותג שלכם, אפשר בהחלט לנסות את המודעות האלו עם הדגשת המותג בתמונה, בעיקר כי הן בד”כ זולות בהרבה משאר המיקומים.
לדוגמא, באחד הקמפיינים שלי בחנתי קידום דף נחיתה במובייל מול דסקטופ למשך שבוע, אחרי יומיים שמתי לב שכל הפרמטרים (כולל כמות הלידים בדף הנחיתה) מצביעים שכדאי להשקיע יותר במודעת המובייל, וכך עצרתי את מודעת הדסקטופ אחרי קרוב ל4,000 חשיפות בלבד:
שיטת אופטימיזציה (Optimization for ad delivery) –
כאן תוכלו לנסות שיטות שונות שיקבעו איך האלגוריתם של פייסבוק יציג את המודעה שלכם לקהל: פעולות, חשיפות, חשיפה יומית ייחודית.
השיטה המומלצת של פייסבוק תהיה לבצע אופטימיזציה לפי פעולות. כלומר, אם סוג הקמפיין הוא Website Clicks, ברירת המחדל תהיה אופטימיזציה לפי Link Clicks ותציג את המודעות שלכם למשתמשים שבסיכוי גבוה יקליקו עליה על סמך דמיון לאנשים אחרים שהקליקו.
השיטה הנ”ל באמת טובה בהרבה מקרים. אבל אם אתם עושים קמפיין Retargeting לקהל שכבר מכיר אתכם, שווה לבחון אופטימיזציה לפי חשיפות (Impressions), כיוון שאתם כבר יודעים שקיים סיכוי גבוה שכהקהל שאתם מטרגטים יתעניין במודעה, ואתם כבר לא זקוקים שפייסבוק תעשה אופטימיזציה כלשהי לקהל הזה, בעיקר אם הוא קטן.
מבחן ברמת המודעה:
סוג המודעה –
כאן תוכלו לבדוק למשל את האפקטיביות של מודעת קרוסלה (סדרת מודעות ריבועיות), מול תמונה אחת בודדת רחבה. מניסיוני קרוסלה בד”כ מזמינה יותר קליקים בגלל שמשתמשים רוצים לגלות אילו עוד מסרים מסתתרים יש ולוחצים על החץ ימינה.
תמונה –
כאן תוכלו לבחון את אפקטיביות התמונה ולבדוק איזו תמונה נוגעת יותר בקהל שלכם. דוגמא למבחן יכול להיות שימוש באנשים אמיתיים בתמונה מול שימוש באלמנטים מצויירים כדי להעביר את אותו הרעיון.
למשל, כמו בדוגמא הזו של חלל העבודה Regus:
טקסט במודעה (כותרות, תיאורים וכו’) –
כאן תוכלו לבחון כותרות ופסקאות שונות למודעה שלכם. כדאי לנסות סגנונות שונים של כתיבה ולתקוף את המשתמש מכל מיני כיוונים. למשל תוכלו לנסח הצעת ערך רגשית מול הצעה שפונה להגיון.
במבחן ברמת המודעה, כדאי לבצע שינויים מהותיים בקריאייטיב כדי להרגיש בהבדל, כלומר לא להחליף מילה או שניים, אלא לשנות לגמרי את הטקסט.
עוד רעיונות למבחנים ברמת המודעה תוכלו למצוא בפוסט שכתבתי על איך ליצור מודעות פייסבוק מעולות.
3. החליטו מה לבחון:
אוקי, אז הבנו שיש המון דברים שתאורטית אפשר לבחון. אבל מעשית, לאף אחד מאיתנו אין מספיק זמן וכסף לבחון את כולם. אז איך נתעדף את הבחירה שלנו? הנה כללי האצבע שלי לבחירת המבחן:
צמצמו את האפשרויות מראש:
רב הסיכויים שאתם לא מתחילים את הקמפיין עם 0 ידע על הקהל שלכם. אם אתם עובדים נכון, בטח ביצעתם מחקר מקדים על הקהל שלכם, וצברתם עליו מידע שיעזור לכם לטרגט.
תבחנו רק דברים שאתם לא יודעים, ולא דברים מובנים מאילו רק בשביל להוכיח לעצמכם שצדקתם.
תבחנו דברים משמעותיים קודם:
הטעות הראשונה של אנשים היא להתחיל קודם בלבחון דברים קטנים כמו צבעים בתמונה וכותרות שונות, אבל עדיף להתחיל עם הדברים הגדולים יותר ובהמשך להגיע לקטנים.
תחשבו על זה רגע.
מבחן משמעותי הוא כזה שמזניק את תוצאות הקמפיין שלכם באופן שבאמת משפיע. לבחון תמונות שונות בד”כ לא יעשה הבדל כזה גדול. אבל לנסות טרגוט שונה לקהל או מיקום שונה למודעה יכול להכריע את הקמפיין לחלוטין.
כלי הפרסום בפייסבוק לא סתם בנוי בחלוקה לרמות. אני ממליץ מאוד לבחון דברים מהרמה העליונה לתחתונה ביותר, קודם לקבל את ההחלטות הגדולות ואז את הקטנות.
תבחנו אלמנט אחד בלבד בכל מבחן:
כדי שהמבחן שלכם יהיה חד משמעי ומדויק, כדאי לבחון רק דבר אחד בכל פעם. כשבוחנים יותר מאלמנט אחד במודעה, קשה יותר לדעת מי מהאלמנטים השפיע על השינוי בביצועים.
למשל, אם אתם עושים מבחן ברמת המודעה: אל תעשו גרסה שונה גם בתמונה וגם בטקסט כמו בדוגמא הבאה של לירון מור, כך לא תוכלו להבין מה מהאלמנטים גרם לשינוי בתוצאות, אם היה.
4. הרצת המבחן:
ברגע שהחלטתם להריץ מבחן, תחליטו על תקציב שאתם רוצים להקצות למבחן ותיצרו את הגרסאות שאתם רוצים לבחון זו מול זו.
כמה תקציב להקצות למבחן?
אני בד”כ מקצה 20% מהתקציב הכולל של הקמפיין שלי למבחנים. כלומר, אני בוחר מראש שהתקציב הזה יילך לניסוי וטעייה כדי לבחור את הגרסא הטובה ביותר, ו80% הנותרים יילכו על הגרסה המשופרת.
כמובן שלא כל קמפיין דורש מבחן, וכדאי לכם לבצע אותו רק אם אתם מרגישים שהוא ישתלם, כלומר, ילמד אתכם משהו שישפר את הקמפיין הזה לעתיד. אם אין “עתיד” ומדובר בקמפיין קצר וחד פעמי עם תקציב נמוך, לא הייתי משקיע במבחנים.
איך נדע שהמבחן שביצענו אמין?
כדי שהמבחן יצביע על שיפור אמיתי בקמפיין שלכם ולא שיפור שנובע מצירוף מקרים או מזל, חשוב שתהיה לו מובהקות סטטיסטית שתעזור לנו להבין אם יש קשר אמיתי בין השינוי שעשינו לבין התוצאה שקיבלנו, או שמדובר במזל.
כדי להמחיש את זה דמיינו את הניסוי הבא: נניח שרצינו לבחון איזו פעילות כושר טובה יותר לירידה במשקל: ריצה או שחיה. אז לקחנו 100 נבדקים זהים (במשקל, מין, גיל, תזונה וכו’)
50 מהנבדקים שחו 2 ק”מ, וה50 הנותרים רצו 2 ק”מ, פעם בשבוע כל אחד.
אחרי חצי שנה ספרנו כמה נבדקים בכל קבוצה ירדו במשקל, וקיבלנו:
בקבוצת השחייה: 10 נבדקים ירדו במשקל
בקבוצת הריצה: 5 נבדקים ירדו במשקל
האם זה אומר ששחייה היא פעילות טובה יותר לירידה במשקל? לא לפי המקובל בסטטיסטיקה. למרות שבקבוצת השחייה פי 2 יותר אנשים ירדו במשקל, כמות הנבדקים בסה”כ קטנה מידי, ולא מייצגת מספיק בשביל להצביע על מגמה ברורה.
ברוב התחומים, כדי שניסוי סטטיסטי ייחשב מובהק, מקובל לדרוש רמת בטחון של 95%, שאומרת שבסיכוי של 95% יש קשר בין השינוי שנעשה לאלמנט והתוצאה שהוא יניב, וב5% מהמקרים מדובר במזל.
בדומה לדוגמא הנ”ל, הטעות הנפוצה של משווקים מתחילים היא להפסיק את המבחן מוקדם מידי ברגע שהם רואים יותר המרות בגרסא אחת של המבחן, ובוחרים אותה כמנצחת.
אבל יכול להיות שזו הייתה מקריות ואם המבחן היה ממשיך עוד כמה ימים וצובר עוד כמה חשיפות, הגרסא הזו הייתה בכלל מפסידה.
בשביל לבדוק בצורה קלה אם המבחן שלכם מובהק סטטיסטית, בלי להסתבך עם נוסחאות השתמשו במחשבון כמו זה
בכל גרסא שאתם בודקים, מלאו את השדה Visitors בכמות החשיפות שלה, ובGoals את כמות הפעולות שאתם מודדים (לייקים, קליקים, המרות וכו’). והמחשבון כבר יודיע לכם איזו קבוצה ניצחה והאם המבחן מובהק סטטיסטית כמו בתמונה הנ”ל.
הבעייתיות במבחני A/B בפייסבוק
חשוב להגיד שלמרות היכולת המתקדמת של מערכת הפרסום של פייסבוק, היא לא ממש טובה כשזה נוגע למבחני A/B. למה?
האלגוריתם של פייסבוק רוצה לעזור לנו ע”י בחירת גרסאות מנצחות באופן אוטומטי ברמת המודעה ולכן האלגוריתם יזהה מהר מאוד שמודעה א’ טובה ממודעה ב’ ויעניק אוטומטית למודעה א’ את רוב התקציב והחשיפות.
אותו דבר יקרה גם עם הקהל ומיקום ההצגה.
מצב זה יכול לפגוע בתהליך מבחן תקין, כיוון שפייסבוק בוחרת לנו את הסוס המנצח מוקדם מידי, ונותנת לו את כל התקציב, במקום לחלק את התקציב בצורה אחידה ולכן המבחן שנוצר הוא למעשה לא הוגן ולא ניתן להסיק ממנו איזו גרסא טובה יותר.
איך אפשר להתמודד עם זה?
בגלל שהתקציב נקבע ברמת הAd Set, אם למשל נרצה ליצור מבחן אמיתי בין מודעה במובייל ובדסקטופ, כדאי שנפתח Ad Set נפרד לכל מיקום. רק כך נבטיח שכל מיקום יקבל חלק שווה בעוגת התקציב.
באותו אופן, כדי לדאוג לחלוקה שווה בתקציב בין שתי תמונות שונות במודעה, נוכל לשים כל אחת בסט מודעות משלה, רק שכאן נתקל בחסרון אחר: שתי התמונות יכולות להיות מוצגות לאותו הקהל.
האופציה הטובה ביותר:
למי רוצה לקחת את הקמפיינים שלו לשלב הבא ולהנות מהיכולת לחלק את הקהל או את התקציב שווה בשווה בכל סוגי המבחנים שהוא עושה, צריך להשתמש במערכת צד ג’ לניהול המודעות.
אחת המערכות המומלצות ביותר בשוק כיום היא AdEspresso, בה תקבלו המון יכולות מתקדמות, כולל האפשרות להריץ מבחנים בכל צורה שתרצו. התכנית הבסיסית מתחילה מ50$ לחודש.
לסיכום:
אחרי שביצענו מבחן אחד ומצאנו מנצח (עם מובהקות סטטיסטית), מצבנו טוב יותר ממה שהיה קודם, אבל הוא כנראה רחוק ממושלם. כדאי להמשיך ולבחון דברים נוספים מתוך הרשימה שהעלינו.
סביר להניח שיש עוד המון מקום להשתפר, בעיקר בקמפיינים לטווח ארוך.
כמובן שכל מבחן דורש תקציב ייעודי, וכל אחד צריך לבדוק עם עצמו כמה הוא מוכן להשקיע בזה. אבל חשוב שתבינו שעצם זה שאתם מנסים ובוחנים דברים, תחסוך לכם הרבה יותר כסף בעתיד.
כיוון שכל מבחן שבנוי נכון מקרב אתכם יותר ויותר להתאמה המושלמת בין מה שאתם מפרסמים לבין מה שהקהל שלכם רוצה לקבל.
עד כאן להפעם. עכשיו תורכם: עשיתם מבחנים וקיבלתם תוצאות מעניינות? נותרתם עם שאלות לגבי מבחנים בפייסבוק? בואו נדבר על זה בתגובות 🙂
