יש לך אסטרטגיה שעברה בהצלחה Backtesting מקיף. יחס שארפ מרשים, תשואה יפה, Drawdown סביר. אבל האם שאלת את עצמך כמה אסטרטגיות ניסית לפני שמצאת את זו שעובדת? אם התשובה היא "הרבה", ייתכן שאתה קורבן של Data Snooping Bias – אחת ההטיות המסוכנות ביותר במחקר כמותי.
מהו Data Snooping Bias?
Data Snooping Bias (נקרא גם Data Mining Bias או Multiple Testing Bias) מתרחש כשבודקים מספר רב של אסטרטגיות, פרמטרים, או היפותזות על אותו סט נתונים, ואז בוחרים את התוצאה הטובה ביותר.
כדי להמחיש: אם תזרוק מטבע 20 פעמים ותעשה זאת 100 ניסויים, כמעט בוודאות תמצא ניסוי אחד שבו נפלו 15+ "עץ". האם זה מוכיח שהמטבע מוטה? כמובן שלא. אבל זה בדיוק מה שסוחרים עושים כשהם בודקים 100 וריאציות של אסטרטגיה ובוחרים את הטובה ביותר.
למה זה כל כך מסוכן?
אשליה של רווחיות: כשבודקים מספיק אסטרטגיות, תמיד ימצאו כמה שנראות רווחיות – גם אם שום אחת מהן אין לה יתרון אמיתי. זה פשוט מזל סטטיסטי.
ביטחון שווא: כי ה"אסטרטגיה המנצחת" עברה Backtesting "מצליח", הסוחר מרגיש בטוח מספיק כדי לסחור בה עם הון אמיתי. התוצאה? הפסדים שיכלו להימנע.
קשה לזהות: בניגוד ל-Overfitting, שלפעמים ניתן לזהות על ידי בדיקת רגישות לפרמטרים, Data Snooping Bias יכול להתקיים גם באסטרטגיות פשוטות עם מעט פרמטרים.
דוגמאות מהעולם האמיתי
"אפקט ינואר": שנים רבות נהוג היה לחשוב שמניות עולות בינואר. מחקרים רבים אישרו זאת. אבל ברגע שהתופעה פורסמה ברבים, היא נעלמה. ייתכן שמלכתחילה הייתה תוצאה של Data Snooping – חוקרים שבדקו עשרות "אפקטים עונתיים" ומצאו אחד שנראה סטטיסטית משמעותי.
"אינדיקטור הסופרבול": שנים רבות הייתה קורלציה בין הקבוצה שזוכה בסופרבול לבין ביצועי השוק באותה שנה. כמובן שזה חסר כל בסיס כלכלי – אבל אם בודקים מספיק אינדיקטורים אקראיים, תמיד ימצאו כמה שמתואמים עם השוק במקרה.
כלים לזיהוי ונטרול Data Snooping
מבחן Bonferroni Correction: התאמת רמת המובהקות הסטטיסטית למספר הניסויים שנעשו. אם בדקת 100 אסטרטגיות, רף המובהקות צריך להיות מחמיר פי 100.
White's Reality Check ו-Hansen's SPA Test: מבחנים סטטיסטיים מתקדמים שנבנו ספציפית כדי לטפל בבעיית Data Snooping במחקר פיננסי. הם בודקים אם ה"אסטרטגיה הטובה ביותר" באמת טובה סטטיסטית, בהתחשב בכל הניסויים שנעשו.
Out-of-Sample Testing: שמירת חלק מהנתונים לבדיקה רק אחרי שהאסטרטגיה נבחרה. חשוב – נתוני Out-of-sample צריכים להישמר "חתומים" ולהיבדק רק פעם אחת. Backtesting נכון כולל את הפרקטיקה הזו.
תיעוד מלא: לתעד כל ניסוי שנעשה – גם את אלה שנכשלו. זה מאפשר לחשב את ה"עומס" הסטטיסטי של כל הניסויים ולהעריך את המובהקות האמיתית.
הקשר בין Data Snooping להטיות אחרות
Data Snooping קשור קשר הדוק ל-Overfitting ול-הטיית האישור (Confirmation Bias). כשסוחר "מחפש" אסטרטגיה רווחית, הוא נוטה להמשיך לנסות עד שהוא מוצא משהו שעובד – מבלי לשים לב שהתהליך עצמו מבטיח שימצא תוצאה "חיובית" גם אם אין יתרון אמיתי.
ההגנה הטובה ביותר
הדרך הטובה ביותר להתגונן מ-Data Snooping היא לעבוד עם מתודולוגיה מחקרית מחמירה מראש – לפני שמתחילים לבדוק אסטרטגיות. זה כולל הגדרת היפותזה ברורה, קריטריוני הצלחה מוגדרים מראש, ותוכנית מחקר מסודרת.
ב-DanAnalytics, אנחנו מקפידים על מתודולוגיה מחקרית שמנטרלת Data Snooping Bias. כל פרויקט מלווה בתיעוד מלא ובמבחנים סטטיסטיים שנותנים לך ביטחון שהתוצאות אמיתיות – לא אשליה סטטיסטית.
מעוניין לבדוק אם האסטרטגיה שלך עמדה במבחן Data Snooping? קבעו פגישת ייעוץ חינם בוואטסאפ.
Leave a Reply