יש לך אסטרטגיה עם תשואה שנתית של 40%, יחס שארפ של 3, ו-Drawdown מקסימלי של 8%. מושלם, נכון? אולי לא. ייתכן מאוד שאתה קורבן של Overfitting – הטעות הנפוצה והיקרה ביותר בעולם המסחר הכמותי.
מהו Overfitting?
Overfitting (התאמת יתר) קורה כשמודל או אסטרטגיה "לומדים" את הרעש בנתונים ההיסטוריים במקום את הדפוסים האמיתיים. התוצאה: ביצועים מרהיבים על נתוני העבר, אבל כישלון מוחלט בזמן אמת.
תחשבו על זה כך: אם תשננו 1,000 שאלות של מבחן עם התשובות, תקבלו ציון מושלם באותו מבחן. אבל במבחן חדש עם שאלות שונות? כנראה שתיכשלו. זה בדיוק מה ש-Overfitting עושה לאסטרטגיה שלכם.
איך Overfitting נוצר?
יותר מדי פרמטרים: ככל שמוסיפים יותר פרמטרים לאסטרטגיה, כך קל יותר "להתאים" אותה לנתוני העבר. כלל אצבע: אם יש לך יותר מ-5-7 פרמטרים חופשיים, כנראה שיש Overfitting.
אופטימיזציה אגרסיבית: כשמריצים אלפי קומבינציות של פרמטרים ובוחרים את הטובה ביותר, בסבירות גבוהה הקומבינציה הזו "טובה" רק בגלל מזל סטטיסטי על הנתונים הספציפיים האלה.
תקופת בדיקה קצרה מדי: ככל שתקופת הנתונים קצרה יותר, כך קל יותר למצוא דפוסים שהם רעש ולא אות אמיתי.
מספר ניסויים רב מדי: אם ניסיתם 500 גרסאות של אסטרטגיה ובחרתם את הטובה ביותר, הסיכוי ש"הטובה ביותר" היא פשוט התוצאה המזלית ביותר הוא גבוה מאוד. זו בעיה הקשורה ל-Data Snooping Bias.
סימנים שהאסטרטגיה שלך סובלת מ-Overfitting
ביצועים "טובים מדי": תשואות שנתיות של 50%+ עם Drawdown מינימלי? כמעט בוודאות Overfitting. אם היה כל כך פשוט, כולם היו עשירים.
רגישות לפרמטרים: אם שינוי קטן בפרמטר (נניח, ממוצע נע של 20 ימים במקום 21) משנה דרמטית את התוצאות, האסטרטגיה כנראה מותאמת יתר.
ביצועים שונים באופן קיצוני בין תקופות: אם האסטרטגיה מרוויחה 50% בתקופה אחת ומפסידה 20% בתקופה אחרת, ייתכן שהיא מותאמת לתקופה מסוימת.
פער גדול בין In-sample ל-Out-of-sample: זה הסימן הקלאסי. אם הביצועים על נתוני הבדיקה הרבה טובים יותר מנתוני ה-Out-of-sample, יש Overfitting.
כלים לזיהוי ומניעת Overfitting
Walk-Forward Analysis: חלוקת הנתונים לתקופות רצופות של אופטימיזציה ובדיקה, כדי לוודא שהאסטרטגיה עובדת בצורה עקבית.
Cross-Validation: בדיקה על מספר תתי-קבוצות של הנתונים, לא רק על חלוקה אחת.
מבחן White's Reality Check: מבחן סטטיסטי שבודק אם הביצועים הטובים ביותר שנמצאו הם סטטיסטית משמעותיים, בהתחשב במספר הניסויים שנעשו.
סימולציות מונטה קרלו: בודקות את טווח התוצאות האפשריות ומזהות אם הביצועים ההיסטוריים הם חריגים.
מה עושים אם גילית Overfitting?
קודם כל – אל תתייאש. גילוי Overfitting הוא דבר טוב, כי זה מונע ממך להפסיד כסף אמיתי. השלב הבא הוא לפשט את האסטרטגיה, להקטין את מספר הפרמטרים, ולבנות מחדש עם מתודולוגיית Backtesting ריגורוזית.
ב-DanAnalytics, זיהוי ונטרול Overfitting הוא חלק מרכזי מכל פרויקט ולידציה. אנחנו משתמשים בכלים סטטיסטיים מתקדמים כדי להבטיח שהאסטרטגיה שלך מבוססת על יתרון אמיתי – ולא על אשליה סטטיסטית. קבעו פגישת ייעוץ.
Leave a Reply