Developing Edge Finder: an Improved version in Backtesting
หลังจากพัฒนาเครื่องมือ Backtest ตัวแรกไป ผมพบจุดอ่อน 3 อย่างของเวอร์ชั่นก่อนหน้านี้:
- Overfitting: การปรับ Parameter ละเอียดเกินไปทำให้ผลลัพธ์ดูดีแค่ในอดีต แต่ใช้จริงไม่ได้
- Sample Bias: ข้อมูลการเทรดมักไปกระจุกตัวอยู่ในไม่กี่วัน ทำให้ค่าสถิติบิดเบือน
- Discovery Speed: ระบบเดิมทำงานได้ดีถ้าเรามีสมมติฐานอยู่แล้ว แต่ช้าเกินไปสำหรับการ ค้นหาสิ่งใหม่ๆ
ผมจึงพัฒนา Feature ใหม่ที่ชื่อว่า "Edge Finder" เพื่อเข้ามาเสริม
Strategy Comparison at Scale
หัวใจของ Edge Finder คือ เพิ่ม Discovery Speed โดยมีชุด "Pre-made Strategies" ที่ผมคัดเลือกมาแล้วว่าเรียบง่ายและไม่ซับซ้อนจนเกินไป เพื่อลดโอกาส Overfitting ระบบจะรัน Backtest ทุกกลยุทธ์พร้อมกันในคราวเดียว โดยจำกัดจำนวนเทรดในแต่ละวันเพื่อลด Sample Bias
ผมออกแบบ Table ให้เปรียบเทียบประสิทธิภาพกลยุทธ์ผ่าน Metric สำคัญ:
- Win Rate และ Mean P&L: เพื่อดูความคุ้มค่าในเชิงสถิติ
- Growth Pct และ Allocation: เพื่อดูความสามารถในการปั้นพอร์ต
- Daily Concentration: ตรวจสอบว่ากำไรกระจุกตัวอยู่ในวันเดียวหรือไม่ (แก้ปัญหา Sample Bias)
การเห็นภาพรวมแบบนี้ช่วยให้ผมคัดเลือกได้ทันทีว่า ในสภาวะตลาดปัจจุบันหนึ่งเดือนที่ผ่านมา กลยุทธ์แบบไหนที่มี Edge จริง
Heatmap Optimization and Finetuning
เมื่อเจอกลยุทธ์ที่น่าสนใจ สามารถเจาะลึกด้วยระบบ Heatmap เพื่อวิเคราะห์ความสัมพันธ์ระหว่าง Stop Loss และ Profit Target (อ้างอิงจากค่า ADR)
แทนที่จะสุ่มเลือกตัวเลข Heatmap จะแสดงผลลัพธ์ในรูปแบบเฉดสี ทำให้เห็น "Sweet Spot" หรือโซนที่กลยุทธ์ทำงานได้เสถียรที่สุด หากโซนที่ทำกำไรมีความกว้าง (Robust) แสดงว่ากลยุทธ์นั้นมีโอกาสรอดสูงในตลาดจริงเป็นต้น
Visual Proofing: Win vs Loss
ขั้นตอนสุดท้ายคือการทำ Visual Backtest ผ่าน Chart คัดตัวอย่างการเทรดทั้งชุดที่ได้กำไร (Profitable) และขาดทุน (Losing) มาแสดงผลเปรียบเทียบกัน
การดู Chart จำนวนมากช่วยให้ผมเห็น "Common Denominator" หรือลักษณะร่วมกันของไม้ที่แพ้และชนะ เช่น หุ้นที่แพ้มักจะมีลักษณะหน้างานแบบไหน ซึ่งข้อมูลเชิงคุณภาพเหล่านี้ช่วยให้ผมเพิ่มเงื่อนไขการกรอง (Filter) ที่นอกเหนือจากการใช้เพียงแค่ตัวเลขสถิติอย่างเดียว
