ML in Finance - Theory Matters

금융에서 AI를 적용하는 것에는 주의해야 할 점이 많은데, 이러한 기본적인 것조차 현업에서도 지켜지지 않는 모습을 심심치 않게 볼 수 있다. ML을 단순히 예측용도로만 사용해서는 안되고 과학적으로 사용해야하고, 그과정이 이론적으로 맞다고 느껴져야 하며, 나온 결과에 대해 충분한 해석을 제공할 수 있어야 한다.

​

• 통계학은 매우 엄격하고 간단한 가정(linearity/ independence), In-sample 분석, analytical solution (<-> numerical solution), asymptotic properties(점근적 특성)등에 기반함
  통계학은 컴퓨 팅 파워가 지금과 같지 않을때의 산물로지금과 같은 컴퓨팅 파워가 있었다면 완전히 다른 학문이 되었을 것
  대부분의 ML알고리즘은 cross-sectional한 데이터에 대해 고안된것이다 그러니 무턱대고 금융데이터에다가 적용하지말자
  
  
• AFML은 실무자이기도 한 학자의 관점에서 시계열데이터를 ML 알고리즘으로 모델링하는 문제를 해결하는것과 관련된 책​
  ML4AM은 어떻게 ML을 활용해서 더 나은 금융이론을 만들 것인가에 관한 이야기를 다룬책
  금융에서 너가 얻고 싶어하는 엣지는 무엇이든간에 다른 누군가의 시스테믹한 실수에 기인한 것일 수 밖에 없다. 따라서 너의 엣지를 검증해볼 수 있는 이론이 없다면 우위가 전혀 없을 수 있다.
  
  
• 백테스트는 절대 절대 절대 이론이 아니다
  백테스트는 전략이 True Positive인지 증명할수 없고 오직 False Positive였는지 판별하는데에만 사용될 수 있다. 따라서 백테스트를 통해 전략을 만들면 안되고, 너의 전략은 반드시 (특정한 케이스들을 설명할 수 있을 정도로 보편적인)이론에 뒷받침되어야 한다.
  
  
• 금융에서 ML을 과학적으로 잘 사용하는 방법 중 하나는 검증가능한 이론을 찾는데에 ML을 사용하는 것이다
  경제학 이론들은 facts with unknown truth value 혹은 generally phony한 가정에 기초한다는 비판을 자주 받는다.
  하지만 기존의 방법론으로 어쩔 수 없는것이 현대 금융 시스템의 복잡성을 고려할 때 연구자가 데이터를 시각적으로 검사하거나 몇 가지 회귀를 실행하는 것만으로는 Theory와 관련된 성분들을 찾아내는 것을 불가능하다.
  하지만 ML은 search for specification으로부터 search for variables를 분리하는데에 핵심적인 역할을 할 수 있다.
  ML을 통해 이론이 만들어지고나면, 예측은 ML에의해 되는것이아니라 이론에 의해 이루어지도록 해야한다. 

 

---

ML이 Finance에서 과연 필요한가?

전통적인 통계방법론은 컴퓨팅 파워가 매우 제한적인 때에 발전되었다, 따라서 아래와 성질에 의존하고 있다.

 

• 선형성이나 독립성과 같은 매우 간단한 가정에 기반
• In-Sample 분석
• Analytic solution (vs Numerical: 수치적 해)
• Asymptotic properties
  
  

two words explain the classic preference for parametric models: mathematical tractability. In a world of sliderules and slow mechanical arithmetic, mathematical formulation, by necessity, becomes the computational tool of choice. Our new computation-rich environment has unplugged the mathematical bottleneck, giving us a more realistic, flexible, and far-reaching body of statistical techniques. 
Efron and Hastie (2016, 53)

 

따라서 이러한 전통적인 통계 방법론은 금융에서의 문제와 같이 복잡도가 높은 문제를 풀때에는 적절하지 않고, Computational Method, 즉 Cross-Validation 이나 Ensemble, Regulariztion, Bootstrapping 그리고 Monte Carlo와 같은 방법론이 분명히 더 나은 결과를 보여준다. 

 

---

Finance에서의 ML은 어떻게 달라야 하는가

Advances in Financial Machine Learning
대부분의 ML알고리즘은 cross-sectional 한 데이터 셋에 맞게 고안되어있다.
ML을 Time-Series로 되어있는 금융의 문제에 직접 적용하기에는 어려움이 있다.
따라서 Time-Series데이터를 ML에 적용하는데에 있어 조심해야 할 점에 대해 다루고 있다.

Machine Learning for Asset Managers
어떻게 ML을 활용하여 Financial Theory를 만들 수 있는가에 대해 다루는 책이다.

---

Finance에서의 ML에는 Financial Theory가 필요하다

만약 내가 금융시장에서 얻고자 하는 어떤 Edge가 있거든, 그것은 내가 얻는 profit과 관련된 부분에서 다른사람이 systematic mistake를 저지르고 있다는 것을 뜻한다. 따라서 Edge를 설명할 수 있는 Testable Theory가 없다면 그것은 Edge가 없는거나 마찬가지라 봐도 무방하다. 실제 금융시장에서 발생하는 명제와 그 대우명제들 (x->y 이고 ~y->~x이다) 을 설명할 수 있는 Testable Theory 만이 내가 다른 사람들로 부터 얻는 profit의 명확한 cause-effect를 밝혀낼 수있다.

 

단 이때 백테스트는 Theory가 아니며, 과거에 일어나지 않았을 실현불가능한 시뮬레이션일 뿐이라는 것을 명심해야한다 Asset Manager라면 Theory를 만드는데에 그들의 노력을 쏟아야지 백테스팅을 하는데 시간을 쏟으면 안된다. 백테스트로 확인 할 수 있는 것은 오직 False Positive였는지(내가 예측한 것이 틀렸는지)고 True Positive(내가 예측한 것이 맞았다)는 검증할 수 없다. 다시한번 말하지만  절대로 Backtest만을 이용해 전략을 찾아서는 안되고, 전략은 Theory에 의해 뒷받침 되어야 한다. 

이때 너의 Theory는 어떤 특정한 케이스를 설명할 수 있을 만큼 충분히 일반적인 것이어야 한다. 

 

---

ML은 Financial Theory를 찾아내는데에 도움이 된다

ML은 Financial Theory를 만들 수 있는 가장 강력한 툴로서 작용한다. 금융시장의 복잡성을 고려해 볼때, 리서처가 단순히 현상을 바라보거나, 간단한 통계분석을 함으로서 금융시장의 Edge를 발견해 낸다는 것은 불가능하다. 리서처는 ML 을 활용하는 아래 과정에 따라  Financial Theory를 만들어 낼 수 있다.

1.  ML tool을 사용해서 복잡한 현상에 관련된 hidden variable을 찾는다. 이들은 Theory의 성분이 된다
2.  리서처는 Structual statement를 통해 hidden variable들을 잇는 Theory를 만든다.
     (Structural statement는 특정한 인과관계에 대한 가설들로 이루어진 system of equation이라고 보면 된다)
3. Theory는 1단계에서 ML에 의해서 예측된 observation들을 포함하는 넓은 범위의 Testable Implication들이다.
    좋은 Theory는
      1) out-of-sample에서의 예측력이 좋고,
      2) x가 y를 야기한다[ x->y ]  뿐만 아니라 y가 아닌것은 x가 없기 때문이다 [ ~y->~x ] 를 잘 설명한다.

기존의 경제학 이론들은 종종 'facts with unknown truth value'에 근거한다는 비판을 받는데, 위 과정에서 설명된 것처럼 ML은  specification을 찾는 과정과, 관련있는 variable을 찾는 과정을 분리시키는데에 큰 역할을 한다. 

 

ML을 통해 Theory가 정립되고 나면 ML을 통해서 사회현상을 예측하는 것이 아니라 Theory를 통해서 예측하면 되는 것이다

비록 Theory를 찾는데 ML이 적용되었지만 실제 예측과정에서 ML은 역할이 없다

(ML로 예측을 할 수는 있지만 그런 전략의 Capa는 굉장히 낮을 것이다)

 

---

Financial Theory를 만들기 위한 ML 방법론 가이드

Financial Theory를 위한 빌딩블록1 : 어떤 변수들이 다른 변수들과 어떤관계에 있는가에 관한 데이터 수집 

S2 : Covariance Matrix / Denoising & Detoning /

S3 :  Similarity / Distance / Dependence / Modeling non linear relationship

Financial Theory를 위한 빌딩블록2 : Unsupervised Learning [ 클러스터링 ] 

S4 : Optimual Clustering

 

Financial Theory를 위한 빌딩블록3 : Supervised Learning [ 라벨링 ] 

S5 : Labeling

Financial Theory를 위한 빌딩블록4 : 현상에 포함된 변수들을 찾아내기

S6 : Feature Importance