알파트로스

상관관계는 랜덤 변수 간의 선형적 종속성을 측정하는 데 유용하지만, 비선형 관계에서는 적절하지 않을 수 있다. 선형적 종속성을 위한 거리 측정 방법으로는 $d_{\rho}[X, Y] = \sqrt{\frac{1}{2}(1 - \rho[X, Y])}$ 또는 $d_{|\rho|}[X, Y] = \sqrt{1 - |\rho[X, Y]|}$ 등이 있다. 그러나 비선형 관계에서는 Variation of Information, VI이 더 적합한 거리 측정 방법입니다. 이는 함수적 가정을 필요로 하지 않으며, ML 알고리즘과 함께 사용하기에 유리하다

이전 섹션에서는 랜덤 변수 간의 유사성을 평가하는 방법을 다루었으며, 이 개념을 동일한 데이터 집합의 두 분할을 비교하는 문제로 확장할 수 있다. 이를 통해 두 분할이 얼마나 유사한지 또는 다른지를 평가할 수 있다.ex)포트폴리오의 자산들을 리스크 특성에 따라 여러 그룹으로 나눌 때, 두 개의 서로 다른 리스크 클러스터링 방법을 비교하는 데 사용된다. 예를 들어, 특정 알고리즘을 사용하여 자산을 클러스터링하고, 다른 알고리즘의 결과와 비교하여 어느 방법이 더 일관된 클러스터를 만드는지 평가할 수 있다.Partition $P$ 데이터 셋 $D$의 분할 $P$는 상호 배타적이고 비어 있지 않은 부분 집합들의 정렬되지 않은 집합이다   $$P = \{D_k\}_{k=1, ..., K}$$ ..

Information-Theoretic Association(정보-이론적 연관성)은 금융 데이터 분석 및 머신 러닝에서 상관 계수의 한계를 극복하는 데 중요한 역할을 한다.이 섹션에서는 주요 정보 이론 개념인 Entropy 와 Joint Entropy, Conditional Entropy Kullback-Leibler (KL) Divergence, Cross Entropy, Mutual Information, Variation of Information에 대해 설명한다MethodologySymmetryMetricClusteringReasonEntropyYesNoNo엔트로피는 변수 간의 관계가 아닌 단일 변수의 불확실성을 측정한다.Joint EntropyYesNoNo결합 엔트로피는 두 변수의 결합된 불확실..

2장에서 살펴봤듯 correlation은 어쨌든 매우 유용한 measure of linear codependence이다 하지만 metric이 아니다비음수성(nonnegativity) 과 삼각 부등식(triangle inequality) 조건을 만족하지 않기 때문상관 계수는 -1에서 1 사이의 값을 가진다. 따라서 비음수성 조건 $\rho[X, Y] \geq 0$을 만족하지 않는다상관 계수는 삼각 부등식 $\rho[X, Z] \leq \rho[X, Y] + \rho[Y, Z]$을 만족하지 않는다.non-metric 측정 방법을 사용하여 데이터를 분석하면 일관되지 않은 결과를 초래할 수 있다예시: 상관 계수 (0.9, 1.0)와 (0.1, 0.2)의 차이는 동일하지만, 전자는 후자보다 더 큰 연관성 ..

Pearson Correlation가장 널리쓰이는 두 random variable 간의 선형적 연관성을 정량화하는 방법이다  $$\rho[X, Y] = \frac{\sigma[X, Y]}{\sigma[X]\sigma[Y]}$$ Requirements : $\sigma[X, Y] = \rho[X, Y]\sigma[X]\sigma[Y]$이 요구 조건은 두 변수 간의 공분산이 상관 계수와 두 변수의 표준 편차의 곱과 같아야 한다는 것을 의미한다. 이는 두 변수 간의 선형 관계를 나타내는 중요한 수식이다많은 금융 관계가 비선형적이기 때문에 상관관계가 이를 인식하지 못한다이상치에 크게 영향을 받아 결과가 왜곡될 수 있다.상관관계는 다변량 정규 분포를 벗어나면 의미가 없을 수 있다 NON-LINEAR general..