데이터 기반의 모델을 만들어 투자를 하다보면 때때로 전혀 어울리지 않을것 같은 우리 일상의 격언들이 가슴을 후벼파는 경우가 있다. 데이터에 기반한 알고리즘 트레이딩은 감정을 철저히 배제하고 오로지 데이터만 분석해 투자모델을 만드는 작업이다. 그러나 일상의 격언은 수학적 기법을 얘기하지도, 어떤 머신러닝 기법이 좋다는 것을 암시하지도 않는다.

하지만 시간이 흐르면서 때로는 일상 속의 한줄 격언이 백만건의 데이터 분석 결과보다 중요함을 자연스럽게 깨달았다.특히 “과정이 결과보다 중요하다"는 문장은 몇번의 시행착오를 겪으면서 중요성을 깨닫게 된, 잊지 못할 격언이다. 살아오면서 귀에 못이 박힐 정도로 많이 들었던, 이 평범하고도 일반적인 격언에는 매우 중요한 인사이트가 있다. 좀더 명확하게 말하면 알고리즘 트레이딩 모델의 성능을 평가하는 데 핵심적인 기준을 제시한다는 것이다.

필자는 요근래 몇년간 데이터에 기반한 알고리즘 트레이딩 모델을 만들어 직접 투자해왔다. 졸린눈을 비비면서 투자성과에 대한 두려움과 싸워가며 만든 투자모델을 현실에 적용해 성능을 평가하는 것은 매우 어렵고 지난한 과정이기도 하다. 투자모델은 과거의 데이터에 기반해 만들어지지만 현실 투자에 적용하는 순간 실시간 데이터들을 처리해 거래를 해야 한다.

금융에서 과거의 데이터와 미래의 데이터는 서로 다른 모습을 보인다. 설령 유사한 흐름을 보인다 하더라도 시간이 흐를수록 점점 다른 형태로 움직인다. 그렇기 때문에 트레이더는 항상 사용하고 있는 모델이 나를 기쁨에 밀어넣는지, 아니면 슬픔에 밀어넣는지 주시해야 한다.

그런데 문제는 모니터링이 그렇게 단순하지 않다는데 있다. 많은 사람들은 “모델 평가가 어렵다”는 필자의 의견에 “수익율에 따라 평가하면 간단한 것 아닌가”라고 생각할 것이다.

다음 두가지 경우를 비교해 보자.



       ●모델A : 수익율 : 15%

       ●모델B : 수익율 : 9%



둘 중 어느 모델이 더 나을까? 모델A의 수익율이 15%로 모델B보다 더 좋기 때문에 모델A가 더 좋은 모델이라고 딱 잘라 평가하기는 어렵다. 모델A의 수익율이 한두번의 고수익이 낳은 결과일수도 있기 때문이다. 즉 우연에 의해 만들어질 가능성을 배제할 수 없다. 우연에 의해 고수익을 낸 모델은 미래에 어떤 짓을 할지 모르기 때문에 의지할 수 없다.

수익율은 분명히 모델의 평가에 있어 중요한 기준이지만 이같은 이유로 과정을 더 중시하는 적중률(Hit Ratio)을 사용하는 경우도 많다. 적중률은 모델에 따라 거래를 했을 때 전체거래에서 수익을 발생시킨 비율을 나타낸다.



       ●적중률(Hit Ratio) = 수익회수/전체거래회수



예를 들어 적중률이 1이라는 것은 모든 거래에서 수익을 낸다는 것이고 0.4라면 10번 거래중에 4번의 거래에서 수익을 냈다는 것을 의미한다. 따라서 모델의 퍼포먼스를 측정하는데는 수익율보다 더 효과적이다.

앞의 경우를 수익율과 적중률이라는 도구를 동시에 표시해보자.



       ●모델A : 수익율 : 15%, 적중율 : 10%

       ●모델B : 수익율 : 9%, 적중율 : 55%



수익율만 봤을 때는 모델A가 우수해 보이지만 적중률 관점에서 보면 모델B가 압도적으로 훌륭하다. 모델A는 대부분의 거래에서 실패했지만 우연히 한두번의 거래로 많은 수익을 낸 것이고 모델B는 꾸준히 수익을 낼 수 있는 거래를 했다. 즉 모델B의 거래과정이 모델A의 거래과정보다 안정적이고 예측가능하다는 것을 알 수 있다. 투자는 알수없는 미래에 대한 과감한 베팅이고 이 베팅에서 어떤 것을 사용할지 결정할 때 거래과정이 좋은 모델B를 선택하는 것이 합리적 결정이다. 결과보다 과정을 중시하는 것은 평가뿐만 아니라 신뢰에도 역시 중요한 영향을 미친다.

투자모델은 수익과 손실이 반복된다. 수익이 연속으로 발생할 수도 있고 반대로 손실 기간이 지속될 수도 있다. 특히 손실이 지속된다면 트레이더는 고민에 빠지게 된다. 투자모델의 알파가 소멸한 것인지, 아니면 일시적인 현상인가를 고민하게 되는데 이때 적중율이 중요한 지표로 다시 등장한다. 적중율이 높은 모델에 대해서는 상대적으로 높은 신뢰도로 인해 참고 기다려줄 수 있지만 그렇지 않은 모델에 대해서는 냉정해지게 된다.

마치 그동안 시험성적이 좋았던 학생이 몇번의 시험을 망쳤다고 해서 해당 학생의 실력이 줄었다고 성급하게 평가하지 않는 것과 비슷하다. 축구 선수들의 기량을 표현하는 “폼은 일시적이지만 클래스는 영원하다”는 말도 같은 맥락이다. 역시, 결과보다는 과정이 중요하다.

[안명호 딥넘버스 대표]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]