종목이 아니라 규칙을 검증한다

이 장에서 이 철학은 다른 여섯과 결정적으로 갈라진다. 나머지는 모두 개별 종목을 뜯어보며 검증하지만, 이 철학은 개별 종목을 검증하지 않는다. 종목 하나를 들여다보는 순간 '이건 좀 이상한데' 하는 사람이 끼어들고, 사람이 들어오면 감정을 배제하겠다는 1장의 전제가 그 자리에서 무너지기 때문이다.

그래서 검증 대상은 종목이 아니라 규칙 자체다. 규칙을 아주 긴 기간에 걸쳐 돌려 보고, 규칙을 만들 때 쓰지 않은 기간에서도 작동하는지 확인한다.

순위는 상위인데 딱 봐도 문제 있어 보이는 종목이 나와도 그 인상이 규칙을 이기지는 못한다. 예외를 한 번 허용하면 어디까지가 예외인지 정의할 수 없게 되고, 규칙의 기대수익은 애초에 그런 개별 오류까지 포함한 평균으로 계산되기 때문이다. 다만 회계 부정처럼 입력 데이터 자체가 거짓인 경우는 예외다. 그건 사람이 아니라 오염된 입력을 걷어내는 일이다.