HOME / TOPIC / SMP

경기 수가 적을 때 숫자가 만들어 내는 착시

표본이 작다는 말은 자료가 부족하다는 뜻만이 아닙니다. 부족한 만큼 우연이 크게 들어와 실력처럼 보인다는 뜻입니다.

적은 경기 수가 만드는 흔들림

동전을 열 번 던져 앞면이 일곱 번 나오는 일은 드물지 않습니다. 그런데 천 번을 던져 앞면이 칠백 번 나오면 그 동전은 정상이 아닙니다. 같은 비율인데도 판단이 달라지는 이유는 던진 횟수가 다르기 때문입니다. 경기 기록도 똑같습니다.

경기 수가 적으면 값이 흔들리는 폭이 커집니다. 실력이 전혀 바뀌지 않아도 다섯 경기 성적은 오르내립니다. 이 흔들림을 흐름이라고 부르기 시작하면 없는 이야기가 만들어집니다. 표본이 작을 때 가장 먼저 할 일은 해석을 미루는 것입니다.

SHORT05다섯 경기 구간은 방향이 쉽게 뒤집혀 경향이라고 부르기 어렵습니다
MID15열다섯 경기쯤 되면 큰 방향은 보이지만 세부 항목은 아직 흔들립니다
LONG30서른 경기를 넘어서면 값이 비교적 자리를 잡습니다

위 숫자는 흔히 참고선으로 드는 눈금이며 종목과 항목에 따라 달라집니다. 정해진 기준은 아닙니다.

중요한 것은 특정 숫자를 외우는 일이 아니라 구간을 늘렸을 때 값이 어떻게 변하는지 확인하는 습관입니다. 구간을 두 배로 늘렸는데 값이 크게 달라진다면 그 값은 아직 방향을 말할 수 있는 상태가 아닙니다.

연승과 연패는 왜 그렇게 커 보이는가

다섯 경기를 연달아 이긴 팀을 보면 무언가 달라졌다고 느낍니다. 그런데 승률이 절반인 팀도 시즌 동안 다섯 연승을 한 번쯤 하는 일은 그리 이상하지 않습니다. 긴 시즌 안에는 연속된 구간이 아주 많이 들어 있고, 그중 하나가 우연히 길게 이어지는 것은 충분히 일어납니다.

연속 기록을 볼 때 먼저 물어야 할 것

연승 자체보다 그 구간에서 내용이 달라졌는지를 봐야 합니다. 상대가 약했는지, 슈팅 대비 득점이 유난히 높았는지, 주전이 돌아왔는지 같은 항목이 함께 움직였다면 설명이 붙습니다. 아무것도 달라지지 않았는데 결과만 이어졌다면 그것은 흐름이 아니라 구간일 가능성이 큽니다.

  • 연승 구간에서 만난 상대의 평균 수준을 확인한다
  • 득점 외에 과정 지표도 같이 올라갔는지 본다
  • 직전 구간과 견줘 출전 명단이 달라졌는지 본다
  • 연승 앞뒤 구간까지 포함해 다시 계산해 본다

조건을 잘라 내면 표본은 순식간에 작아진다

통계를 그럴듯하게 만드는 가장 쉬운 방법은 조건을 붙이는 것입니다. 홈경기에서, 비가 오는 날, 특정 상대를 만났을 때처럼 조건을 하나씩 붙일 때마다 남는 경기 수는 빠르게 줄어듭니다. 조건이 세 개쯤 붙으면 남는 경기는 손에 꼽을 정도가 됩니다.

조건을 붙일수록 남는 경기 수가 줄어드는 모습

  • 조건 없음100시즌 전체 경기를 모두 사용하는 상태입니다
  • 조건 한 개52홈경기만 보는 식으로 한 번 자르면 절반 안팎이 남습니다
  • 조건 두 개24여기에 상대 순위대를 더하면 다시 절반 아래로 떨어집니다
  • 조건 세 개9남은 경기가 열 경기 밑으로 내려가면 값은 거의 우연에 가깝습니다

위 비율은 조건이 붙을 때 표본이 어떻게 줄어드는지 보여 주려고 그린 예시이며 실제 리그 수치가 아닙니다. 요점은 분명합니다. 조건이 많이 붙은 통계일수록 뒤에 남은 경기 수를 반드시 확인해야 한다는 것입니다. 경기 수를 적지 않은 조건부 통계는 크기를 알 수 없는 그릇과 같습니다.

조건부 통계를 만났을 때

  • 조건 뒤에 남은 경기 수가 적혀 있는지 먼저 본다
  • 같은 조건을 다른 팀에도 적용했을 때 비슷한 결과가 나오는지 본다
  • 조건을 하나 빼면 결론이 유지되는지 확인한다
  • 경기 수가 열 건 아래라면 방향만 참고하고 결론으로 쓰지 않는다

올라간 값은 대체로 제자리로 돌아온다

유난히 좋았던 구간 뒤에는 평범한 구간이 오는 경우가 많습니다. 실력이 떨어져서가 아니라 앞의 구간이 평소보다 좋았기 때문입니다. 이 성질을 모르면 좋은 구간 뒤의 평범한 결과를 부진이라고 부르게 되고, 그 판단으로 다음 예상을 또 틀리게 됩니다.

반대 방향도 같습니다. 나쁜 구간 뒤에는 대체로 조금 나아진 구간이 옵니다. 이때 무엇이 달라졌다고 설명을 붙이기 쉬운데, 아무것도 달라지지 않았어도 같은 일이 일어납니다. 설명을 붙이기 전에 이 성질을 먼저 빼 보는 습관이 필요합니다.

되돌아감을 실력 변화와 갈라 보는 방법

과정 지표가 함께 움직였는지를 보면 됩니다. 결과만 좋아졌다가 돌아온 것이라면 과정 지표는 내내 비슷했을 것입니다. 반대로 과정 지표까지 함께 올라갔다가 유지되고 있다면 그때는 실제로 무언가 달라졌을 가능성이 큽니다. 결과보다 과정이 먼저 움직이는 경우가 많다는 점도 함께 기억해 두면 좋습니다.

토토사이트 글에서 작은 표본을 가려내는 법

토토사이트라는 이름을 단 글에 실린 통계 가운데 상당수는 표본이 작습니다. 표본이 작아야 값이 커 보이고 값이 커 보여야 눈길을 끌기 때문입니다. 작은 표본은 의도적으로 숨기기 쉽고 읽는 쪽에서는 알아차리기 어렵습니다.

화면에 적힌 문구숨어 있을 수 있는 상태확인할 항목
최근 흐름이 좋다다섯 경기 안팎만 본 상태구간 길이와 시작 시점
특정 조건에서 강하다조건을 붙여 표본이 줄어든 상태조건 뒤에 남은 경기 수
적중률이 높다유리한 기간만 골라 센 상태집계 시작일과 빠진 건
상대 전적이 우세하다오래된 경기까지 끌어온 상태몇 년치를 묶었는지
지표가 리그 상위권이다출전 시간이 짧은 표본누적 출전 시간과 경기 수

표를 외울 필요는 없습니다. 어떤 수치를 보든 뒤에 몇 건이 있는지를 묻는 습관 하나면 대부분 걸러집니다. 그 질문에 답이 적혀 있지 않은 글은 읽는 사람을 신뢰하지 않는 글이고, 그런 글의 결론까지 신뢰할 이유는 없습니다.

골라낸 결과만 남기면 표본은 사라진다

작은 표본보다 더 다루기 어려운 것이 골라낸 표본입니다. 여러 번 시도한 것 가운데 잘된 것만 남기면 남은 기록은 실제보다 훨씬 좋아 보입니다. 이때 표본의 크기는 줄어든 것이 아니라 아예 사라진 것에 가깝습니다. 몇 번을 시도했는지 알 수 없기 때문입니다.

이 문제는 예상 글에서 자주 나타납니다. 여러 경기를 두고 예상을 내놓은 다음 맞힌 것만 모아 보여 주면 적중률은 얼마든지 높아집니다. 빗나간 예상이 몇 건이었는지 밝히지 않으면 그 적중률은 계산된 값이 아니라 고른 값입니다.

PICKED

  • 맞힌 사례만 모아 둔 목록
  • 시작일을 밝히지 않은 성적표
  • 지운 기록이 있는지 알 수 없는 표

WHOLE

  • 시작일부터 모든 건을 이어 적은 기록
  • 빗나간 건도 같은 칸에 남긴 기록
  • 수정한 판단은 이유까지 덧붙인 기록

오른쪽처럼 기록하면 성적은 낮아 보입니다. 대신 그 숫자는 실제로 쓸 수 있습니다. 자기 판단을 개선하려는 사람에게 필요한 것은 보기 좋은 숫자가 아니라 흔들리지 않는 숫자입니다.

표본이 모자랄 때 대신 할 수 있는 일

표본이 부족하다고 해서 아무 말도 할 수 없는 것은 아닙니다. 결론의 강도를 낮추고 범위를 넓히면 작은 표본으로도 쓸 만한 문장을 만들 수 있습니다. 문제는 표본이 작은데 결론만 크게 말할 때 생깁니다.

  1. 상위 범주로 묶는다특정 선수의 기록이 모자라면 같은 역할을 맡은 선수들의 기록으로 묶어 대략의 눈금을 잡습니다.
  2. 기간을 넓힌다이번 시즌만으로 부족하면 지난 시즌을 함께 보되 규칙이나 구성이 바뀐 지점을 표시해 둡니다.
  3. 방향만 말한다값을 단정하는 대신 늘어나는 쪽인지 줄어드는 쪽인지만 적어 두어도 다음 판단에 쓰입니다.
  4. 판단을 미룬다아직 말할 수 없다고 적어 두는 것도 결론입니다. 빈칸을 남겨 두면 나중에 채울 수 있습니다.

네 가지 모두 숫자를 크게 만들어 주지는 않습니다. 대신 틀렸을 때 회수해야 할 것을 작게 만들어 줍니다. 기록을 오래 다루다 보면 맞히는 횟수보다 크게 틀리지 않는 쪽이 더 중요하다는 사실이 분명해집니다. 표본을 존중한다는 것은 결국 자기 결론의 크기를 자료에 맞춰 줄인다는 뜻입니다.

NEXT

같은 갈래에 놓인 다음 문서입니다. 한 편만 읽고 결론을 내리기보다 옆 문서를 겹쳐 보면 판단의 폭이 좁아집니다.

스포조이 첫 화면으로