표본이 작으면 한두 건이 비율을 크게 흔듭니다
몇 건의 설문 응답이나 일부 사례에서 뚜렷한 차이가 보이면 그 차이를 전체의 특성으로 설명하고 싶어집니다. 하지만 자료의 수가 적을수록 한두 건의 변화만으로 비율이 크게 달라집니다. 열 건 가운데 한 건이 바뀌어도 비율은 10퍼센트포인트 움직이는데, 이는 실제 경향과 상관없는 우연일 수 있습니다.
그래서 작은 자료를 다룰 때는 비율 앞에 응답 수와 선정 방식을 먼저 적습니다. 숫자를 읽는 사람이 자료가 어떤 질문에 답할 수 있는 규모인지 스스로 판단할 수 있게 하는 것이 보고하는 사람의 책임입니다.
비율만 쓰지 말고 실제 건수를 함께 적습니다
다섯 명 가운데 네 명이 같은 답을 했다면 80퍼센트라는 표기만으로는 규모를 짐작하기 어렵습니다. 몇 명 가운데 몇 명인지, 조사를 진행한 기간은 언제인지를 같이 써야 합니다. 이 두 가지가 빠지면 같은 80퍼센트라도 수백 건에서 나온 결과와 구분되지 않습니다.
응답자를 어떻게 모았는지도 확인합니다. 자발적으로 응답한 사람만 포함되었는지, 특정 채널이나 시간대에서만 모았는지에 따라 결과가 한쪽으로 기울 수 있습니다. 응답하지 않은 사람의 생각까지 이미 조사한 것처럼 추정하는 표현은 쓰지 않습니다.
비교하는 집단의 조건을 맞춰 봅니다
두 집단을 비교할 때는 두 집단이 비슷한 조건인지부터 살핍니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 차이가 질문이 아니라 집단의 특성에서 나왔을 수 있습니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 비율을 시간 순서로 이어 붙이기도 어렵습니다.
이런 한계가 있는 자료에서는 확정적인 순위를 매기기보다 관찰된 경향과 아직 확인해야 할 질문을 적는 편이 정확합니다. 순위를 먼저 내세우면 읽는 사람은 그것을 결론으로 받아들이기 쉽습니다.
그래프는 축과 단위를 정직하게 그립니다
시각 자료를 만들 때는 축의 범위와 단위를 확인합니다. 두 건과 세 건의 차이를 지나치게 벌어진 막대로 그리면 실제보다 큰 차이처럼 보입니다. 분모가 다른 비율을 나란히 놓는다면 각 집단의 실제 건수를 함께 밝혀야 합니다.
표 아래에는 누락된 응답을 제외했는지, 중복 선택이 가능했는지 같은 처리 방식을 한두 문장으로 적습니다. 이런 주석은 번거로워 보이지만 나중에 자료를 다시 볼 때 해석이 달라지는 일을 막아 줍니다.
결론에는 자료의 범위를 다시 적습니다
결론 문장에서는 "이번에 확인한 사례에서는"이라고 말할 수 있어도 "모든 고객은"이라고 단정할 근거는 부족할 수 있습니다. 자료가 말하지 않은 부분까지 확정적인 사실로 바꾸지 않아야 다음 의사결정에도 도움이 됩니다.
추가 조사를 계획한다면 어떤 집단과 기간을 보완할지 구체적으로 적습니다. 질문지와 포함 기준을 보관해 두면 다음 조사에서 같은 조건을 적용할 수 있고, 변화가 자료의 차이에서 온 것인지 방법의 차이에서 온 것인지 나누어 볼 수 있습니다. 작은 자료도 현장의 질문을 발견하는 데는 쓸모가 있으므로, 버리기보다 한계를 기록해 후속 확인에 쓰는 편이 유용합니다.
보고서에 넣을 간단한 표기 문장
작은 자료의 결과를 문서로 정리할 때는 몇 가지 정해진 문장을 쓰면 오해를 줄일 수 있습니다. 예를 들어 "조사 기간 동안 응답한 여섯 명 중 네 명이 해당 항목을 선택했다"처럼 건수와 기간을 먼저 쓰고, 뒤에 "이 결과는 응답자가 제한적이어서 전체 경향으로 해석하기 어렵다"는 한계 문장을 붙입니다. 이런 문장을 보고서 양식에 미리 넣어 두면 담당자가 바뀌어도 표기가 일정합니다.
또한 같은 주제로 후속 조사를 한다면 이번 결과와 직접 비교하지 말고, 방법이 같은지부터 확인합니다. 방법이 다르면 차이를 설명하기보다 두 결과를 나란히 소개하는 것이 정직한 서술입니다.
마지막으로 자료를 공유받는 사람이 비전문가라면 용어도 풀어 씁니다. 표본, 편향, 신뢰 구간 같은 말을 그대로 쓰기보다 응답한 사람이 몇 명인지, 어떤 사람들이 빠졌을 수 있는지 일상적인 표현으로 설명하면 같은 자료를 읽고도 해석이 갈리는 일이 줄어듭니다.
보고 자리에서 질문이 나올 때를 대비해 기초 자료의 원본 파일 위치도 문서에 적어 둡니다. 숫자의 출처를 바로 찾을 수 있어야 의견이 갈릴 때 같은 자료로 확인할 수 있습니다.