통계 분석을 마치고 결과를 정리하다 보면
한 번쯤 이런 질문에 부딪히게 됩니다.
p값은 유의하게 나왔는데,
효과크기도 써야 할까요?
주변에서는 이렇게 말하기도 합니다.
“요즘은 효과크기 꼭 본대.”
“안 쓰면 심사에서 걸릴 수도 있어.”
그 말을 들으면 괜히 불안해집니다.
이미 분석은 끝났는데,
뭔가 빠뜨린 것 같은 느낌이 들기 때문입니다.
효과크기를 들으면 왜 이렇게 부담스러울까요?
많은 대학원생들이
효과크기를 어려워하는 이유는 비슷합니다.
- p값은 익숙한데, 효과크기는 낯설고
- 종류도 많고, 기준도 헷갈리고
- 무엇을 어디에 어떻게 써야 할지 감이 안 오기 때문입니다
그래서 효과크기는
“알아야 할 것 같긴 한데, 손대기 무서운 개념”이 되기 쉽습니다.
1️⃣ 효과크기는 무엇을 말해주는 지표일까요?
효과크기는 간단히 말하면
“차이나 관계가 얼마나 큰지”를 보여주는 지표입니다.
p값이 “이 결과가 우연일 가능성이 낮은가?” 를 묻는다면,
효과크기는 “그래서 그 차이가 실제로 얼마나 의미 있는가?” 를 묻습니다.
즉, 효과크기는 p값을 대체하는 것이 아니라,
p값을 보완하는 역할을 합니다.
2️⃣ p값만 있으면 정말 부족할까요?
p값만으로도
분석 자체가 틀렸다고 말할 수는 없습니다.
실제로도
많은 논문에서 p값 중심으로 결과를 제시합니다.
하지만 이런 상황은 자주 생깁니다.
- 표본 수가 커서 작은 차이도 유의하게 나올 때
- 통계적으로는 유의하지만, 실제 차이는 미미할 때
이럴 때 효과크기는
결과를 과장하지 않도록 균형을 잡아주는 역할을 합니다.
3️⃣ 그럼 효과크기는 꼭 써야 할까요?
결론부터 말하면,
항상 ‘무조건’ 써야 하는 것은 아닙니다.
하지만 다음과 같은 경우라면
효과크기를 함께 제시하는 것이 도움이 됩니다.
- 집단 간 차이를 강조하는 연구
- 표본 수가 큰 연구
- “의미 있다”는 표현을 쓰고 싶은 경우
즉, 효과크기는 필수 규칙이라기보다는
설명을 보완하는 도구에 가깝습니다.
4️⃣ 안 쓰면 문제가 되는 경우는 언제일까요?
효과크기를 쓰지 않았다고 해서
바로 문제가 되는 경우는 많지 않습니다.
다만 이런 상황에서는
지적을 받을 가능성이 있습니다.
- 결과를 강하게 해석하면서 근거가 부족할 때
- p값만으로 과도한 결론을 내릴 때
- 실질적 의미를 묻는 질문에 답이 어려울 때
이 경우, 효과크기를 제시하지 않은 것보다
왜 그 결과가 의미 있다고 판단했는지 설명하지 못하는 점이
문제가 되는 경우가 많습니다.
5️⃣ 효과크기를 쓰는 진짜 이유
효과크기를 쓰는 이유는
연구를 더 복잡하게 만들기 위해서가 아닙니다.
- 결과를 더 솔직하게 보여주기 위해
- 차이가 ‘있다’는 말의 무게를 조절하기 위해
- 독자가 결과를 판단할 여지를 주기 위해
효과크기는 연구 결과에 현실적인 맥락을 덧붙여주는 역할을 합니다.
☝️ 정리
- 효과크기는 p값을 대체하는 지표가 아닙니다.
- 항상 무조건 써야 하는 필수 요소는 아닙니다.
- 결과 해석을 보완하고 싶을 때 유용한 도구입니다.
- 중요한 것은 수치를 나열하는 것이 아니라, 의미를 설명하는 것입니다.
통계에서 막히는 순간들은
새로운 지표를 몰라서라기보다는,
이미 나온 결과를 어떻게 설명해야 할지 확신이 없을 때
찾아오는 경우가 많습니다.
이 단계에서 많은 대학원생들이 비슷한 생각을 합니다.
- p값은 나왔는데, 이걸로 충분한지 모르겠고
- 뭔가 더 써야 할 것 같은데, 괜히 복잡해질까 걱정되고
- ‘괜히 건드렸다가 더 망가질까’ 망설이게 되는 상태
그래서 이런 말이 나옵니다.
“효과크기까지 꼭 봐야 하나요?”
혹시 지금 이 고민을 하고 계신가요?
그렇다면,
통계를 못해서 생긴 문제가 아니라
연구 결과를 어떻게 전달할지 고민하는 단계에 와 있는 것일지도 모릅니다.
효과크기는
연구를 평가하기 위한 부담이 아니라,
연구를 더 정확하게 전달하기 위한 선택지입니다.
