논문을 쓰다 보면 이런 상황이 나옵니다.
- p = 0.049 → 유의
- p = 0.051 → 유의하지 않음
숫자 차이는 0.002뿐인데
논문에서는 “채택”과 “기각”으로 나뉩니다.
이게 정말 그렇게 큰 차이일까요?
결론부터 말씀드리면,
통계적으로는 기준이 있지만, 실질적으로는 거의 차이가 없습니다.
1️⃣ p값은 연속적인 값입니다
p값은 0과 1 사이의 연속적인 확률 값입니다.
0.049와 0.051 사이에는 본질적인 단절이 존재하지 않습니다.
0.049는 “맞고”
0.051은 “틀렸다”는 식의 구분은
사실상 연구 관행에서 정한 기준선(α = .05) 때문입니다.
즉,
0.05는 자연법칙이 아니라 약속된 기준입니다.
2️⃣ 경계값에 걸렸다면 이렇게 보셔야 합니다
p = 0.051이 나왔다면
그 관계가 “전혀 없다”고 보기 어렵습니다.
다음 사항을 함께 확인해보셔야 합니다.
- 효과크기(effect size)는 어느 정도인가?
- 표본 수는 충분한가?
- 검정력(power)은 적절한가?
- 신뢰구간은 0을 크게 벗어나는가?
특히 효과크기가 의미 있는 수준이라면
이 결과는 단순히 “통계적 검정력 부족”일 수 있습니다.
3️⃣ 실제로는 이렇게 해석하는 것이 더 안전합니다
p값이 경계에 있을 경우
이처럼 표현하는 것이 좋습니다.
“통계적으로 엄격한 기준(α = .05)에서는 유의하지 않았으나, 경향성 있는 결과가 나타났다.”
또는
“효과크기를 고려할 때, 해당 변수의 영향 가능성을 완전히 배제하기는 어렵다.”
과장하지 않되,
무시하지도 않는 태도가 중요합니다.
4️⃣ p값 하나에 모든 판단을 맡기지 마십시오
p값은
“데이터가 우연일 가능성”을 보여주는 지표일 뿐입니다.
연구의 가치는 다음 요소들이 함께 결정합니다.
- 효과의 방향
- 효과의 크기
- 이론적 타당성
- 모형 설명력
- 반복 가능성
0.049라고 해서 자동으로 좋은 연구가 되는 것도 아니고,
0.051이라고 해서 자동으로 실패하는 것도 아닙니다.
5️⃣ 중요한 것은 일관성과 맥락입니다
만약 여러 분석에서
일관되게 비슷한 방향의 결과가 나온다면
p값이 약간 경계를 넘었다고 해서
그 의미가 사라지지는 않습니다.
반대로
p값 하나만 겨우 .049로 나왔다면
그 결과를 과신하는 것도 위험합니다.
정리
0.049와 0.051의 차이는
통계적 기준선 때문이지,
현상의 본질적 차이 때문은 아닙니다.
연구자는 숫자에 끌려가기보다
숫자의 맥락을 해석해야 합니다.
논문은
기준선 아래에 들어왔는지를 자랑하는 글이 아니라,
데이터가 무엇을 말하는지 설명하는 글입니다.
