논문 분석을 하다 보면
가장 아쉬운 순간 중 하나가 있습니다.
결과를 확인했는데
👉 p = .051
이 나온 경우입니다.
0.05보다 딱 0.001 높을 뿐인데
많은 대학원생들이 이렇게 생각합니다.
“끝났다…”
“유의하지 않네…”
“가설 기각인가…”
실제로 논문을 쓰다 보면
p=.049와
p=.051은
느낌이 완전히 다르게 다가옵니다.
그런데 정말
0.001 차이 때문에
한 결과는 의미 있고
다른 결과는 의미가 없는 걸까요?
1️⃣ p값은 ‘통과’와 ‘실패’를 나누는 점수가 아닙니다
많이 하는 오해입니다.
p값이 0.049면
좋은 결과
p값이 0.051이면
나쁜 결과
이렇게 생각하는 경우가 많습니다.
하지만 실제로
두 결과는 거의 차이가 없습니다.
0.049와 0.051 사이에는
엄청난 벽이 존재하는 것이 아닙니다.
단지 연구자가 정한 기준선 근처에 있는 결과일 뿐입니다.
2️⃣ 유의수준 0.05는 절대적인 숫자가 아닙니다
생각보다 많은 분들이
0.05를 절대 규칙처럼 생각합니다.
하지만
0.05는 자연의 법칙이 아닙니다.
연구자가
“이 정도면 우연일 가능성이 충분히 낮다”
고 판단하기 위해
관습적으로 사용하는 기준에 가깝습니다.
즉,
0.051이 나왔다고 해서
갑자기 의미가 사라지는 것은 아닙니다.
3️⃣ 그래서 연구자들은 결과를 함께 봅니다
실제로는
p값 하나만 보고 판단하지 않습니다.
✔ 효과크기
✔ 방향성
✔ 표본 수
✔ 기존 연구 결과
✔ 이론적 타당성
이런 요소들을 함께 확인합니다.
예를 들어
p=.051인데
효과크기가 크고
기존 연구와 방향도 같다면
충분히 논의할 가치가 있는 결과일 수 있습니다.
4️⃣ 오히려 표본 수의 영향일 수도 있습니다
이 부분은 많은 대학원생들이 놓칩니다.
예를 들어
현재 p=.051이 나왔더라도
응답자가 조금만 더 많았다면
p=.049가 되었을 가능성도 있습니다.
실제로 p값은
효과의 크기뿐 아니라
표본 수의 영향도 받습니다.
그래서 표본 수가 적은 연구에서는
실제로 관계가 존재하더라도
유의성이 확보되지 않는 경우가 종종 발생합니다.
즉,
유의하지 않다고 해서
관계가 없다고 단정할 수는 없습니다.
5️⃣ 그렇다고 억지 해석은 위험합니다
여기서 또 다른 실수가 나옵니다.
p=.051
↓
“거의 유의하다”
↓
“사실상 유의하다”
↓
“유의한 것으로 보겠다”
❌ 이건 조심해야 합니다.
유의하지 않은 결과를
유의한 것처럼 해석하면
오히려 연구 신뢰도가 떨어질 수 있습니다.
좋은 연구자는
결과를 바꾸지 않습니다.
대신 결과를 이해하려고 노력합니다.
6️⃣ 중요한 건 ‘왜 이런 결과가 나왔는가’입니다
좋은 논문은
p값에서 멈추지 않습니다.
왜 유의하지 않았는지,
왜 방향성은 예상과 같았는지,
왜 효과는 있는데 통계적으로 부족했는지,
이런 부분을 함께 고민합니다.
오히려 이런 고민이
논문의 논의(Discussion)를 더 풍부하게 만들어주기도 합니다.
결국 연구자는
숫자를 만드는 사람이 아니라
숫자를 해석하는 사람입니다.
7️⃣ 교수님들이 보는 것도 사실 이 부분입니다
교수님들은
p=.049인지
p=.051인지보다
다른 것을 보는 경우가 많습니다.
👉 결과를 이해하고 있는가
👉 해석이 논리적인가
👉 연구 맥락을 설명하는가
👉 한계를 제대로 인식하고 있는가
그래서 p=.051이 나왔더라도
결과에 대한 이해와 해석이 탄탄하다면
충분히 좋은 평가를 받을 수 있습니다.
📌 이렇게 보면 됩니다
✔ p=.049 → 유의
✔ p=.051 → 비유의
✔ 하지만 두 결과 차이는 매우 작음
✔ 효과크기와 연구 맥락도 함께 고려
✔ p값 하나만으로 결론 내리면 위험
👀 많이 틀리는 포인트
0.05만 보기 ❌
p값만 보고 연구 평가하기 ❌
효과크기 무시 ❌
유의하지 않다고 해석 포기 ❌
유의하지 않은 결과를 억지로 유의하다고 주장하기 ❌
👉 좋은 연구자는
“p값을 보는 사람”이 아니라
“p값 뒤에 있는 의미를 읽는 사람”입니다.
