논문을 쓰다 보면
가끔 이런 결과를 만나게 됩니다.
✔ p < .001
✔ 가설 채택
✔ 통계적으로 유의
결과만 보면 완벽해 보입니다.
그래서 많은 대학원생들이
“좋은 결과가 나왔네!”라고 생각합니다.
그런데 교수님들은 가끔 이런 질문을 합니다.
“그래서 이게 실제로 중요한 결과인가요?”
처음에는 이해가 잘 되지 않습니다.
유의한데 왜 중요한 게 아닐 수 있을까요?
1️⃣ 유의성은 ‘존재 여부’를 알려줍니다
먼저 p값이 무엇인지 생각해볼 필요가 있습니다.
통계적으로 유의하다는 것은
👉 우연히 나타났을 가능성이 낮다는 의미입니다.
즉, “어떤 관계가 존재한다”는 사실을 보여주는 것입니다.
하지만 유의성은 여기까지만 알려줍니다.
2️⃣ 영향력이 작은데도 유의할 수 있습니다
생각보다 많이 발생하는 상황입니다.
예를 들어
어떤 프로그램 참여 여부가
만족도에 영향을 준다고 가정해보겠습니다.
결과
β = .03
p < .001
통계적으로는 유의합니다.
하지만 영향력은 매우 작습니다.
실제로는
프로그램 참여 여부가
만족도에 거의 영향을 주지 않는 수준일 수도 있습니다.
3️⃣ 표본 수가 많으면 더 쉽게 유의해집니다
이 부분은 많은 대학원생들이 놓칩니다.
예를 들어
응답자 50명과
응답자 5,000명은 다릅니다.
표본 수가 매우 많아지면
아주 작은 차이도
통계적으로 유의하게 나올 수 있습니다.
즉, 유의성은 확보했지만
실질적인 의미는 크지 않을 수 있습니다.
그래서 연구에서는
p값만 보는 것이 아니라
효과크기(effect size)도 함께 확인합니다.
4️⃣ 현실에서는 ‘얼마나 큰가’가 더 중요할 수도 있습니다
예를 들어
광고 만족도가 4.01점에서
4.05점으로 증가했다고 가정해보겠습니다.
통계적으로는 유의
p < .05
하지만 실제 기업 입장에서는 어떨까요?
광고비를 수천만 원 더 썼는데
만족도가 0.04점 상승했다면
실질적인 효과는 크지 않을 수 있습니다.
즉,
통계적으로 유의한 것과
실제로 의미 있는 것은
다른 문제입니다.
5️⃣ 그래서 효과크기가 중요합니다
좋은 연구자들은
유의성만 보지 않습니다.
함께 보는 것이 있습니다.
👉 효과크기
👉 설명력(R²)
👉 실제 변화량
👉 현실적 의미
왜냐하면
연구의 목적은
유의한 결과를 찾는 것이 아니라
의미 있는 결과를 찾는 것이기 때문입니다.
6️⃣ 교수님들이 자주 지적하는 부분도 이것입니다
가끔 논문을 보면
p값 이야기만 계속 나옵니다.
“유의하게 나타났다.”
“통계적으로 유의하였다.”
“가설이 채택되었다.”
그런데
왜 중요한지
어떤 의미가 있는지
현실에서 어떤 변화가 생기는지는
설명하지 않습니다.
그래서 교수님들이
“그래서 이 결과가 왜 중요한가요?”
라고 묻는 것입니다.
7️⃣ 좋은 논문은 의미를 설명합니다
좋은 논문은
유의성에서 멈추지 않습니다.
왜 중요한지
누구에게 의미가 있는지
실제 현장에서는 어떻게 활용될 수 있는지
설명합니다.
결국 독자가 궁금한 것은
p값이 아니라
그 결과가 의미하는 바입니다.
🔥 핵심 정리
통계적으로 유의하다는 것은
👉 “관계가 존재한다”를 의미합니다.
하지만
👉 “중요하다”를 의미하는 것은 아닙니다.
좋은 연구자는
유의성을 확인한 뒤
그 결과가 얼마나 의미 있는지까지 설명합니다.
📌 이렇게 보면 됩니다
✔ p값 → 관계 존재 여부
✔ 효과크기 → 영향력 크기
✔ 설명력 → 모델 설명 정도
✔ 현실적 의미 → 실제 활용 가능성
👉 유의성은 시작점일 뿐입니다.
👀 많이 틀리는 포인트
p값만 보기 ❌
효과크기 무시 ❌
가설 채택에만 집중 ❌
현실적 의미 설명 안 하기 ❌
유의성 = 중요성으로 해석하기 ❌
👉 좋은 논문은
“유의한 결과를 보여주는 논문”이 아니라
“왜 그 결과가 중요한지 설명하는 논문”입니다.
