목차
고민하게 되는 p-value
통계 분석을 마치고 가장 먼저 확인하게 되는 값이 p-value입니다.
p-value가 0.05보다 작으면 유의하다,크면 유의하지 않다. 이렇게 배운 경우가 많죠. 그래서 자연스럽게 “p-value만 보고 결론 내려도 되나?”라는 질문이 생깁니다.
결론부터 말하면, p-value만으로는 충분하지 않습니다.
그 이유를 본론에서 하나씩 살펴보겠습니다.
1. p-value는 ‘효과의 크기’를 말해주지 않는다
p-value는 관측된 결과가 우연일 가능성을 나타낼 뿐입니다.
즉, 차이가 존재하는지 여부만 말해줄 뿐, 그 차이가 얼마나 중요한지는 알려주지 않습니다.
표본 수가 매우 크면 실제로는 거의 의미 없는 차이도 유의하게 나올 수 있습니다.
반대로 효과는 꽤 큰데 표본 수가 적어 유의하지 않게 나올 수도 있습니다.
그래서 p-value만 보고 결과의 중요성을 판단하는 것은 위험합니다.
2. 연구 맥락과 함께 해석되어야 한다
같은 p-value라도 연구 주제와 맥락에 따라 의미는 달라집니다.
이론적으로 중요한 변수인지, 선행연구와 일관된 결과인지가 함께 고려되어야 합니다.
통계적으로 유의하더라도 연구 질문과 연결되지 않으면 해석이 약해집니다.
반대로 유의하지 않더라도 연구적으로 의미 있는 시사점을 줄 수 있습니다.
p-value는 맥락 속에서 해석될 때 비로소 의미가 있습니다.
3. 다른 지표들과 함께 봐야 한다
p-value는 효과크기(effect size), 신뢰구간, 기술통계와 함께 보는 것이 기본입니다.
효과크기는 결과가 실제로 얼마나 큰 영향을 가지는지를 보여줍니다.
신뢰구간은 추정값의 불확실성을 함께 전달해 줍니다.
이 지표들을 함께 보면 결과를 훨씬 입체적으로 설명할 수 있습니다.
p-value는 여러 지표 중 하나의 참고 자료일 뿐입니다.
p-value는…
p-value는 중요한 정보이지만, 결론을 대신해 주지는 않습니다.
효과의 크기, 연구 맥락, 다른 통계 지표들과 함께 해석해야 연구의 설득력이 생깁니다.
“유의하다/유의하지 않다”로 끝나는 분석은 독자를 설득하기 어렵습니다.
p-value는 출발점이지, 결론 그 자체는 아니라는 점을 기억하면 좋겠습니다.
