논문을 작성하면서 통계분석을 마쳤는데
예상했던 결과가 나오지 않는 경우가 있습니다.
분명 선행연구를 바탕으로
독립변수와 종속변수의 관계를 예상했지만,
실제 분석에서는 통계적으로 유의하지 않거나
예상과 반대 방향의 결과가 나타나는 것입니다.
이럴 때 연구자는 고민하게 됩니다.
“가설이 기각됐는데 논문에 문제가 생기는 건 아닐까?”
“분석 결과에 맞게 가설을 수정하면 안 될까?”
“처음부터 이렇게 예상했다고 작성하면 더 자연스럽지 않을까?”
특히 논문을 완성해야 하는 상황에서는
분석 결과에 맞춰 가설을 정리하고 싶은 마음이
생길 수도 있습니다.
하지만 분석 결과를 확인한 뒤
가설을 수정하고,
마치 처음부터 해당 가설을 설정했던 것처럼
작성하는 것은 연구윤리와 관련된 문제가 될 수 있습니다.
중요한 것은 분석 후에 새로운 가설을 생각하는 행위 자체가 아니라, 그 가설이 언제 어떻게 만들어졌는지를 정확하게 구분하는 것입니다.
1️⃣ HARKing은 무엇을 의미할까요?
HARKing은
Hypothesizing After the Results are Known의 약자로,
연구 결과를 확인한 뒤 가설을 설정하는 것을 의미합니다.
특히 문제가 되는 경우는
분석 결과를 보고 새롭게 설정한 가설을
마치 연구를 시작하기 전부터
예상했던 것처럼 보고하는 것입니다.
예를 들어 다음과 같은 상황을 생각해보겠습니다.
연구자는 처음에
SNS 이용 시간이 길수록
충동구매 성향이 높아질 것이라는
가설을 설정했습니다.
하지만 실제 분석에서는
SNS 이용 시간과 충동구매 성향 사이에
통계적으로 유의한 관계가 나타나지 않았습니다.
대신 추가 분석에서
SNS 콘텐츠 몰입과 충동구매 성향 사이에
유의한 정(+)의 관계가 나타났다고 해보겠습니다.
이때 기존 가설을 삭제하고
처음부터 콘텐츠 몰입이
충동구매 성향과 관련될 것이라고
예상했던 것처럼 작성한다면
HARKing 문제가 발생할 수 있습니다.
📌 HARKing의 핵심 문제는 결과를 보고 새로운 가설을 생각했다는 사실보다, 사후에 설정한 가설을 사전에 설정한 것처럼 제시하는 데 있습니다.
2️⃣ 분석 결과를 알고 세운 가설은 검증의 의미가 달라집니다
연구가설은 일반적으로
이론과 선행연구를 바탕으로
변수 간 관계를 예상하고,
수집한 자료를 통해 이를 검토하기 위해 설정합니다.
그런데 분석 결과를 이미 확인한 뒤
그 결과에 맞춰 가설을 작성하면 어떨까요?
예를 들어 여러 변수의 관계를 분석한 뒤
통계적으로 유의하게 나타난 관계만 선택해
가설로 제시했다고 해보겠습니다.
이 경우 가설이 실제 자료와
잘 맞아 보일 수 있습니다.
하지만 연구자는 이미
어떤 관계가 유의하게 나타났는지
알고 있는 상태입니다.
따라서 해당 자료를 통해
가설을 독립적으로 검증했다고
해석하기는 어렵습니다.
특히 여러 관계를 탐색한 뒤
유의한 결과만 선택했다면
우연히 나타난 관계를
중요한 발견으로 해석할 위험도 있습니다.
👉 분석 결과를 확인한 뒤 만들어진 가설은 새로운 연구 아이디어가 될 수 있지만, 동일한 자료에서 사전에 예측한 가설처럼 검증되었다고 주장해서는 안 됩니다.
3️⃣ 가설이 기각됐다고 연구가 실패한 것은 아닙니다
연구자가 분석 후 가설을 수정하고 싶어 하는
대표적인 이유 중 하나는
가설이 기각되는 상황에 대한 부담입니다.
하지만 연구가설이 지지되지 않았다고 해서
연구 자체가 실패한 것은 아닙니다.
예를 들어 선행연구에서는
직무스트레스와 이직의도 사이에
유의한 정(+)의 관계가 나타났지만,
이번 연구에서는
통계적으로 유의한 관계가
확인되지 않았다고 해보겠습니다.
이러한 결과도 연구에서
검토할 가치가 있습니다.
연구대상의 특성이 달랐을 수도 있고,
측정 방식이나 연구 환경에
차이가 있었을 수도 있기 때문입니다.
물론 이러한 가능성은
추가적인 근거 없이
확정적인 원인으로 설명해서는 안 됩니다.
또한 통계적으로 유의하지 않았다는 사실이
두 변수 사이에 관계가 전혀 없다는 것을
증명하는 것도 아닙니다.
효과크기와 신뢰구간,
표본 크기 등을 함께 검토해야 합니다.
📌 가설이 지지되지 않은 결과도 연구의 중요한 발견이 될 수 있으며, 이를 숨기기보다 왜 예상과 다른 결과가 나타났는지 신중하게 해석하는 것이 좋습니다.
4️⃣ 사후 가설 설정 자체가 모두 잘못된 것은 아닙니다
그렇다면 분석을 마친 뒤
새로운 가설을 생각하는 것은
무조건 잘못된 행동일까요?
그렇지는 않습니다.
연구에서는 분석 과정에서
예상하지 못한 관계나 패턴을
발견할 수 있습니다.
이러한 발견을 바탕으로
새로운 연구문제나 가설을
설정하는 것은 자연스러운 연구 과정입니다.
다만 이때는
확증적 분석(Confirmatory Analysis)과
탐색적 분석(Exploratory Analysis)을
구분하는 것이 중요합니다.
📊 확증적 분석
이론과 선행연구 등을 바탕으로
사전에 설정한 가설을 검토하는 분석
📊 탐색적 분석
자료를 살펴보면서
예상하지 못한 관계나 패턴을 발견하고
새로운 가능성을 검토하는 분석
예를 들어 연구자가
사전에 설정한 가설을 검증한 뒤
추가 분석에서 새로운 관계를 발견했다면
이를 탐색적 분석 결과로 보고할 수 있습니다.
그리고 후속 연구에서
새로운 자료를 수집해
해당 관계가 반복적으로 나타나는지
검증할 수 있습니다.
👉 문제는 새로운 가설을 발견하는 것이 아니라, 탐색을 통해 발견한 결과를 사전에 예측하고 검증한 결과처럼 제시하는 것입니다.
5️⃣ 연구의 투명성을 높이려면 어떻게 해야 할까요?
HARKing 문제를 예방하려면
연구 과정에서 가설이 언제 설정되었고
어떤 분석이 계획되어 있었는지
명확하게 관리하는 것이 좋습니다.
먼저 연구계획서를 작성할 때
연구문제와 가설,
주요 변수와 분석 방법을
구체적으로 정리할 수 있습니다.
필요한 경우 사전등록(Preregistration)을 통해
자료를 분석하기 전에
가설과 분석 계획을 기록하는 방법도 있습니다.
사전등록은 모든 연구에서
반드시 요구되는 것은 아니지만,
사전 계획과 사후 변경을
구분하는 데 도움이 될 수 있습니다.
또한 연구 진행 중
가설이나 분석 방법을 수정했다면
수정 이유와 시점을 기록하는 것이 좋습니다.
논문을 작성할 때도
사전에 설정한 가설 검증 결과와
추가적인 탐색 분석 결과를
구분해서 보고해야 합니다.
예를 들어 다음과 같이 작성할 수 있습니다.
“사전에 설정한 가설에서는 통계적으로 유의한 관계가 확인되지 않았으나, 추가적인 탐색 분석에서 다른 변수 간 유의한 관계가 관찰되었다. 해당 결과는 탐색적 발견으로 해석할 필요가 있으며, 후속 연구를 통한 검증이 요구된다.”
이렇게 작성하면
연구자가 어떤 결과를 예상했고,
어떤 결과를 새롭게 발견했는지
명확하게 전달할 수 있습니다.
📌 연구의 신뢰성을 높이는 방법은 모든 가설을 지지받는 것이 아니라, 연구 과정과 분석 결과를 투명하게 보고하는 것입니다.
🔥 핵심 정리
분석 결과를 확인한 뒤
새로운 가설을 생각하는 것 자체가
잘못된 연구 행위는 아닙니다.
하지만 결과를 보고 설정한 가설을
처음부터 예상했던 것처럼
작성한다면 HARKing 문제가 발생할 수 있습니다.
이는 사전에 설정한 가설을 검증하는 과정과
자료를 탐색하며 새로운 관계를 발견하는 과정을
구분하기 어렵게 만듭니다.
따라서 연구자는
사전 가설과 사후 가설을 구분하고,
예상과 다른 결과가 나타났더라도
이를 정확하게 보고해야 합니다.
특히 가설이 지지되지 않은 결과도
연구의 의미 있는 정보가 될 수 있다는 점을
기억할 필요가 있습니다.
👉 좋은 연구는 모든 가설이 지지되는 연구가 아니라, 어떤 가설을 사전에 설정했고 어떤 결과를 실제로 확인했는지 투명하게 보여주는 연구입니다.
📌 이렇게 보면 됩니다
✔ 연구 시작 전 가설과 분석 계획 명확하게 정리하기
✔ 사전에 설정한 가설과 사후에 발견한 관계 구분하기
✔ 가설이 지지되지 않은 결과도 정확하게 보고하기
✔ 추가 분석에서 발견한 관계는 탐색적 결과로 제시하기
✔ 가설과 분석 계획의 변경 이유 및 시점 기록하기
👀 많이 틀리는 포인트
분석 결과가 유의하지 않다는 이유로 기존 가설을 삭제하기 ❌
유의하게 나타난 결과만 골라 처음부터 예상한 것처럼 작성하기 ❌
탐색적 분석 결과를 사전에 설정한 가설의 검증 결과처럼 제시하기 ❌
가설이 기각되면 연구가 실패했다고 생각하기 ❌
👉 연구 과정에서 예상하지 못한 결과가 나타나는 것은 자연스러운 일입니다.
중요한 것은 예상과 다른 결과를 숨기거나 가설을 억지로 수정하는 것이 아니라, 실제 연구 과정을 정확하게 설명하는 것입니다.
결국 연구의 신뢰성을 결정하는 것은 가설이 얼마나 많이 지지되었느냐가 아니라, 연구자가 가설과 분석 결과를 얼마나 정직하고 투명하게 보고했느냐입니다.
