― 심사 의견에 가장 자주 등장하는 오류 정리
논문 심사 의견서에서 유독 반복적으로 등장하는 문장이 있습니다.
- “측정도구의 타당도 및 신뢰도 검토가 충분하지 않음”
- “조작적 정의와 설문 문항 간의 정합성이 부족함”
이 지적은 단순한 형식상의 문제가 아닙니다.
연구 결과 전체를 신뢰할 수 있는가라는 질문으로 직결되는, 매우 본질적인 문제입니다.
심사위원의 관점에서 타당도와 신뢰도는
통계 분석 이전에 연구자가 반드시 제시해야 하는
연구 결과 신뢰 가능성에 대한 최소한의 증거입니다.
논문 작성만으로도 벅찬 상황에서
이 기본적인 부분이 지적되면 연구자 입장에서는 상당한 타격이 될 수밖에 없습니다.
그래서 중요한 것은 사전에 차단하는 것입니다.
아래에서는 실제 논문 심사에서 가장 빈번하게 지적되는
타당도·신뢰도 관련 오류 유형과, 그에 대한 보완 방향을 정리했습니다.
논문 심사에서 타당도·신뢰도가 문제 되는 진짜 이유
1. 타당도 관련 대표적인 오류
오류 1. 이론적 정의 없이 문항부터 제시한 경우
심사 지적 예시
“변수의 이론적 정의가 불명확하며, 문항이 무엇을 측정하는지 알기 어렵다.”
문제의 핵심
- ‘만족도’, ‘태도’, ‘인식’ 등 포괄적인 변수명을 사용
- 개념 정의 없이 바로 설문 문항 제시
보완 방향
- 개념의 이론적 정의 → 하위 차원 → 문항 구성의 순서를 명확히 제시
- 선행연구의 정의를 인용하여 조작적 정의를 분명히 기술
📌 변수 정의가 불분명하면, 이후의 모든 통계 결과는 설득력을 잃게 됩니다.
오류 2. “선행연구 척도 사용”이라는 문장만 제시한 경우
심사 지적 예시
“선행연구에서 사용된 척도라고 하나, 타당도 검증 근거가 충분하지 않다.”
문제의 핵심
- 어떤 연구에서 개발되었는지 명시하지 않음
- 요인 구조, 검증 방식, 대상 집단 정보가 없음
보완 방향
- 원척도 개발 논문 명시
- 요인 구조, 신뢰도 계수, 검증 대상 집단 간략 요약
- 본 연구에서의 활용 맥락 설명
📌 “선행연구 척도”라는 표현은 근거가 아니라 출발점일 뿐입니다.
오류 3. 요인분석 결과가 이론과 불일치하는데 그대로 사용
심사 지적 예시
“요인분석 결과가 이론적 구성과 일치하지 않음에도 추가 검토가 이루어지지 않았다.”
문제의 핵심
- 교차 적재, 낮은 요인 적재값 발생
- 이론과 다른 구조가 나왔음에도 설명 없이 진행
보완 방향
- 문항 제거 또는 재구성의 논리 제시
- 왜 이런 구조가 나타났는지 해석 추가
- 필요 시 EFA 이후 CFA로 단계적 검증 수행
📌 요인분석 결과는 ‘자동으로 받아들이는 값’이 아니라, 해석의 대상입니다.
오류 4. 타당도 검증 없이 곧바로 가설 검정 수행
심사 지적 예시
“측정도구의 타당성 검토 없이 분석 결과를 해석하는 데 한계가 있다.”
문제의 핵심
- 요인분석 없이 t-test, ANOVA, 회귀분석 진행
- 자체 개발 문항에서 특히 빈번
보완 방향
- 최소한 탐색적 요인분석(EFA) 제시
- “요인분석을 통해 측정 도구의 구조적 타당성을 확인하였다”는 서술 포함
2. 신뢰도 관련 대표적인 오류
오류 5. Cronbach’s α 수치만 제시하고 해석이 없는 경우
심사 지적 예시
“신뢰도 계수에 대한 해석이 제시되지 않았다.”
문제의 핵심
- 표에 α값만 제시
- 해당 수치가 의미하는 바에 대한 설명 부재
보완 방향
- “.80 이상으로 내적 일관성이 양호함” 등 간단한 해석 문장 추가
- 신뢰도 기준(.70 이상 등) 명시
오류 6. 신뢰도가 낮은 변수를 아무 설명 없이 사용
심사 지적 예시
“일부 변수의 신뢰도가 기준에 미달함에도 분석에 포함되었다.”
문제의 핵심
- α < .70인데 별다른 언급 없이 사용
- 하위 요인 단위에서 자주 발생
보완 방향
- 문항 제거 또는 수정
- 불가피한 경우 탐색적 연구임을 명시하고 연구의 한계로 제시
오류 7. 문항 수가 적은 척도에 일반 기준을 그대로 적용
심사 지적 예시
“문항 수가 적은 척도에 대해 일반적인 신뢰도 기준을 적용하는 것은 한계가 있다.”
문제의 핵심
- 문항 2~3개 척도에 α=.65를 무조건 낮다고 판단
보완 방향
- 문항 수에 따른 신뢰도 해석의 한계 언급
- 평균 상관계수 등 보조 지표 병행 제시
3. 타당도·신뢰도 공통 오류
오류 8. 번안·수정 척도임에도 재검증 생략
심사 지적 예시
“척도를 수정·번안하여 사용했음에도 재검증 과정이 제시되지 않았다.”
문제의 핵심
- 문항 표현 수정, 척도 변경
- 국외 척도를 그대로 적용
보완 방향
- 전문가 검토 및 사전조사 수행
- 최소한의 타당도·신뢰도 재검증 결과 제시
오류 9. 방법론 장에서 선언적 문장만 제시
심사 지적 예시
“타당도와 신뢰도에 대한 논의가 형식적 수준에 그쳤다.”
문제의 핵심
- “타당도와 신뢰도가 확보되었다”라는 문장만 존재
- 근거 표와 분석 결과 부족
보완 방향
- 결과 표 + 간단한 해석 문장 병행
- 연구 결과의 신뢰성과 연결하여 설명
마무리 정리
타당도와 신뢰도는
단순한 형식 요건이 아니라,
연구 결과를 신뢰하게 만드는 최소한의 논리적 장치입니다.
심사위원은 결국 한 가지를 묻습니다.
“이 연구 결과를 믿어도 되는가?”
그리고 그 판단의 출발점이
바로 측정의 타당도와 신뢰도입니다.
통계 기법이 아무리 고급이어도
측정이 흔들리면 연구 전체가 흔들립니다.
논문 심사에서 반복되는 지적을
미리 차단하는 가장 확실한 방법은
기초를 정확히 갖추는 것입니다.
