— 많은 연구자들이 빠지는 함정 설문조사를 처음 설계할 때 흔히 이런 생각을 하게 됩니다. “문항이 많을수록 더 정확하게 측정할 수 있지 않을까?”“혹시 빠뜨린 내용이 있으면 어떡하지?” 그래서 설문 문항을 계속 추가하다 보면어느 순간 설문지가 50문항, 70문항이 되어 있기도 합니다. 하지만 설문 문항은많을수록 좋은 것이 아닙니다. 1️⃣ 문항이 많아질수록 응답 피로가 커집니다 응답자가 설문을...

— 숫자만으로는 설명되지 않는 결과 조절효과 분석을 처음 해보면 이런 경험을 하게 됩니다. 회귀분석 결과에는 하지만 막상 결과를 설명하려고 하면어떻게 해석해야 할지 막히는 경우가 많습니다. 이때 반드시 필요한 것이조절효과 그래프(interaction plot)입니다. 1️⃣ 조절효과는 ‘조건에 따라 달라지는 관계’입니다 조절효과는 간단히 말해한 변수의 영향력이 다른 변수의 수준에 따라 달라지는 현상입니다. 예를 들어, 이 경우 의미는...

— 연구 설계에서 가장 자주 생기는 오해 논문을 준비하다 보면 가장 먼저 고민하게 되는 것 중 하나가 표본 수입니다. “표본이 많을수록 좋은 연구 아닐까?”“최대한 많이 모아야 안전한 것 아닐까?” 실제로 많은 연구자들이 표본 수를 가능한 한 많이 확보하려고 합니다.하지만 표본 수는 단순히 “많을수록 좋다”는 문제로만 볼 수는 없습니다. 1️⃣ 표본 수의 목적은 ‘대표성’입니다...

— p값만으로는 연구의 의미를 설명하기 어렵습니다 논문 결과를 해석할 때 많은 연구자들이 가장 먼저 보는 것은 p값입니다.p < .05인지 아닌지에 따라 가설 채택 여부가 결정되기 때문입니다. 하지만 p값은 효과가 있는지 없는지만 보여줄 뿐,그 효과가 얼마나 큰지는 설명해주지 않습니다. 이때 반드시 함께 확인해야 하는 것이 효과크기(effect size)입니다. 1️⃣ 효과크기는 ‘영향의 크기’를 의미합니다 효과크기는 말...

— p값만으로는 연구의 의미를 설명하기 어렵습니다 논문 결과를 해석할 때 많은 연구자들이 가장 먼저 보는 것은 p값입니다.p < .05인지 아닌지에 따라 가설 채택 여부가 결정되기 때문입니다. 하지만 p값은 효과가 있는지 없는지만 보여줄 뿐,그 효과가 얼마나 큰지는 설명해주지 않습니다. 이때 반드시 함께 확인해야 하는 것이 효과크기(effect size)입니다. 1️⃣ 효과크기는 ‘영향의 크기’를 의미합니다 효과크기는 말...

논문을 쓰다 보면 이런 상황이 나옵니다. 숫자 차이는 0.002뿐인데논문에서는 “채택”과 “기각”으로 나뉩니다. 이게 정말 그렇게 큰 차이일까요? 결론부터 말씀드리면,통계적으로는 기준이 있지만, 실질적으로는 거의 차이가 없습니다. 1️⃣ p값은 연속적인 값입니다 p값은 0과 1 사이의 연속적인 확률 값입니다.0.049와 0.051 사이에는 본질적인 단절이 존재하지 않습니다. 0.049는 “맞고”0.051은 “틀렸다”는 식의 구분은사실상 연구 관행에서 정한 기준선(α = .05)...

— p값만 보면 놓치는 것들 논문 결과를 해석할 때 많은 분들이 p값만 확인합니다. p < .05인지, 아닌지.유의한지, 아닌지. 하지만 p값만으로는결과의 정확한 의미를 충분히 이해할 수 없습니다. 이때 반드시 함께 봐야 할 것이신뢰구간(Confidence Interval, CI)입니다. 1️⃣ 신뢰구간은 ‘가능한 범위’를 보여줍니다 예를 들어, 회귀계수가 다음과 같이 나왔다고 가정해보겠습니다. β = .3095% 신뢰구간: [.05, .55] 이...

논문에서 이런 경험을 하신 적이 있으실 겁니다. “표본도 200명 넘게 모았고, 분석도 정상적으로 돌렸는데결과가 생각보다 애매하다.” 유의하지 않거나,설명력이 너무 낮거나,방향이 예상과 다르게 나오는 경우입니다. 이럴 때 많은 분들이 표본 수를 의심합니다.하지만 표본 수가 충분한데도 결과가 흔들리는 데에는다른 이유가 있는 경우가 많습니다. 1️⃣ 표본 수는 ‘양’이고, 데이터 품질은 ‘질’입니다 표본이 많다고 해서데이터가 좋은 것은...

— 통계를 몰라서가 아닙니다 논문을 쓰다 보면 어느 순간 멈춰 서게 됩니다. 분석은 돌렸는데 글이 안 써지고,결과는 나왔는데 해석이 막히고,교수님께 보여드리기 전부터 스스로 확신이 없습니다. 많은 분들이 이때 이렇게 생각합니다. “내가 통계를 잘 몰라서 그런가?” 하지만 실제로 논문이 막히는 이유는통계 기법 부족 때문이 아닌 경우가 훨씬 많습니다. 1️⃣ 연구 질문이 흐릿하면 분석도 흐릿해집니다...

조절효과 분석을 돌릴 때마다 이런 생각이 들 수 있습니다. “주효과는 나오는데, 왜 상호작용항은 유의하지 않을까?” 조절효과는 원래 잘 나오지 않는 분석입니다.그 이유에는 구조적인 원인이 있습니다. 1️⃣ 상호작용항은 원래 ‘작은 효과’입니다 조절효과는X → Y 관계가 상황에 따라 달라지는지를 보는 분석입니다. 즉,이미 존재하는 효과의 ‘차이’를 다시 한 번 보는 것입니다. 따라서 효과크기가 작게 나오는 경우가...