Effect size와 η² — "얼마나 큰가"를 재는 법

한 줄: p는 존재("0이 아닌가"), effect size는 크기("얼마나"). n을 늘리면 p는 0으로 가지만 effect size는 참값으로 수렴할 뿐이다.

1. Effect size란

• 효과의 크기를 표본 크기와 무관하게 재는 표준화 지표
• 핵심 성질: 같은 데이터 성질에서 n↑ → p↓(한없이), effect size → 참값 수렴 (커지지 않음) → 큰 표본에서 유일하게 정보를 가진 쪽
• "크기"는 맥락 대비: 평균 차이 50개가 큰지는 원래 출렁임(±300 vs ±10)에 달림 → 항상 무언가로 나눠 단위를 지운 형태
  • Cohen's d = 평균 차이 ÷ 표준편차
  • η² = 그룹이 설명하는 분산 ÷ 전체 분산

2. η²의 읽는 법 — 분산의 몫

$\eta^2 = \frac{SS_B}{SS_T}$

• 직관: "그룹 라벨을 알려주면 불확실성(분산)이 몇 % 사라지는가"
• store 14.57% = store가 어딘지 알면 출렁임의 14.57%가 치워짐
• 무차원(0~1), 단위·표본 크기 무관 — effect size의 자격 충족
• Cohen 기준: 0.01 / 0.06 / 0.14 = small / medium / large

3. joint η² — 조합을 하나의 그룹으로

• 계산은 동일, 그룹 정의만 변경: (store, item) 조합 = 500개 그룹 → joint η² = 79.49%
• joint(79.49) > 단순 합(14.57+62.49 = 77.06) — 차이 ≈ 2.4%p가 조합 고유 효과(interaction)의 몫 → 그래서 IR로 따로 측정 (3.05%, 작음)

4. 왜 이 숫자가 천장이 되나 — R²와 동일 척도

• η² = "그룹 평균으로 예측하는 모델의 R²"와 동일한 양 (그룹 평균 예측의 잔차 = within)
• 같은 입력엔 같은 출력 → (store, item)만 받는 모델의 최선 = 그룹 평균 → joint η² 79.49% = 그 모델들의 R² 상한
• effect size 측정이 가설(H1: 천장 수렴)로 승격되는 연결 고리 = 이 동일 척도성

예상 질문

1. "p와 effect size 중 뭘 믿어야 하나?" → 역할이 다르다. p = 존재의 증거(문지기), effect size = 크기(결정). n=130K에선 p가 자동 0이라 effect size만 정보.
2. "joint η²는 store η² + item η²인가?" → 아니다. 단순 합(77.06%)보다 interaction 몫만큼 크다(79.49%). 그 몫이 큰지는 IR로 별도 측정했다(3.05%).
3. "η²가 왜 R²와 비교 가능한가?" → 둘 다 "설명된 분산의 비율" — 같은 정의의 양이다. 그래서 모델 R²가 η² 천장에 수렴하는지를 직접 비교할 수 있었다.