projects

주간 reframing — 분석 단위를 바꾼다는 것 (CLT와 합의 분산)

주간 reframing — 분석 단위를 바꾼다는 것 (CLT와 합의 분산)

대질문: 분석 단위를 무엇으로 할 것인가 — 일별 그대로? 주간 합? 합산은 데이터에 무엇을 하는가?

교과서: 합산은 변환이다 — CLT의 실용 효과

주간 집계는 행 수를 1/7로 줄이는 사무 작업이 아니라 분포의 성질을 바꾸는 변환. 근거는 중심극한정리(CLT): 독립에 가까운 확률변수 N개의 합은 N이 커질수록 정규에 접근한다. 메커니즘은 상쇄 — skew와 두꺼운 꼬리는 "가끔 터지는 큰 값" 때문인데, 7일 합산이 큰 날과 작은 날을 평균 내어 지운다. 정규성에 우호적인 모델(Linear, SVR)에 유리한 방향.

실측: skew 0.867 → 0.728, kurtosis 0.509 → 0.018 (거의 정규). Stage 1 일별 R² 0.697 → 주간 0.79의 배경.

교과서: 합의 분산 공식 — 예정에 없던 발견

Var(t=17Yt)=7Var(Y)독립이면 전부+2i<jCov(Yi,Yj)자기상관이 있으면 등장\mathrm{Var}\Big(\sum_{t=1}^{7} Y_t\Big) = \underbrace{7\,\mathrm{Var}(Y)}_{\text{독립이면 전부}} + \underbrace{2\sum_{i<j}\mathrm{Cov}(Y_i, Y_j)}_{\text{자기상관이 있으면 등장}}

mean은 정확히 7배(52.25 → 366.26, 자명한 산수)인데 분산은 이론 5,807의 6.15배인 35,721. 초과분 29,915의 출처는 (72)=21\binom{7}{2}=21개 공분산 쌍의 누적뿐:

ρˉ35,7215,807221Var(Y)0.86\bar\rho \approx \frac{35{,}721 - 5{,}807}{2 \cdot 21 \cdot \mathrm{Var}(Y)} \approx 0.86

시계열 도구를 꺼내기 전에, 집계라는 행위 자체가 자기상관의 존재와 크기를 증언했다. 이 0.86이 Stage 2의 근본 동기 — 잔차 ACF 0.70, PACF lag-1 0.89가 나중에 같은 신호를 다른 각도에서 재확인.

실무 차원: 생존 조건과 비용

  • 행 수 913K → 130K: SVR kernel O(n2)O(n^2)이 일별이면 6TB(불가능) → 주간은 fold당 35초. 4모델 공정 비교 설계가 이 reframing 위에서만 성립.
  • 비용: 요일 패턴(주말 효과)이 주간 합에서 뭉개짐 — 보고서 §4의 일별 비교로 "잃은 것의 크기"를 사후 검증.

history

  1. 과제 단위 검토 — 주간 수요 계획 부합 + SVR 생존 조건
  2. 합산 전후 분포 통계 비교 — skew·kurt 감소 (CLT 확인)
  3. 분산만 이론과 어긋남(6.15배) — 이상 신호 포착
  4. 합의 분산 공식 역산 → ρ̄ ≈ 0.86 (시계열 분석 전의 정량 증거)
  5. 비용 인지 → §4 일별 비교로 사후 검증

실측 표

통계일별주간 실측이론 (i.i.d.)
mean52.25366.26365.75 (≈×7 ✓)
std28.80189.0076.20
skew0.8670.728 ↓
kurt0.5090.018 ↓↓

예상 질문

  1. "주간으로 합치면 정보를 잃지 않나?" → 잃는다(요일 패턴). 판단은 손익 — 얻은 것(정규성·SVR 생존·noise 평활) vs 잃은 것(일내 해상도). 과제의 질문이 주간 수요 계획이라 잃은 해상도가 목표에 비본질적.
  2. "분산 6.15배가 왜 놀라운가?" → "합치면 커진다"는 당연(이론도 ×7) — 정보는 독립 가정의 예측치 대비 6.15배라는 초과. 그 초과 전체가 공분산의 누적, 즉 자기상관의 지문.
  3. "파인만 비유" → 친구 7명이 매일 저금: 서로 무관하게 넣으면 주간 합의 출렁임은 √7배에 그친다. 서로 따라 넣으면(한 명이 많이 넣는 날 다들 많이) 상쇄가 안 돼 훨씬 크게 출렁인다 — 우리 데이터가 정확히 후자였다.