론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p190-217.
Complementary Techniques
The Space of Complementary Techniques
- ideas funnel (Ideas for experiments)
- 구현이 쉬운 경우: 대조실험을 통해 직접 테스트하는 것을 권장
- 구현 비용이 많이 드는 경우: Complementary Techniques을 통해 구현 비용을 절감
- Validated metrics
- proxy metric 활용 → 현실에서 측정이 어려운 ‘사용자 만족’과 같은 요소를 가늠할 수 있음
- Evidence supporting or refuting hypotheses
Logs-based Analysis
- 특징
- Building intuition
- Characterizing potential metrics
- Generating ideas for A/B experiments
- ex. 퍼널 분석을 통해 전환율이 떨어지는 단계를 찾아낼 수 있음
- Natural experiments
- 외부 환경이나 버그로 인해 간혹 발생됨
- observational analysis을 통해 효과를 측정
- Observational causal studies
- 실험이 불가능할 때, Quasi-experiment design을 활용하여 향상된 추론 가능
- 과거에 발생한 일을 바탕으로만 미래를 유추할 수 있는 한계가 있음
- 로그 기반 분석을 사용자 및 시장 조사와 결합하는 것으로 포괄적인 결론에 도달 가능
User Experience Research (UER)
- 진정한 사용자 의도와 계측을 통해 관찰되는 것의 상관관계를 기초로 하는 지표 개발에 유용
- 직접적인 관찰과 적절한 질문으로 아이디어를 창출하고 문제를 발견하며 통찰력을 얻는데 유용
- 시선 추적 데이터와 같은 데이터를 수집하기 위한 특수 장비가 필요할 수 있음
Focus Groups
- 모집된 사용자나 잠재 사용자들 간의 guided group discussion
- guide discussion: range of topics, open-ended questions about user attitudes
- UER보다 scalable하고 답이 없고 애매한 문제를 다룰 수 있음
- group의 소수 의견 or 편견에 빠질 수 있음
- 고객의 의견은 진짜 생각과 다를 수 있음
- 포커스 그룹에서 사용자들이 검은색을 진부하다고 얘기했으나, 보상 물건의 색상을 고를 때는 대부분 검은색을 선택했음
- 추후 실험을 위한 설계 초기 단계의 잘못 설정된 가설에 대한 피드백을 얻거나 브랜딩 or 마케팅 변화를 위해 근본적인 감정 반응을 이해하려고 노력하는 데 유용할 수 있음
Observational Causal Studies
- 관측 인과 연구(Observational Causal Studies)의 목표: 인과적 결과에 가능한 가깝게 접근하는 것
= 인과 효과 추정
통제 실험이 불가능할 때
- Counterfactual → 측정 불가능
- ex. 사용자가 아이폰에서 갤럭시로 휴대폰을 변경할 때, 행동이 어떻게 변하는가?
- 사건의 수가 너무 적은 경우
- 실험이 실행되지 않는 대조군을 설정하기 어려운 경우 (희소한 케이스)
- 변화 비용 예상 가치에 비해 상대적으로 높은 경우
- 실험 단위를 적절하게 무작위 추출할 수 없는 경우
Designs for Observational Causal Studies
- 2가지 문제점
- Construct Control and Treatment groups for comparison
- Model the impact given those Control and Treatment groups
1. Interrupted Time Series (ITS)
- Quasi-experimental design
- 랜덤화는 불가능하지만, 시스템 내의 실험 변화 여부를 제어 가능
- 실험군과 대조군에 동일한 모집단을 사용하여, 시간에 따라 모집단의 경험이 어떻게 변화하는지 측정
- 교란효과(confounding effect)를 제외해야한다.
- 여러 번의 변화를 이리저리 시행하여 교란효과의 가능성을 줄일 수 있음
- 예시
- 헬리콥터 경찰의 정찰이 주택 강도에 미치는 영향
- 온라인 환경: 온라인 광고가 검색 관련 사이트 방문에 미치는 영향 → 베이지안 구조 시계열 분석
2. Interleaved Experiments
- 순위 알고리즘 변경을 평가하는데 일반적으로 사용됨 (ex. 검색 엔진, 웹사이트 검색)
- 방법: 알고리즘 X, Y의 결과를 교차하여 배치한 후, 중복된 결과는 제거
- 검증: 두 알고리즘 결과에 대한 CTR을 비교
3. Regression Discontinuity Design (RDD)
- Treatment population을 구분할 수 있는 명확한 threshold가 있을 때 사용 가능
- 임계값을 기준으로 대조군, 실험군으로 구분하여 선택 편향을 줄일 수 있음
- 교란 요인(confounding factors)으로 인해 임계값 불연속성은 오염될 수 있음
4. Instrumented Variables (IV) and Natural Experiments
- 도구 변수: random assignment를 근사하는 기법
- ex. 공립학교 입학 추첨 → 참석율에 영향을 미치는 변수
- 효과 추정을 위해 two-stage least squares regression model이 흔히 사용됨
- 자연 실험
- ex. 일란성 쌍둥이 연구
5. Propensity Score Matching (PSM)
- propensity: 경향
- 유사한 control, treatment 집단을 구성하는 방식
- 대조군과 실험군의 차이가 집단 특성 차이로부터 발생되지 않아야 함
- 온라인 광고 캠페인의 영향을 평가하기 위해 사용됨
- 관찰된 공변량(covariate) 만을 고려함
- 고려되지 않은 요인들로 편향이 발생 가능 → 교란 요인을 고려하는 것이 중요함
6. Difference in Differences (DID)
- 시간에 따른 차이와 각 그룹 간의 차이를 통해 인과 효과를 추정
- 변화가 외부요인에 의해 발생하는 경우에도 적용 가능
7. Pitfalls
- unanticipated confounds
- common type of confound: unrecognized common cause
- spurious or deceptive correlations
- 허위 상관관계는 인과관계 주장을 기각할 직관이 없을 때, 믿는 경향이 있음
반응형
'Causal inference' 카테고리의 다른 글
[KSSCI 2021] 인과추론의 데이터 과학 - Session 16 (0) | 2023.10.11 |
---|---|
Part 4. Advanced Topics for Building anExperimentation Platform (0) | 2023.10.05 |
[KSSCI 2021] 인과추론의 데이터 과학 - Session 15 (0) | 2023.10.03 |
[KSSCI 2021] 인과추론의 데이터 과학 - Session 14 (0) | 2023.09.27 |
[KSSCI 2021] 인과추론의 데이터 과학 - Session 13 (0) | 2023.09.27 |
댓글