본문 바로가기
반응형

Mathematics/Experiment6

『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』 Part 5. Advanced Topics for Analyzing Experiments 론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p260-341. 17. The Statistics behind Online Controlled ExperimentsTwo-Sample t-Test\(H_0: mean(Y^t) = mean(Y^c)\)\(H_A: mean(Y^t) \ne mean(Y^c)\)t-statistic, \(T\)\(T = \displaystyle{\Delta\over \sqrt{var(\Delta)}}\)\(\Delta\): unbiased estimatordifference between the Treatment average and the Control average\(var.. 2023. 10. 12.
『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』 Part 4. Advanced Topics for Building anExperimentation Platform 론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p219-257. Client-Side ExperimentsDifferences between Server and Client SideRelease Processserver: continuous integration and deployment (CI/CD)client: 앱 소유자, 앱 스토어, 사용자가 관련됨Data CommunicationInternet connectivity: 서버 측 데이터 변경사항이 클라이언트로 전송되지 않거나 지연될 수 있음Cellular data bandwidthBattery: 데이터 통신이 많을수록 배터리 소모 증가CPU, la.. 2023. 10. 5.
『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』 Part 3. Complementary and AlternativeTechniques to Controlled Experiments 론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p190-217. Complementary TechniquesThe Space of Complementary Techniquesideas funnel (Ideas for experiments)구현이 쉬운 경우: 대조실험을 통해 직접 테스트하는 것을 권장구현 비용이 많이 드는 경우: Complementary Techniques을 통해 구현 비용을 절감Validated metricsproxy metric 활용 → 현실에서 측정이 어려운 ‘사용자 만족’과 같은 요소를 가늠할 수 있음Evidence supporting or refuting hypotheses Lo.. 2023. 10. 5.
『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』 Part 2. Selected Topics for Everyone 론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p130-189. 5. 속도의 중요성: 엔드투엔드 사례 연구많은 실험이 UI에 초점을 맞추지만, 백엔드 측면에서도 많은 혁신이 일어난다.ex. Bing: 0.1초 개선마다 1억 8천만 달러의 매출 증가 가치성능 개선이 주요 지표에 미치는 영향을 측정하는 것이 중요어느 부분의 성능 개선이 가장 중요한가??성능 개선이 어떤 지표 X에 미치는 영향은 무엇인가?성능 개선이 매출에 미치는 영향은?새로운 기능의 초기 구현 속도를 높이는 경우, 지표 X가 개선되는가?성능 개선으로 장기적 영향이 있는가? (ex. 해지 고객 감소)Slowdown 실험의 주요 가정slowd.. 2023. 9. 13.
『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』 Part 1. 03~04 론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p78-129. 3. 트위먼의 법칙과 실험의 신뢰도트위먼의 법칙: 흥미롭게 보이거나 다르게 보이는 모든 것들은 대체로 틀렸다.2가지 상이한 반응긍정적인 결과: 그것을 중심으로 이야기를 만들고 공유하고 축하하는 경향이 있음 (ex. 핵심 지표의 현저한 개선)부정정인 결과: 연구의 한계나 사소한 결함을 찾아내고 그것을 기각해 버리는 경향실험 결과의 신뢰도를 높이기 위한 방법결과에 이상이 있을 수 있다는 것을 나타내는 일련의 테스트와 실습 권장Ex. assert문을 활용한 테스트통계 결과의 잘못된 해석통계적 검정력 부족일반적인 실수: 지표가 통계적으로 유의적이지.. 2023. 9. 7.
『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』 Part 1. 01~02 론 코하비, 다이앤 탕, 야 쉬, 『A/B 테스트 신뢰할 수 있는 온라인 종합 대조 실험』, 이기홍, 김기영, 에이콘출판사-MANNING(2022), p30-77. 1. 소개와 동기Bing의 헤드라인 표시법 변환: 타이틀 라인을 바로 밑 첫째 줄 문장과 합치기 → 매출 12% 증가개념종합 대조 실험 (controlled experiment)실험: UI, 관련 알고리즘 (검색, 광고, 추천 등), 지연 시간/성능, 콘텐츠 관리 시스템, 고객 지원 시스템채널: 웹사이트, 데스크톱 app, 모바일 app, 이메일 등전체 평가 기준 (Overall Evaluation Criterion, OEC): 실험 목적의 계량적 지표 (ex. 사용자별 활동일 수)단기적으로 측정 가능해야 함장기적 전략 목표를 추진하는 원인이.. 2023. 8. 30.
반응형

티스토리툴바