Machine Learning 25
회사 상품 추천 모델 만들기 (6) 가설이 깨질 때, 실패들의 분류학
계절 데이터 가설, 검색의도 피처, EMA 설정, 임베딩 평균 ensemble. 네 가지 실패의 결이 모두 달랐다. 데이터·피처·구현·수학적 가정 중 어디서 틀렸는지 분류해 정리한 실패 기록.
태그: experiment-design
Machine Learning 23
회사 상품 추천 모델 만들기 (5) 숫자를 믿으려면, 측정의 불확실성과 통계적 엄밀함
MPS에서 같은 코드를 두 번 돌리면 recall@20이 ±0.005 흔들린다. 이 노이즈 속에서 '정말 나아졌다'를 말하기 위한 best-of-N 프로토콜, R* baseline, 그리고 paired permutation + Holm-Bonferroni의 의미.
Machine Learning 17
회사 상품 추천 모델 만들기 (4) 피처를 고르는 법, greedy가 놓치는 조합
단독 ablation이 1위로 꼽은 피처가 최종 조합 1위가 아니었던 경험. greedy forward selection의 한계와 전수 부분집합 탐색의 가치, 그리고 4개 결합이 모든 단독보다 나빴던 과적합 사례.