Airbnb의 데이터 품질 전략 진화: 데이터 품질 점수 도입

Data Quality Score: How We Evolved the Data Quality Strategy at Airbnb

서론

안녕하세요, 여러분. 오늘은 Airbnb에서 데이터 품질 전략을 어떻게 발전시켰는지, 특히 데이터 품질 점수(Data Quality Score)를 도입한 과정에 대해 이야기하겠습니다. 제 이름은 Clark Wright이며, Airbnb의 데이터 스튜어드십 팀에서 일하고 있습니다.

데이터 품질의 중요성

우리는 Airbnb를 이용할 때 리뷰, 평점, 슈퍼호스트 여부 등을 확인합니다. 이는 숙박의 품질을 예측할 수 있는 중요한 신호입니다. 그렇다면 우리가 매일 생산하고 소유하는 데이터 자산에 대해서도 같은 수준의 품질 정보를 요구해야 하지 않을까요?

데이터 품질이 중요한 이유는 다음과 같습니다:

1. 데이터 과학 계층 구조의 기반
2. 상위 단계 작업의 효과 증폭
3. 의사 결정, 모델, 통찰력, 보고서, 실험에 대한 신뢰도 향상

Airbnb의 데이터 품질 전략 발전 과정

1. 2008-2018: 초기 개념 단계
   • 핵심 데이터 개념 도입
   • Minerva 메트릭 스토어 개발
2. 2019: Midas 프로그램 도입
   • IPO 준비를 위한 데이터 품질 향상 노력
   • 인증 프로세스 구축
3. 2022: 새로운 전략의 필요성 대두
   • Midas의 한계 인식
   • 전체 쿼리의 80%가 미인증 상태

데이터 품질 점수 개발

목표

1. 전체 오프라인 데이터 웨어하우스의 품질 측정
2. 데이터 품질에 대한 이해 발전
3. 품질에 대한 통일된 정의 확립
4. 데이터 생산자와 소비자에게 품질 정보 제공
5. 고품질 데이터 사용 촉진
6. 특정 용도나 카테고리에 대한 품질 기준 설정

설계 원칙

1. 전체 커버리지
2. 자동화
3. 실행 가능성
4. 다차원성
5. 진화 가능성

데이터 품질 점수 활용 사례

1. 데이터 소스 선택
2. 품질 차원별 분석
3. 팀별 데이터 품질 개선 목표 설정

향후 계획

1. 지속적인 점수 개선
2. 메타데이터 관리 강화
3. 새로운 품질 평가 영역 확대

데이터 품질 점수 사용 방법 (30단계)

1. 데이터 품질 점수 시스템에 로그인
2. 대시보드 확인
3. 평가할 데이터 자산 선택
4. 전체 품질 점수 확인
5. 차원별 점수 분석
6. 품질 등급 확인 (예: 우수, 양호, 개선 필요)
7. 데이터 소유자 정보 확인
8. 데이터 계보 (Lineage) 확인
9. 메타데이터 검토
10. 데이터 샘플 확인
11. 품질 이슈 목록 검토
12. 이슈 우선순위 설정
13. 개선 계획 수립
14. 팀 내 품질 목표 설정
15. 품질 개선 작업 할당
16. 개선 작업 실행
17. 품질 점수 재측정
18. 개선 결과 분석
19. 팀 간 벤치마킹
20. 베스트 프랙티스 공유
21. 품질 개선 워크숍 참여
22. 새로운 데이터 자산 등록 시 품질 기준 적용
23. 주기적인 품질 감사 수행
24. 품질 보고서 생성
25. 경영진에 품질 현황 보고
26. 품질 개선에 따른 비즈니스 영향 분석
27. 품질 점수 시스템 피드백 제공
28. 새로운 품질 차원 제안
29. 품질 점수 알고리즘 개선 참여
30. 데이터 품질 문화 확산 활동 참여

이러한 단계를 통해 Airbnb의 모든 구성원이 데이터 품질의 중요성을 인식하고, 지속적인 개선에 참여할 수 있습니다.