드로우홀릭 더베이직

DB 데이터 클렌징

2017.12.19 17:35:47 조회 수 8574 추천 수 0

1. 개요

마스터 데이터가 잘못되어 있어, 이를 클렌징하는 프로젝트였습니다.

총 14개 서버, 36개 시스템, 6,550개의 테이블에 대해서 클렌징해야 하는 작지 않은 프로젝트였습니다.

 

예를 들자면, 마스터 데이터에 '삼성 전자'와 'Samsung Electronics'가 서로 다른 회사로 인식하는 상황이었고, 이 마스터 데이터를 참조하는 36개 시스템의 실적이 분리되어 잡히는 문제가 있었습니다.

 

본 프로젝트의 목표는 이러한 '삼성 전자'와 'Samsung Electronics'를 하나의 기업으로 시스템에 인식시키고, 이를 참조하는 목표 시스템에서도 실적이 통합되어 하나로 잡히도록 하는 것이었습니다.

2. 문제 해결

예를 들어, '삼성 전자', '(주)삼성 전자', '삼성 전자 주식회사' 등은 프로그래밍적으로 하나의 회사로 인식시킬 수 있었기 때문에 별 문제가 되지 않았습니다. 그러나, '삼성 전자'와 'Samsung Electronics'는 사람이 보면 같은 회사로 인식할 수 있지만, 컴퓨터는 동일한 회사로 인식할 수 있는 논리적 구조가 없었습니다. 그래서 별도의 '수작업 정제 툴'을 만들었습니다. 이 '수작업 정제 툴'을 이용하여 수작업을 최대한 간단하게 수행할 수 있었습니다.

 

실제 적용시, 문제가 발생하면 이전 상태로 되돌리기로 하는 준비를 마치고 실제 적용 작업을 수행하였는데, 다행히 별 문제 없이 작업이 끝났습니다.

3. 성과

이로 인하여 50만여 건 이상의 실적 자료가 통합되어, 보다 정확한 실적을 집계할 수 있게 되었습니다.

 

그림1. 테스트 결과서    그림2. 수작업 정제 도구
그림1. 테스트 결과서
 
   그림2. 수작업 정제 도구
그림3. 최종 결과   
그림3. 최종 결과   
List of Articles
번호 제목 글쓴이 날짜 조회 수
12 이력관리 돌직구 2022-12-24 20352
11 대리점 주문 관리(서버 없이) file 돌직구 2021-10-13 1502
10 대용량 연구 데이터 관리 file 돌직구 2021-10-06 600
9 대리점 주문 관리 file 돌직구 2021-08-24 8635
8 이메일 주문서 자동 변환 file 돌직구 2021-08-20 992
7 물류 관리 시스템 file 돌직구 2021-07-21 6432
» DB 데이터 클렌징 돌직구 2017-12-19 8574
5 문제은행 및 출제관리 시스템 돌직구 2017-12-19 52114
4 이벤트 관리 시스템 돌직구 2017-07-27 8672
3 설문 분석 자동화 시스템 돌직구 2017-07-26 4257
2 액세스 활용 사례 및 회의록 앱 돌직구 2017-07-26 56246
1 대용량 데이터베이스 구축 사례 (T-ERP) 돌직구 2017-07-25 15773


  주소  12925 경기도 하남시 미사대로 540, B동 917호 (현대지식산업센터 한강미사2차) ㈜팀데이터이십일  |  고객센터 전화번호  02-467-2998  |  대표이사  염기웅
개인정보관리책임자  염기웅 (ml_privacy@td21.com)  |  사업자등록번호  120-86-79260  |  통신판매업신고번호  제 2021-경기하남-1166 호  [사업자 정보 확인]
  TD21의 사전 서면 동의 없이 TD21 사이트 일체의 정보, 콘텐츠 및 UI 등을 상업적 목적으로 전시, 전송, 스크래핑 등 무단 사용할 수 없습니다.