단순한 통계치 중심의 접근?
먼저, 데이터의 내용, 구조, 이동과 흐름에 대한 품질 평가에서 솔루션 지향적인 평가의 경우 단순히 통계치 중심의 접근 방법을 채택함으로써 비즈니스 관점의 품질 정의 및 평가 부족을 초래할 수 있다. 대부분의 데이터 품질 관리 솔루션은 데이터의 품질 평가를 위해 데이터 프로파일링과 데이터 점검(Auditing) 기법을 이용한다. 데이터 프로파일링이란 데이터 자체로부터 지식을 획득해가는 프로세스라고 정의할 수 있는데, 데이터 값의 누락, 도메인의 일관성, 관련 항목간의 상관성 등을 보기 쉽게 나타내준다.
데이터 프로파일링을 위해 통계적 접근 방법 및 인공 지능에 의한 추론 방법 등을 사용하며 불완전한 데이터 정의와 관계없이 데이터 자체로부터 의미 있는 품질 평가치를 도출한다는 점에서 의의를 찾을 수 있다. 데이터 점검은 비즈니스 규칙과 데이터 간의 정합성을 검증하는 단계로 주로 사용자에 의해 업무 규칙을 정의하고 이것을 툴이 구현해 품질을 검증하는 형태이다.
데이터 프로파일링의 경우 실제 데이터 내용과 구조 정의 간의 상관관계에 따른 품질 평가가 지원이 부족해 실용적으로 도움이 되지 않는 품질 평가 결과가 도출될 수 있다. 예를 들어 고객 테이블의 생년월일과 카드 계약 테이블의 계약일자 실제 데이터 값은 상당히 유사할 수 있지만 업무적으로 아무런 연관 관계를 가지지 않는다. 따라서 이와 같은 비교는 많은 시간과 자원을 들임에도 불구하고 실용적으로 도움이 되지 않는 평가 결과를 도출한 셈이 된다. 데이터 점검의 경우는 복잡한 업무 규칙의 점검 기능 구현에 제한이 있다는 문제점을 안고 있다.
비즈니스 요건이 전사적 관점에서 체계적으로 구조화가 되었는가를 평가하는 데이터 구조 평가에서는 솔루션 중심의 접근 방법은 보다 많은 한계점을 드러낸다. 데이터 품질 관리 솔루션들은 단순히 관계형 데이터베이스의 정규화 기능을 제공하는(때론 아예 지원하지 않거나) 것 이상의 데이터 구조의 품질을 개선 방안을 도출해내기 어렵다. 사실 비즈니스 요건의 체계적 구조화란 객관식 문제와 같은 정답이 존재하는 것이 아니며 수많은 결정 요인과 물리적인 환경을 감안해 도출되는 것이므로 자동화된 품질 개선 효과를 바라는 것 자체가 무리일 수 있다.
데이터의 이동과 흐름 부분은 품질 관리가 이슈가 되기 이전부터 툴에 의한 접근 방법이 꾸준히 활용된 분야이다. 현재 데이터 품질 관리 솔루션을 제공하는 업체들 역시 ETL 툴을 기반으로 데이터 품질 관리 또는 통합 솔루션으로 확대·발전시킨 경우가 많다. 데이터의 이동과 흐름 부분에서 솔루션의 문제점은 오랜 기간 제기되어 왔음에도 불구하고 지속적으로 제기되는 것으로 성능과 복잡한 이동 규칙의 구현 문제로 요약될 수 있다. 데이터를 정보 활용의 다음 단계로 이동하거나 변환하는 과정은 자동화된 툴을 사용할 경우 많은 장점을 얻을 수 있다.
우선 사람의 수작업으로 인한 작업 오류를 최소화할 수 있으며 스케쥴링 기능을 이용해 작업 간의 배치나 조정을 효율적으로 할 수 있고, 데이터의 변환이나 정제 작업을 통합해 진행시킬 수도 있다. 이런 장점에도 불구하고 여전히 제한 요건이 되고 있는 것은 성능 문제이다. 특히 대용량의 데이터(수십 테라의 데이터를 이동, 변환, 정제 작업에 단지 34시간만이 제공되는 경우도 많다)의 이동에 있어서는 성능 문제는 매우 민감한 요건이라고 할 수 있다. 다만 병렬 처리 엔진이나 하드웨어의 급속한 발달로 인해 많은 개선 효과가 나타나고 있으므로 해결이 가능한 부분이라는 것이 위안으로 삼을 수 있겠다.
보다 본질적인 데이터 이동과 흐름 부분의 문제는 자동화된 툴로 복잡한 업무 이동과 변환 규칙을 구현하는데 한계를 가진다는 것이다. 따라서 많은 기업들이 복잡한 업무 규칙의 경우 별도의 SQL 로직을 구사하고 있으며 이의 유지 보수로 인력과 시간을 소비하고 있는 것이 현실이다.
<그림 6> 데이터 품질 관리 접근 방법의 한계
<그림 6>은 기존의 데이터 품질 관리 접근 방법의 한계를 도식화한 것으로 요약하면 기술 중심, 솔루션 중심의 접근 방법이 가지는 한계를 의미한다고 볼 수 있다.
데이터 품질 관리 프로젝트의 어려움
데이터 품질 관리의 중요성을 인식하고 전략적으로 데이터 품질 관리 프로젝트를 추진하고자 하는 조직은 곧 어려움에 부딪히기 쉽다. 데이터 품질 관리 프로젝트의 어려움 중 몇 가지만 살펴보기로 하자.
복잡한 업무 관계
더러운 데이터에서 깨끗한 데이터를 구분해 주는 엄격하고도 신속한 규칙 같은 것은 존재하지 않는다. 단순히 사용하는 데이터 항목의 단위가 다르거나 도메인을 검증하는 것으로 데이터의 품질이 획기적으로 향상되지는 않는 다는 의미이다. 데이터 품질 관리 소프트웨어들이 비정상적인 데이터 포맷을 알려주는 것과 같이 도움을 주기는 하지만 기술은 여기까지만 그 힘을 발휘한다. 즉 데이터가 가지고 있는 복잡한 업무 관계를 도출하고 품질을 향상시키는 것은 때로는 온전히 프로젝트 인력의 몫이 될 가능성이 높다.
조직 간의 갈등
더러운 데이터를 정제하는 일보다 더 좋은 것은 처음부터 깨끗한 데이터를 확보하는 것이다. 정확한 정보에 크게 의존하는 업무일수록 데이터가 생성될 때 실시간으로 그 정확성을 검증하는 프로세스를 구축하는데 앞장설 필요가 있다. 그러나 데이터를 생성하거나 입력하는 조직이나 사람들의 입장과 활용하는 조직이나 사람들의 입장이 상이한 경우가 다반사이다.
예를 들어 통신 회사에서 신규 고객이 서비스를 가입하고자 하는 경우 이를 처리하는 직원은 “우리의 정보는 원래 고객이 통신 회선 가입을 하고 서비스를 이용할 수 있도록 하기 위해 만들어 지고 있는 것이지, 보고서를 제출할 수 있도록 하기 위해 만들어지는 것은 아니다”라고 말한다.
그 결과 데이터에는 서비스를 이용하기 위한 최소한의 정보만이 입력되고 품질이 고려될 뿐 잘못된 고객 정보나 정보간의 불일치에는 별 관심이 없다. 이것은 서비스의 가입이나 변경을 막을 만큼 심각한 것은 아니라고 생각할 수도 있지만 기업이 고객 정보를 활용해 수익성을 높이거나 매출을 확대하기 위해 분석 작업을 할 경우는 상당히 심각한 문제가 발생할 수 있는 소지를 남기는 것이다.
또한 현행 데이터의 품질 평가 결과에 따라 조직 간의 마찰과 불신이 심해질 가능성도 존재한다. 데이터 소유주나 관리자에 대한 명확한 정의가 사전에 없는 경우 데이터 품질에 대한 결과는 현업 부서와 IT 부서 간의 불신감과 책임 공방만을 불러일으키고 현실적인 품질 관리를 위한 프로젝트 진행에 어려움을 가중시키는 요인이다.
대상 범위 설정의 어려움, 불확실한 목표 설정
실패하는 프로젝트의 대부분은 범위나 목표의 설정이 불확실한 경우가 많다. 데이터 품질 관리 프로젝트 역시 데이터 가치와 품질 관리 비용 분석, 목표 데이터 품질에 대한 명확한 정의가 없을 경우 많은 어려움을 겪게 될 것이다. 따라서 데이터 품질 관리 프로젝트를 수행하기 전에 측정 가능하고, 현업과 IT의 기대를 맞춘 목표를 설정하는 것이 무엇보다 중요하다.
기술 전문가 및 참조 성공 사례 부족
데이터 품질 관리는 최근에 본격적으로 이슈가 되고 있는 부분이다. 따라서 데이터 품질 관리에 대한 종합적인 기술과 프로젝트 수행 경험을 가진 전문가가 매우 부족한 것 또한 현실이다. 특히 전사적인 데이터 품질 관리를 성공적으로 수행한 사례 역시 부족해 프로젝트 수행에 따른 경험 지식을 공유할 기회가 매우 제한적이다.
따라서 데이터 아키텍처에 대한 이해와 모델링 수행 능력, ETL과 같은 데이터 활용 능력은 물론 비즈니스 도메인에 대한 이해가 풍부한 외부 전문가와 내부의 업무 전문가 및 IT 조직 구성원들의 협업이 반드시 요구된다. <그림 7>은 데이터 품질 관리 프로젝트가 어려운 원인들을 보여주고 있다.
<그림 7> 데이터 품질 관리 프로젝트의 어려움
프레임워크 기반의 데이터 품질 관리 활동
데이터 품질 관리 활동이 한계를 극복하고 나아갈 방향을 살펴보기 전에 데이터 품질 관리의 목적을 다시 보면 데이터 소스, 수집, 변환과 통합, 데이터 웨어하우스, 분석에 이르는 기업의 데이터 가치 사슬의 품질을 관리함으로써 조직 목표를 달성하고 데이터 자산의 보호 및 활용도를 제고하는 것이다.
즉 데이터 품질은 단순히 기술적인 이슈가 아니며 프로세스 및 조직적인 이슈 등 보다 포괄적인 원인으로 발생하므로 해결 방법 역시 기술·프로세스·조직의 전 방위적 관점에서 효과적 접근이 필요하다. 또한 IT 중심이 아닌 비즈니스 중심의 데이터 품질 관리 접근을 강조해 데이터 관리의 전 범위를 망라하는 프레임워크 중심의 포괄적 접근이 필요하다. <그림 8>은 데이터 품질 관리 프레임 워크가 포함해야 할 분야를 도식화한 것이다.
<그림 8> 기업의 데이터 가치 사슬
<그림 9> 데이터 품질 관리 프레임워크
<그림 10> 데이터 품질 관리 조직
품질 관리 원칙 및 목표 정의
데이터 품질 관리 목표 정의 및 전략적 방향 설정을 하는 것으로 조직의 목표를 달성하기 위해서 데이터 품질 관리 활동에 관한 전사 규정을 수립하는 활동을 의미한다.
품질 관리 조직
데이터 품질 관리의 목표를 달성하기 위한 조직 구조, 역할, 필요 기술 및 활동을 정의하는 것으로 전략, 구현, 운영이라는 정보 시스템 사이클과 유기적으로 연계되어야 하며 시스템별 데이터 담당자와 함께 전사적 관점에서 데이터를 관리하기 위한 데이터 관리 담당자(스튜어드)를 정의해 이를 기반으로 전사적 데이터 정합성을 보장할 수 있어야 한다.
아키텍처
데이터 품질의 개선을 위한 데이터, 애플리케이션, 기술 아키텍처의 확립을 의미하는 것으로 사실상 데이터 품질 관리란 데이터 아키텍처를 비롯한 각 아키텍처의 구성 요소 품질을 높이는 것과 밀접한 상관관계를 가진다.
<그림 11>은 데이터 아키텍처의 프레임워크를 보여주고 있으며 구성 요소인 데이터 구조, 데이터 관리, 데이터 이동과 변환의 단계별 품질을 높이는 것이 성숙도 높은 데이터 품질 관리의 모습임을 알 수 있다.
<그림 11> 데이터 아키텍처 중심의 품질 관리
데이터 관리 프로세스
메타데이터 관리, 표준 데이터 관리, 데이터 품질 관리 및 데이터 품질 관리 운용 등 전사 데이터 관리 기능을 정의하고 기존의 IT 시스템 전략·구현·운용 프로세스와 연계해 데이터 품질 관리가 효율적이고 효과적으로 수행될 수 있는 절차를 규정하는 것이다. 예를 들어 데이터 품질 관리 활동은 <그림 10>과 같은 프로세스로 수행될 수 있으며, 이외에도 프레임워크에서 정의되는 활동들의 기능과 절차가 규정되어야 한다.
<그림 12> 데이터 품질 관리 활동
>데이터 및 업무 규칙 관리를 위한 메타 시스템
전사적으로 일관된 데이터 정의 및 비즈니스 규칙의 유지/관리를 위한 표준 데이터를 포함한 시스템에 대한 메타데이터를 수집하고 표준 및 원천 데이터에 대한 매핑 기능을 통해 변경 관리 및 영향 관리를 수행해야 한다. 메타 시스템은 메타데이터 및 표준 데이터를 관리하기 위한 레파지토리를 기반으로 구축되어야 하며 데이터 관리 프로세스의 지원을 위해 워크플로우 기능을 포함할 수 있어야 한다.
그 밖에도 데이터 품질의 표준 및 평가 지표의 정의, 품질 관리 과정의 지속적인 모니터링 및 효과적 수정 조치, 데이터 품질 관리 활동에 대한 평가 및 보상 체계, 데이터의 오용이나 남용을 막기 위한 보안 및 권한 등이 정의되어야 전 방위적인 데이터 품질 관리를 수행할 수 있다
성공적인 데이터 품질 관리를 위해
지금까지 저품질의 데이터가 비즈니스에 미치는 영향, 데이터 품질 관리의 개념, 데이터 품질 관리 활동의 한계점 및 이를 극복하기 위한 프레임워크 중심의 데이터 품질 관리 활동을 살펴봤다. 데이터 품질 관리는 무엇보다 페이퍼 작업으로 끝나지 않고 실제 비즈니스 효과를 가져와야 한다. 데이터 품질에 대해 고민하고 있는 기업의 대부분은 겉으로 말하지는 않지만 마음속으로는 한 가지 공통점을 갖고 있다.
그것은 데이터에 대해 더 자세한 초상화를 그림으로써, 더 나은 서비스를 제공해 매출을 증대시킨다는 목적이다. 이를 위해서는 데이터 품질 문제가 더 이상 후방지원 시스템의 문제가 아니라 데이터를 다루는 모든 직원이 회사나 조직이 결정한 데이터 지침에 따라야만 하는 문제로 이동해야 함을 의미한다. 마지막으로 성공적인 데이터 품질 관리를 위해 고려할 사항을 제시하며 글을 맺고자 한다.@
[1] 데이터 기여도와 품질 관리 난이도를 분석해 확실한 비즈니스 효과를 볼 수 있는 부분을 선정해 성공 사례를 만든다.
[2] 데이터 품질 관리는 시간과 자원, 즉 비용이 드는 프로젝트임을 공감한다. 이를 위해 저품질 데이터로 인해 야기되는 비용을 구체적으로 제시하기 위한 노력이 필요하다.
[3] IT 부서와 비즈니스 부서를 함께 프로젝트에 참여시키고 CIO 이상의 고위 관계자의 지원을 획득한다.
[4] 데이터 품질은 물론 데이터 아키텍처, 데이터베이스 전문 인력과 함께 프로젝트를 수행하며 Coaching 기법을 통해 내부 조직원의 역량을 강화한다.
[5] 검증된 방법론과 솔루션을 활용을 적극 검토하되 자체 개발 비용과의 비교를 통해 자신의 조직에 적합한 품질 관리 방법을 적용한다.
[6] 데이터 품질 관리를 위한 공식적인 조직과 절차를 구현하고 지속적으로 품질 관리 활동을 수행한다.
[7] 데이터 품질 관리 성과지표를 설정하고 ROI를 측정한다.
* 이 기사는 ZDNet Korea의 제휴매체인 마이크로소프트웨어에 게재된 내용입니다. |
|
