데이터거버넌스
모든 데이터를 하나의 확장 가능한 플랫폼으로 통합시켜 데이터의 저장 장소에 상관없이 보안과 권한이 보장된 상태에서 쉽게 데이터에 접근하고 이동이 가능한 환경을 제공하는 것을 데이터 패브릭(Data Fabric)이라고 한다. 데이터 패브릭은 데이터관리를 단순화하고 통합함으로써 고객이 어떤 IT 환경에서도 손쉽게 데이터를 활용할 수 있도록 하여 기업의 전체적인 디지털화를 가속화 한다.
데이터 패브릭은 잘 관리되고 있는 데이터 거버넌스 기반 위에서 데이터의 물리적 이동 없이 하나의 데이터로 빠르게 통합하는 데이터 가상화 기술과 데이터 통합저장소의 구축을 통하여 구현될 수 있다. 데이터 거버넌스와 데이터 가상화, 데이터 통합저장소는 데이터 패브릭의 핵심 3요소이다. 현업에서는 “데이터가 부족하고 있는 데이터도 사용할 수 없다”는 얘기를 많이 하는데 이것은 모두 데이터 거버넌스가 잘되지 않아 생기는 문제이다.
데이터거버넌스와 메타데이터관리
데이터 거버넌스는 수집 저장된 수많은 형태의 데이터를 언제든지 정확히 식별하고 접근, 활용할 수 있도록 데이터아키텍처를 운영하고 데이터의 신뢰성을 유지하기 위한 종합적인 관리 활동이다. 데이터 거버넌스의 주요 기능으로는 ①메타데이터관리, ②데이터품질관리, ⓷데이터보안관리, ⓸데이터주기관리 등을 들 수 있다.
메타데이터 관리는 데이터모델 간의 정합성을 유지하며 데이터아키텍처의 변경을 관리하며 전사 데이터 표준관리를 통하여 원하는 데이터를 빠르고 쉽게 식별할 수 있는 데이터 거버넌스 환경을 지원한다. 데이터품질 관리는 리얼 데이터의 프로파일링 및 데이터 정제 작업을 통해 데이터의 정확성을 유지한다. 데이터보안 관리는 필요한 데이터의 보호 수준을 정의하고 개인정보를 위한 데이터 마스킹을 운영한다, 데이터주기 관리는 데이터의 생성 및 초기 저장부터 데이터의 폐기까지 생명주기를 관리한다.
한편 SW 운영 환경에서는 데이터베이스를 운영·유지하기 위한 데이터아키텍처 관리 비즈니스가 요구된다. 데이터아키텍처 관리 비즈니스는 전사적 관점에서 데이터베이스에 내재 되어 있는 데이터모델의 속성과 구조정보의 변경을 관리하는 기능으로 관리 대상의 범위가 넓고 정보의 관계가 복잡한 아키텍처의 구성 관리가 어려워 데이터 거버넌스의 장애 요인이 되고 있다.
SW 운영단계에서 필요한 데이터 아키텍처 관리 기능은 전사적 관점의 기능이며 이를 통칭하여 메타데이터 관리 라고도 한다. 메타데이터 관리는 데이터아키텍처의 변경에 관한 이벤트를 관리하며 전사 데이터 표준관리를 통하여 데이터 수요자로 하여금 데이터의 정확한 식별을 돕고, 단위 데이터모델의 체계적 관리를 통해 정보화 생명주기 업무를 지원한다.
데이터아키텍처 관리
메타데이터로 정의된 데이터모델은 DDL(Data Description Language)로 변환되어 DBMS에 의해서 데이터베이스로 구현된다. 그러므로 데이터베이스에는 데이터모델이 내재되어 있으며 내재된 데이터모델과 데이터산출물의 논리 데이터모델은 동일한 속성과 구조의 정보를 가지고 있게 된다. 논리 데이터모델은 데이터베이스의 설계도인 셈이다.
이때 산출물의 논리 데이터모델과 데이터베이스의 데이터모델을 구성하는 속성과 구조정보인 메타데이터를 전사적 관점에서 데이터아키텍처라고 한다. 데이터아키텍처는 전사적 관점에서 데이터모델을 바라보는 시각이다.
SW 운영단계에서 데이터아키텍처에 대한 변경 소요는 데이터오류의 수정, SW 기능개선, SW 고도화사업 등 데이터아키텍처의 운영, 관리업무 중에 상시적으로 발생한다. 변경 소요가 발생하면 논리데이터 모델이 정의되어 있는 자료인 ‘데이터산출물’을 먼저 변경하고 변경 내용을 동일하게 데이터베이스에 반영하는 절차의 관리와 통제가 엄격히 요구된다. 절차의 관리와 통제는 데이터산출물과 데이터베이스에 내재된 아키텍처의 상호 정합성이 유지되기 위한 유일한 데이터 품질관리 활동으로 인식되어 왔으나 여전히 데이터 거버넌스를 어렵게 하고 있다.
때로는 데이터베이스의 운영 환경에서 DBMS의 제품 특성에 따른 데이터타입의 변경이 수행되는 경우도 있다. DBMS에 종속된 데이터타입의 선택은 데이터베이스의 성능에 영향을 미치는 기술적 선택으로서 데이터표준관리와 절차와 관계없는 엔지니어링 차원의 선택이다. 이러한 이벤트도 데이터아키텍처의 변경을 가져오게 되지만 데이터품질관리 활동에 위배되지 않으며 오히려 권장되어야 할 변경이다.
데이터아키텍처관리체계 자동화 방안
SW운영환경에서 데이터아키텍처의 운영·유지에 관한 관리기능을 데이터아키텍처관리라고 한다. 그림3의 데이터아키텍처관리는 SW운영환경에서 데이터아키텍처의 속성과 관계 정보를 관리하는데 필요한 메타데이터의 관리기능을 보여주고 있다. SW운영단계에서 어플리케이션 아키텍처(AA)와 함께 지속적으로 변화하는 데이터아키텍처(DA)에 대한 변경관리는 데이터거버넌스를 유지하는 가장 기본적이고도 핵심적인 활동이라고 할 수 있다.
데이터모델링(메타데이터정의)
데이터의 체계적인 관리와 편리한 검색 및 활용을 위하여 데이터의 구조, 속성, 특성, 이력 등을 표현한 자료를 메타데이터라고 한다. 데이터모델은 엔터티와 인스턴스가 구체화되어 형상화된 것으로 메타데이터에 의해 표현(Configuration)된다.
데이터 모델링은 데이터를 이루는 엔터티의 속성 정보를 정의하고 각 엔터티간의 관계를 정의하여 단위 데이터모델을 구축하는 비즈니스이다. 속성 정보 정의를 위한 데이터표준 프로세스와 관계 정의를 위한 모델링 도구가 사용되기도 한다.
데이터모델은 논리모델과 물리모델로 관리되는데 물리모델은 DBMS가 식별할 수 있는 언어(DDL)로 변환하기 위한 모델을 말한다. 데이터베이스는 DDL로 정의된 데이터모델이다. SW개발단계에서 단위 데이터모델의 구현을 통해 데이터베이스를 구축하는 프로세스 관리기능을 데이터모델관리라고 한다.
데이터모델링 비즈니스는 메타데이터의 관리를 통하여 구현되지만 데이터거버넌스에 포함되지는 않는다. 데이터모델링 과정에서 만들어진 데이터모델이 SW운영환경에 데이터베이스의 형태로 전개가 되고 나면 데이터거버넌스의 관리 대상이 되는 것이다.
메타데이터관리 자동화 소프트웨어
지난 20여년간 정보화로 인하여 기업의 수십개의 데이터베이스로 데이터아키텍처의 규모가 급격히 커지게 되었다. 또한 데이터아키텍처의 구성이 복잡하고 대형화됨에 따라 관리대상의 범위가 늘어나서 데이터아키텍처의 통합관리가 더욱 어려워졌다. 공공기관의 경우 IT아웃소싱에 의한 정보화개발과 운영·유지보수로 인한 관리 주체의 분산은 데이터거버넌스의 장애 요인이 되고 있다.
최근에는 범정부데이터표준 운영에 따른 정보시스템 영향성검토, 충돌관리, 변경적용 포털현행화 업무가 가중되고 있으며 데이터품질수준평가 데이터기반행정 실태평가 등의 대응 업무에 많은 인적 자원이 요구되고 있어 소프트웨어에 의한 자동화 기반의 관리체계 개발이 시급한 실정이다.
메타데이터관리체계
메타데이터 관리체계는 SW 개발단계에서 산출된 메타데이터 정보와 SW 운영 환경의 메타데이터를 수집하고 해석 및 조합하여 단위 논리 데이터모델을 재구성하는 알고리즘으로 구현된다. 메타데이터 관리체계는 논리 데이터모델 기반의 메타데이터저장소(MDR – Metadata Repository)를 구축하고 MDR의 논리 데이터모델과 전사 데이터베이스의 데이터아키텍처 간에 상호 정합성(mutual consistency)을 유지할 수 있도록 한다.
MDR에 구조화되어 저장된 메타데이터는 단위 논리 데이터모델 형식을 기반으로 전사 데이터 표준 및 범정부 데이터 표준 정보가 동적으로 연결되어 반영된 데이터아키텍처를 구현한다. 또한 MDR의 데이터아키텍처와 운영 중인 데이터베이스와의 모델간의 상호 정합성 유지를 위한 각종 모니터링, 조회, 메타데이터 관리기능을 제공하여 데이터아키텍처의 변경 관리를 체계화하고 그 이력을 관리하여 데이터 거버넌스의 원활한 작동을 지원한다.
계층적(Hierachical) Tree형 자료구조의 MDR은 전사(범정부)데이터표준관리 환경은 물론 다중 위상의 관리체계에서의 충돌 및 중복관리가 유연하게 관리되어 표준 영향성검토, 표준적용율과 같은 다중 데이터표준관리 업무를 자동화하고 데이터카탈로그 기능을 지원함으로서 데이터 수요자로 하여금 데이터플랫폼을 통한 데이터패브릭 인프라 기반의 데이터서버스를 가능하게 한다.
‘데이터기반행정법’에서 명시하고 있는 ‘메타데이터 관리’는 데이터아키텍처의 관리를 의미하는 것이며 ‘메타데이터 및 데이터관계도를 체계적으로 관리’ 하기 위한 SW가 데이터아키텍처관리 기능의 메타데이터관리체계이다.
※ 데이터기반행정 활성화에 관한 법률(약칭 데이터기반행정법)
제16조 “공공기관의 장은 생성하거나 취득하여 관리하는 데이터에 대한 메타데이터 및 데이터관계도를 체계적으로 관리하여야 한다.”