엔터프라이즈 데이터 플랫폼 설계 유용한 개념과 사례를 알아보자!
잘 설계된 데이터 플랫폼의 파이프라인, 스토리지 시스템과 API는 온프레미스 데이터 센터에서 발생하는 복잡한 유지보수 문제와 무분별한 증설, 확장작업을 없애 준다. 클라우드 데이터 플랫폼 설계 패턴을 배우면 어떤 클라우드 공급업체를 사용하더라도 성능을 극대화할 수 있다.
데이터 플랫폼의 유연성을 높이고 비용을 절감하는 6계층 접근 방식을 소개한다. 다양한 소스에서 데이터를 수집하기 위한 패턴을 찾고, 클라우드 공급업체에서 제공하는 서비스를 활용하는 방법을 배울 수 있다.

“데이터 플랫폼을 처음부터 구축하기에 훌륭한 가이드다!”

“클라우드 데이터 플랫폼에 대해 포괄적으로 설명하는 귀중한 자료다.”

“명확하고 간결하게 설명하면서도 유용한 가이드다. 애플리케이션과 플랫폼의 전체 스펙트럼에 걸쳐 아키텍처와 툴을 훌륭하게 소개한다.”

“클라우드 데이터 플랫폼의 아키텍처, 도전 과제와 패턴에 대해 실용적이고도 현실적인 관점을 담고 있다.”

◆ 정형 및 비정형 데이터 세트에 대한 모범 사례
◆ 클라우드 기반 머신러닝 툴
◆ 메타데이터와 실시간 분석
◆ 디펜시브 아키텍처, 액세스, 보안

데이터 플랫폼이 무엇인지, 클라우드의 장점을 활용한 데이터 플랫폼 설계란 무엇인지 궁금한 독자들을 위한 책이다. 데이터 플랫폼 솔루션을 설계할 때 참고할 수 있는 내용을 상세히 다루고 있으며 기술과 비즈니스 간의 연관성을 기반으로 설명했기에 데이터 분석가, 비즈니스 분석가, 프로덕트 오너와 같이 아키텍처, 솔루션 설계를 직접 수행하지 않더라도 솔루션 개념과 원리를 이해할 수 있다. 스트리밍 방식과 배치 방식, 스키마 관리, 기타 주요 디자인 요소 등과 같은 주제를 설계 관점에서 주로 서술한다.

1장, '데이터 플랫폼 소개'에서는 클라우드 데이터 플랫폼의 개념부터 시작해 데이터 플랫폼이 필요하게 된 배경과 동향을 간단히 설명한다. 클라우드 데이터 플랫폼 설계 시 필요한 핵심 구성 요소를 설명한다.
2장, '데이터 웨어하우스만이 아닌 데이터 플랫폼인 이유'에서는 클라우드 데이터 플랫폼과 클라우드 데이터 웨어하우스의 차이점을 비교한다.
3장, '빅 3의 활용과 확대: 아마존, 마이크로소프트 애저, 구글'에서는 개념적 플랫폼 아키텍처를 좀 더 설명한 후, AWS, 애저, 구글 클라우드 플랫폼에서 제공하는 서비스와 툴이 이 아키텍처의 각 레이어와 어떻게 매핑되는지 설명한다.
4장, '플랫폼으로 데이터 가져오기'에서는 데이터 플랫폼으로 데이터를 수집하는 방식을 집중해서 다룬다. 관계형 데이터베이스, 파일, 스트리밍, SaaS 시스템의 API 활용 등을 설명한다.
5장, '데이터의 구성과 처리'에서는 데이터 플랫폼에서 데이터를 가장 잘 구조화해서 처리하는 방법을 설명하고, 설정 방식 파이프라인과 데이터 처리 단계의 일반적인 개념을 소개한다.
6장, '실시간 데이터 처리 및 분석'에서는 실시간 데이터 처리와 분석, 실시간 수집과 실시간 처리의 차이, 실시간 데이터의 구성 방법과 변환 방법을 설명한다.
7장, '메타데이터 계층 아키텍처'에서는 메타데이터 계층의 기술적 개념과 이것이 필요한 이유를 설명하고, 기술 메타 데이터 모델의 옵션, 구축 옵션, 현재 시장에 출시된 몇 가지 상용 솔루션과 오픈소스 솔루션을 간단히 소개한다.
8장, '스키마 관리'에서는 스키마 관리 관련 개선 필요 사항들을 알아보고, 접근해볼 수 있는 개선 방식을 몇 가지 알려준다. 그리고 스키마 진화를 모던 데이터 플랫폼에서는 어떻게 대응해야 하는지를 설명한다.
9장, '데이터 액세스 방법과 보안'에서는 데이터 소비자의 다양한 유형과 데이터 액세스 포인트를 설명한다. 데이터 웨어하우스, 애플리케이션 액세스, 머신러닝 사용자, BI와 리포팅 툴 등이다.
10장, '비즈니스 가치 제고를 위한 데이터 플랫폼 활용'에서는 비즈니스 가치를 창출하기 위한 데이터 플랫폼 활용 방법을 설명하고 데이터 플랫폼 프로젝트의 성공을 위해 다뤄야 할 문제점을 논의한다.

이 책은 데이터, 신기술, 고객의 문제 해결을 좋아하는 서로 다른 두 사람의 협업과 팀워크를 통해서 나오게 됐다. 우리는 클라우드 IT 서비스 회사에서 5년 동안 데이터와 분석 관련 일을 하면서 클라우드 분석 사례를 함께 개발했다. 다닐은 수년간의 하둡 경험을 바탕으로 기술적인 부분을, 린다는 비즈니스 관점의 전문성을 기반으로 협업했으며, 비즈니스와 기술이 합쳐져야 실제 데이터 문제를 해결할 수 있음을 깨달은 후 협업을 시작했다. 시간이 지나면서 다닐은 비즈니스지향적으로 바뀌었고 린다는 클라우드와 데이터를 기술적으로 알게 됐다. 우리는 서로 맞대응하기도 하면서 기술지향적인 상황도 경험했다.
빅데이터 플랫폼인 하둡 기반에서 데이터와 분석을 위한 클라우드 네이티브 플랫폼 기반으로 전환하는 것은 쉬운 일이었다. 클라우드와 빅데이터의 가능성이 무궁무진하다고 생각하는 사람 중 하나였던 우리는 회사의 지원을 받아 내부 팀을 구성해서 기술 솔루션을 설계하고 구축하는 프로젝트와 실제 비즈니스 문제를 해결하기 위한 데이터와 클라우드 기반 솔루션 구축 프로젝트도 진행했다. 이 기간 동안 수십여 명의 고객 대상으로 프로젝트를 수행해왔는데, 이 과정들로 관련 지식을 축적하고 모범 사례도 확보할 수 있게 됐다. 이러한 경험을 토대로 기술, 비즈니스 기반의 협업을 통해 더 복잡한 주제도 해결할 수 있을 것이라는 자신감도 생겼고, 이 분야에 관심 있는 분들에게도 관련 사례를 전파하면 좋겠다는 생각을 하게 됐다.
둘 다 업계 행사 같은 곳에서 강연자로 활발히 활동하고 있어 이 기회를 활용해 책 방향성에 대한 아이디어를 정리했고, 참석한 청중들의 피드백을 통해 흐름과 내용을 구체화할 수 있었다. 또한 이해를 돕기 위한 실제 고객 사례를 모아서 정리했다. 2년에 가까운 시간이 걸렸지만 우리 모두 결과에 정말 만족하기에, 여러분도 만족하기를 기대한다.
이 책을 출간하려는 이유는 기술 변화가 불가피하게 일어나고 있는 상황에서 확장 가능하고 유연한 클라우드 데이터 플랫폼을 설계하고자 하는 분들에게 도움을 주고자 함이었다. 클라우드 데이터 플랫폼의 정의부터 왜 중요한지, 또 클라우드 데이터 웨어하우스와 비교했을 때 무엇이 다른지 설명한다. 그리고 데이터 흐름에 따른 데이터의 수집, 구조, 처리, 관리에 이르기까지 더욱 상세한 내용을 다룬다. 다양한 데이터 소비자들이 데이터 플랫폼의 데이터를 어디에서 사용하는지를 살펴보고, 끝으로 클라우드 데이터 플랫폼 프로젝트의 성공에 영향을 미칠 수 있는 공통 비즈니스 이슈들을 짚어본다.

다닐 즈부리브스키(Danil Zburivsky)

전 세계 기업을 위한 대규모 데이터 인프라를 설계하고 지원하는 데 평생을 바쳤다. 10년 전에 IT 서비스 회사인 파티안(Pythian)에서 다양한 대규모 인터넷 회사의 오픈소스 데이터베이스 시스템을 관리하면서 경력을 쌓기 시작했다. 하둡의 초기 챔피언이었으며, 대규모 하둡 분석 인프라 구조를 설계하고 구현하는 팀을 관리하면서 하둡 클러스터 배포에 대한 책을 저술했다. 퍼블릭 클라우드가 데이터 인프라에 미칠 영향을 예상해 클라우드 데이터 서비스의 얼리 어답터였으며 전 세계 수십 개 기업을 위한 퍼블릭 클라우드 플랫폼 3사 모두에서 최신 클라우드 기반 데이터 플랫폼을 설계하고 구현했다. 서핑을 열렬히 즐겨서 노바스코샤 주 핼리팩스에 거주하며 일 년에 12개월 동안 파도를 타며 자유시간을 보낸다.

린다 파트너(Lynda Partner)

20년 이상 데이터 비즈니스 분야에서 일해왔다. SaaS 회사의 창립자로서 고객이 제품을 사용하는 방식을 최적화하기 위해 데이터를 광범위하게 사용하면서 데이터에 빠져들었다. Intouch Insights의 사장으로 취임한 후, 전통적인 시장 조사 회사를 최초의 모바일 데이터 캡처 회사 중 하나로 전환해 주요 자동차 공급 업체를 위한 소비자 데이터를 수집했다. 현재 IT 서비스 회사인 파티안의 분석 담당 부사장으로서 광범위한 산업과 각국 회사와 협력해 데이터를 통찰하고 예측하며 제품으로 전환하도록 돕는다. 일하지 않을 때는 섬 안 별장에 머문다. 또한 카약을 타며 시간을 보내거나 데이터의 새로운 용도를 찾기 위한 계획을 세운다.

이 책의 저자들은 업계 실무 경험과 사업 경험을 겸비하고 있어 이론적 내용보다 실무적인 경험을 기반으로 한 지식 위주로 알려준다. 이 책은 우리 사회와 기업의 화두인 디지털 전환이라는 말을 한 번도 사용하지 않는다. 그런데 이 책을 디지털 전환의 실행력 확보 관점에서 읽으면 클라우드, 애자일, 데이터 영역에서의 기술과 구축 역량과 사례들을 보여주고 있다는 것을 알게 된다. 즉 클라우드의 적극적인 활용, 다양한 데이터 분석 기술 활용, 새로운 필요 역할 식별과 수행, 이를 통한 혁신 프로젝트 추진 내용 사례 등을 담고 있다.
제목을 통해 짐작할 수 있듯이, 클라우드 기반의 데이터 플랫폼 구축 현안을 조금 구체적으로 다루고 있기 때문에 클라우드, 데이터, 분석, 기술, 아키텍처, 구축/운영 프로젝트에 조금이라도 관심이 있는 분들에게 일독을 권한다.

우리는 IT 기술을 익히기 위해 인터넷에서 많은 정보를 다양한 형태로 얻을 수 있습니다. 그런데도 왜 책이라는 매개체로 IT 기술을 이해하려 할까요? 아마도 대부분의 IT 서적에는 현대의 특정 기술을 중심으로 저자의 경험과 생각이 체계적으로 정리돼 있으며, 이를 통해 단편적 기술이나 지식이 아닌 저자의 통찰력과 경험적 내용을 참고하고 싶기 때문일 것입니다.
이 책은 현대의 데이터 플랫폼의 구조를 저자의 경험 관점에서 다루고 있습니다. 데이터에 대한 기본적 지식을 필요로 하거나 기초를 다지기 위한 용도라면 적합하지 않습니다. 또한 실습 과정도 담고 있지 않습니다. 대신 논리적인 사고를 통해, 책을 읽으며 의식의 흐름대로 플랫폼을 상상하면서 이해하는 과정을 요구합니다. 실무에서 데이터를 다루고 있거나 과거에 데이터를 충분히 다뤄본 사람이라면 현대의 데이터 플랫폼이 어떤 기능과 구조를 갖는지, 그리고 자신의 경험과 현재 다루고 있는 데이터 플랫폼이 책에서 제시하는 아키텍처와 비교해 어떤 수준을 가지며 어떤 차이점이 있는지 참고하며 바람직한 방향으로 발전하기를 고민할 때 본 책이 의미가 있겠습니다. 또한 데이터 플랫폼을 설계할 계획이 있는 아키텍트라면 한 번은 꼭 읽기를 권합니다. 선진 사례를 참고해 반드시 고민해야 할 문제를 놓치지 않고 설계에 반영할 수 있기 때문입니다.
클라우드 환경이 보편화되고 기술이 발전하면서 데이터의 수집과 처리, 분석, 리포트 등 대량의 데이터를 처리하는 방식이 비약적으로 발전해오고 있습니다. 클라우드 서비스의 여러 사례는 현재도 계속 업데이트되기 때문에 출간 시의 시점과는 다를 수 있겠지만 기본적인 방향과 특성은 지속적으로 참조할 만합니다.
다시 말씀드리면 이 책은 중급 이상의 내용을 다루고 있으며 충분한 기술적 경험이 없다면 이해하기 어려운 부분도 있을 것입니다. 이런 부분은 실질적으로 데이터를 다루면서 경험해봐야 이해할 수 있을 것입니다. 이 책이 독자들이 식견, 견해를 넓히고 새로운 아이디어를 창출하는 기반이 되기를 바랍니다.

박종하

한국 오라클에서 비즈니스 프로세스 혁신을 위한 ERP 도입 구축 컨설턴트 역할을 담당했다. SK주식회사 C&C에서 아키텍처/QA 그룹 리더, 통신 사업 마케팅/영업 역량 향상을 위한 통신사 BSS 차세대 프로젝트를 수행했고, KT에서 유무선 FMC 프로젝트 시 아키텍트 역할로 변화를 리딩했다. 메가존㈜에서는 Enterprise PMO 리더로서 클라우드 기반에서 디지털 전환을 추진하는 기업을 돕는 역할을 하고 있다.

최철원

삼성SDS에 신입으로 입사해 10년, SK주식회사 C&C에서 테크니컬 아키텍트로서 15년째 기업용 어플리케이션 개발과 관련된 업무를 하고 있다. 과거에는 자바 프레임워크, 물리보안 관제솔루션을 직접 개발했으며, 컨테이너 기반 하이브리드 클라우드 플랫폼 구축의 Outer Architecture 영역을 담당하고 있다. 최근에는 카프카 기반의 AI 서비스 플랫폼을 구축했고, 오픈소스 기술과 마이크로소프트 애저 서비스를 활용해 전 영역에 걸쳐 최적화된 클라우드 네이티브 아키텍처 구현을 담당하고 있다.

구본아

SK주식회사 C&C에 입사해 클라우드 아키텍트, 특히 애저 서비스를 활용한 Landing Zone 구축, Cloud Migration 등 전통 온프레미스 환경에서 클라우드 환경으로 전환하고자 힘쓰고 있다. 클라우드를 접목한 마이크로서비스, AI 플랫폼 구축 등 새로운 서비스에 관심이 많고, 빅데이터 분야에도 관심이 많아 공모전에 참여해 수상한 이력이 있다. 데이터에서 유의미한 정보를 찾고 알맞게 데이터를 가공하거나 높은 예측력을 위해 모델링하는 등의 역할을 했다.