종합적인 학문 및 기술 분야로서 데이터 마이닝의 특징을 소개하며, 정보 기술의 진화와 데이터 마이닝의 필요성, 그리고 응용 분야의 중요성에 대해 설명한다. 먼저, 데이터 마이닝을 위한 다양한 유형의 데이터 타입에 대해 알아보고, 데이터 마이닝 작업의 주요 유형과 마이닝 지식의 종류, 사용되는 기술의 종류, 그리고 분석 환경에 따라 활용되는 다양한 기법에 대해 설명한다.

현대 산업에서 데이터 분석의 중요성은 더욱 높아졌고, 학계와 산업계에 더욱 확산되고 있다. 이제는 대용량 데이터셋을 쉽게 수집 및 저장할 수 있으며, 규모에 상관없이 대용량 데이터 디스크와 ‘클라우드 스토리지(cloud storage)’를 이용할 수 있는 시대가 됐다. 따라서 이제는 데이터에 존재하는 패턴, 추세, 이상치, 또는 예측치를 찾기 위해 누구나 데이터를 분석할 수 있다.
이 책은 데이터 마이닝(data mining)의 전통적이며 필수적인 내용을 모두 다루면서 최근 학계 및 산업계의 중요한 성취 자료를 추가했다. 하나의 장을 할애해 딥러닝(deep learning)을 소개하고, 내가 가장 좋아하는 알고리듬 중 하나인 TopMine, gSpan, CloseGraph 등 빈발 서브 그래프 발견, LIME 등 모델의 설명력에 대한 탁월한 정리, 유전적 알고리듬, 강화 학습, 거짓 정보 감지, 생산성 및 팀 과학을 위한 데이터 분석, 인과관계 분석, 공정성을 고려한 데이터 마이닝, 공익을 고려한 데이터 분석 등 주요 주제를 하위 절에서 살펴본다.
새로 추가된 부록은 데이터 분석에 필요한 수학적 배경 지식을 편리하며 집약적으로 제공한다. 경사 하강법, 뉴턴 방법을 포함한 최적화를 위한 수학 공식 자료, 행렬 대수 연산을 위한 특잇값 분해, 고윳값, 의사 역행렬 공식, 정보 이론을 위한 엔트로피(entropy) 및 쿨벡 라이블러 알고리듬 공식, 신호 처리를 위한 DFT 및 FFT 등 데이터 마이닝을 위한 모든 기본적인 수학 공식을 부록에서 간편하게 탐색하고 활용할 수 있다.
이 책에는 데이터 마이닝과 관련된 800개 이상의 중요한 참고 문헌 목록과 2015년 이후 출간된 250개 이상의 최신 연구 논문이 포함돼 있다. 즉, 이번 4판은 데이터 분석에 대한 교과서이자 백과사전적인 참고서 역할을 할 수 있다.

—크리스토스 팔로웃소스(Christos Faloutsos) 교수,
카네기 멜론 대학교(Carnegie Mellon University)

◆ 딥러닝에 대한 포괄적인 지식을 제공하기 위해 딥러닝 모델 기반의 훈련 개선 전략, 합성곱 신경망(CNN), 순환 신경망(RNN), 그래프 신경망(GNN) 등에 대해 심도 있게 알아본다.
◆ 최신 연구 성과를 파악할 수 있도록 데이터 마이닝의 트렌드 및 각광받는 연구 분야를 다룬다. 텍스트, 시공간 데이터, 그래프/네트워크 등 리치 데이터 유형, 감정 분석, 진실 발견, 정보 전파 등 데이터 마이닝 응용 방법론, 데이터 마이닝 방법론 및 시스템, 사회적 가치를 고려한 데이터 마이닝에 대해 소개한다.
◆ 데이터에서 여러분이 필요로 하는 최상의 가치를 추출하기 위한 개념과 기법에 대해 살펴본다.

이 책의 1, 2, 3판 출간 이후 데이터 마이닝 분야에서 다수의 큰 진전이 있었다. 특히 정보 네트워크, 그래프, 복합 구조, 데이터 스트림 등 새로운 유형의 데이터 처리에 특화된 데이터 마이닝 방법론, 시스템, 애플리케이션이 개발됐다. 이러한 빠른 발전과 새롭게 추가된 풍부한 기술을 한 권의 책에 담기는 어려우므로 우리 공저자는 나름의 대안을 찾아야 했다. 결국, 이번 4판에서는 책의 범위를 확장하는 대신 핵심 주제를 충분한 범위와 깊이로 다루고, 복잡한 데이터 유형과 분석 환경 등 해당 주제에 좀 더 집중하기로 결정했다.
4판은 지난 1~3판의 내용을 큰 폭에서 개정하고, 데이터 마이닝 기술 부분을 재구성했다. 특히, 다양한 데이터 유형에 대한 마이닝 방법론을 처리하는 핵심 기술 자료가 크게 확장되고 개선됐다. 우리 공저자는 책을 간결하면서도 최신 상태로 유지하기 위해 다음 방법으로 개정 작업을 진행했다. (1) 3판에서 두 개 장으로 구성된 ‘데이터 이해’와 ‘데이터 전처리’를 하나의 장, ‘데이터, 측정, 데이터 전처리’로 통합했다. 또, 기존 ‘데이터 시각화’는 개념의 이해가 쉽고, 다른 전문 데이터 시각화 서적에서 다뤘으며, 소프트웨어 도구가 웹에서 널리 사용 가능하므로 제외했다. (2) 3판의 ‘데이터 웨어하우징과 온라인 분석 처리’와 ‘데이터 큐브 기술’ 장을 하나의 장으로 병합했으며, 유용성이 다소 떨어지는 데이터 큐브 계산 방법과 데이터 큐브 확장을 생략하고, ‘데이터 레이크(lake)’라는 새로운 개념을 추가했다. (3) 3판의 주요 데이터 마이닝 방법론 장인 패턴 발견, 분류, 클러스터링, 이상치 분석은 내용을 향상시키고 최신의 트렌드를 반영해 업데이트했다. (4) 새로운 장으로 ‘딥러닝’을 추가했으며, 신경망과 딥러닝 방법론에 대한 체계적인 소개를 포함시켰다. (5) 마지막 장인 ‘데이터 마이닝 트렌드 및 최신 연구 분야’는 완전히 다시 작성했으며, 데이터 마이닝의 다양한 고급 주제를 종합적이며 간결하게 다뤘다. 마지막으로, (6) 이 책의 내용을 이해하는 데 필요한 기본적인 수학적 배경 지식을 부록으로 포함시켰다.

현대 사회의 컴퓨터화는 인간의 능력을 크게 향상시켰으며 다양한 출처에서 데이터를 생성하고 수집하는 데 많은 도움이 됐다. 우리 삶의 거의 모든 측면에서 엄청난 양의 데이터가 쏟아지고 있으며, 저장된 데이터 또는 전송 중 데이터의 급증으로 인해 데이터를 유용한 정보와 지식으로 변환하는 데 지능적으로 도움을 주는 새로운 기술과 자동화된 도구를 찾아야 한다. 데이터 마이닝과 다양한 응용 분야를 포함한 컴퓨터 과학의 발전은 대규모 데이터 처리에 대한 우리의 필요성을 반영한 것이다. 데이터 마이닝은 데이터로부터 지식 발견 또는 KDD(Knowledge Discovery from Data)로도 부르며, 대규모 데이터베이스, 데이터 웨어하우스(warehouse), 웹, 기타 대규모 정보 저장소 또는 데이터 스트림에 암묵적으로 저장되거나 캡처된 지식의 패턴을 자동으로 편리하게 추출하기 위한 개념, 방법, 절차를 의미한다.
이 책은 지식의 발견 및 데이터 마이닝을 위한 개념과 기술을 탐구한다. 데이터 마이닝은 통계학, 머신러닝, 패턴 인식, 데이터베이스 기술, 정보 검색, 자연어 처리, 네트워크 과학, 지식 기반 시스템, AI, 고성능 컴퓨팅, 데이터 시각화 등 다양한 분야와 연계된 연구 분야다. 데이터 마이닝 연구자는 대량의 데이터 집합에서 숨겨진 패턴을 발견하기 위한 기술의 타당성, 유용성, 효과성, 확장성 등 다양한 측면을 연구한다. 따라서 이 책은 통계학, 머신러닝, 데이터베이스 시스템 또는 다른 해당 분야의 입문서로 집필된 것은 아니지만, 이들 분야에 관심을 가진 독자를 위한 폭넓은 배경 지식을 제공한다. 이 책은 데이터 마이닝에 대한 포괄적인 입문서이며, 컴퓨터 과학 전공자, 애플리케이션 개발자, 비즈니스 전문가, 그리고 통계학, 머신러닝 등 앞서 언급한 연구자 모두에게 유용한 교과서 또는 참고서가 될 수 있다.
데이터 마이닝은 1980년대 후반에 등장한 뒤 1990년대에 큰 발전을 이뤘으며, 2000년대에도 지속적으로 발전하고 있다. 이 책은 데이터 마이닝 분야의 전반적인 그림을 제시하며, 흥미로운 데이터 마이닝의 개념과 기술을 소개하고 응용 분야와 연구 방향에 대해 논의한다. 이 책의 중요한 집필 동기 중 하나는 데이터 마이닝 연구를 위한 조직화된 프레임워크를 구축하는 것이며, 이는 다양한 학문 분야에 연계됐으며, 빠르게 발전하는 데이터 마이닝의 학문적 특성으로 인해 어려운 작업이었다. 우리는 이 책이 다양한 배경과 경험을 가진 사람들과 데이터 마이닝에 대한 의견을 교환하고, 흥미로우며 역동적인 우리의 연구 분야가 좀 더 활성화되는 데 도움이 되기를 기대한다.

지아웨이 한(Jiawei Han)

일리노이 대학교 어바나 샴페인 캠퍼스(UIUC, University of Illinois at Urbana-Champaign) 컴퓨터 과학 학부의 마이클 에이켄(Michael Aiken) 석좌 교수이며, 지식 발견 및 데이터 마이닝 연구에 대한 기여로 ACM(Association for Computing Machinery) SIGKDD 혁신상(2004), IEEE(Institute of Electrical and Electronics Engineers) 컴퓨터 학회 기술 공로상(2005), IEEE W. 월러스 맥도웰(Wallace McDowell)상(2009) 등을 수상했다. ACM 및 IEEE의 펠로(fellow) 연구자다. 『ACM Transactions on Knowledge Discovery from Data』(2006-2011)의 창립 편집장을 역임했으며, 『IEEE Transactions on Knowledge and Data Engineering』, 『Data Mining and Knowledge Discovery』 등 여러 저널의 편집위원회 회원으로 활동했다.

지안 페이(Jian Pei)

듀크 대학교(Duke University)에서 컴퓨터 과학, 바이오 통계학 및 생명정보학, 전기 및 컴퓨터 공학 교수로 재직 중이다. 2002년에 사이먼 프레이저 대학교(Simon Fraser University)에서 지아웨이 한 교수의 지도 아래 컴퓨터 과학 박사 학위를 받았으며, 데이터 마이닝, 데이터베이스, 웹 검색, 정보 검색 분야에서 다수의 논문을 발표하고, 학계 커뮤니티에 적극적으로 기여했다. 캐나다 로열 소사이어티(Royal Society of Canada), 캐나다 공학 아카데미(Canadian Academy of Engineering), ACM 및 IEEE의 펠로 연구자다. 2017년 ACM SIGKDD 혁신상, 2015년 ACM SIGKDD 서비스상을 수상했다.

항항 통(Hanghang Tong)

UIUC 컴퓨터 과학 학과에서 부교수로 재직 중이다. 2009년에 카네기 멜론 대학교(Carnegie Mellon University)에서 박사 학위를 받았으며, 200개 이상의 심사 논문을 발표했으며, 여러 권위 있는 상과 수천 건의 인용으로 인정받았다. SIGKDD Explorations(ACM)의 편집장이며 여러 저널의 부편집장으로 활동 중이다.

1970년대의 기나긴 AI 침체기를 지나 1980년대 AI 부흥기에 등장한 데이터 마이닝은 머신 러닝과 딥러닝의 기반 기술로서, 데이터에서 유의미한 패턴과 지식을 추출해 AI 모델의 학습 효율과 성능 강화에 기여해왔다.
2000년대에 데이터 마이닝은 데이터 전처리, 특성 추출, 차원 축소 등 데이터의 품질을 높이고 효율적 분석 프로세스를 의미했으며, 이상치 감지, 연관 규칙 탐색, 분류 및 클러스터링 등 데이터 마이닝의 전통적인 접근 방식은 현대적인 머신러닝 기법이 돼 데이터에 대한 이해 수준을 높이고 알고리듬의 예측 정확성을 높이는 데 도움을 줬다.
2010년 이후 데이터 마이닝 기술은 현대 머신러닝 및 딥러닝 모델이 더욱 정교하고 신뢰성 있는 결과를 생성하도록 지원하며, 챗GPT 등 생성형 AI을 포함한 다양한 응용 분야가 발전하고 성장하기 위한 기반 기술로서 역할을 수행하고 있다.
데이터 과학자 및 데이터 엔지니어 등 연구자는 데이터 마이닝의 개념과 기법을 이해함으 로써 최신의 생성형 AI의 발전에 필요한 데이터 기반 통찰과 최적화 방법을 제공할 수 있으 며, 현대 AI 모델이 지닌 잠재력을 극대화할 수 있다.
지난 3판 이후 거의 10여 년 만에 출간된 이번 4판은 그동안 있었던 AI 산업과 데이터 분 석 기법의 변화를 반영했으며, 데이터 분석의 기초라고 할 수 있는 데이터 수집 및 전처리, 데이터 웨어하우스, 단순 또는 복잡한 데이터에서의 패턴 마이닝, 지도식 기법인 분류와 회귀분석, 비지도식 기법인 클러스터링 기법을 상세히 설명한다.
책의 후반부에서는 딥러닝 구현을 위한 기반 기술인 신경망 구현, 피드포워드와 역전파, 활 성 함수 및 손실 함수, 엔트로피, 오토인코더 등 전문적인 주제와 다양한 데이터 맥락에서의 이상치 탐색법, 최근 학계 및 산업계에서 주목받는 연구 주제도 알아본다.
이번 『데이터 마이닝 개념과 기법 4/e』은 데이터 분석가는 물론이고, 최신의 생성형 AI 연 구자에게 필요한 지난 40여 년간의 데이터 마이닝 개념과 기술을 이해할 수 있는 소중한 기회가 될 것이다.

동준상

클라우드, 인공지능 부문 강연자, 저술가다. KPC 한국생산성본부, 삼성SDS 멀티캠퍼스 등 주요 고객 외, 과학기술정보통신부, 산업통상자원부, 국방부 등 정부 부처 및 산하기관, 삼성SDS, 삼성전자, 신한은행, 기아자동차 등 기업, 서울대학교, 고려대학교, 포항공대 등 대학에서 관련 주제로 강연을 했다.
소프트웨어 엔지니어링과 오픈 소스에 관심이 많으며, 에이콘출판에서 출간한 『AWS 공인 솔루션스 아키텍트 스터디 가이드 - 어소시에이트 4/e』(2023), 『AWS 공인 솔루션스 아키텍트 올인원 - 어소시에이트 2/e』(2021), 『Great Code Vol.3』(2021), 『자바 머신러닝 마스터』(2019)와 그 외 20여 권을 번역했다.