데이터 모델링 책 추천

개발만 하고싶어요. 

새로운 걸 개발하는 것과 , 현신세계를 디지털 세계옮기는건 각각 다른 영역이라고 생각한다. 현실의 복잡함은 현상 그대로만이 결국 그 실재를 뜻하지만, 디지털 세계의 복잡함은 그 상태와는 별개로 , 인간이 해석가능한 영역내에서의 그 형태를 01 세계에서의 존재와 일치하진 않더라도 , 맞춰야한다는 점이 크다. 디지털 세계에서 디지털 세계를 고도화하는 방편은 그 나름대로의 고충이 있듯이, 실체 를 데이터의 형태로 정의내리는 것은 꽤나 큰 작업이다. 

 

현실의 존재란 무엇인가 , 그 현존재 그 자체를 디지털의 형태로 단순히 그 속성과 관계로 만으로 설명이 가능한가? 아니면 개별의 존재의 실체적 행동으로부터 그 존재를 정의하는가?, 그럼 그 현존재는 시간에 따라 변화하는 속성은 없을까? 여러 고민에 대한 실존 자체의 고민은 많은 철학을 공부하게 하지만, 결국 현실에서 지금 세상을 이루는 데이터의 실체에 있어 정의되어있는 엔터티와 테이블 등이 좋은 레퍼런스임을 부정할 수는 없다. 

 

개발만 하고싶다지만, 새로운 세계를 구성한다지만 현실을 디지털로 바꿔온 디지털 전환과정은 정보화시대의 주축이었고, 다양한 모델링을 해오신 분들이 있다. 한국은 RDBMS, 오라클 등으로 정부 자산등의 데이터 금융권의 온프레미스 등의 데이터 센터등에 있어 많은 구축을 이루었고, 다양한 정부 자산들은 현재 디지털 이원화로 구성되어있다. 그때 다양한 데이터를 디지털로 정의하기 위해서는 개발만 해서는 어림도 없었다. 변화하는 사회와 국민을 저장할 테이블 등 그리고 새로운 국책 혁신을  통해 이루어가는 레거시와 신사업들의 조회와 융합, 다양한 비지니스의 수요와 정합성을 요구할때 RDB를 통해 데이터 모델링을 통해서 혁신을 이루었다. 

 

다양한 컨설턴트가 존재했고, 스프링 정자정부프레임워크등 다양한 전자사업이 나왔고 자바 전성시대를 열었다. 정보화시대에서 현재 4차산업혁명이 오는 이 때에 개발자들은 더욱 더 많은 역할을 하길 기대받는다, 모든 개발을 AI와 함께할수 있다는 기대, 서버 인프라 비용에도 불구하고 바로 앱을 만들어 고객을 유치하지만 결국 모든것은 서버비로 나가버리는 아이러니함 등등에 지속한 AI 혁신 기대는 날마다 커져간다. 언젠간 닷컴 버블처럼, 인공지능도 결국 그 업계가 무한하지 않으며, 여러 노력에도 불구하고 한번쯤 고전을 돌아볼 타이밍이 올것이다. 

 

개발만 하고싶다고 할수 없듯이 데이터 모델링만 할 수는 없다. 데이터 베이스의 B-tree 를 직접구현하여보고, 그 깊이를 느껴보는 시간은 하나의 철학을 구축해갈것이다. 새로운 걸 따라가고 개발하는 것보다 가끔은 아래 고전의 책들로 우리의 고민을 좀 더 철학적으로 느껴보면 좋겠다 싶어, 좋은 책들을 추천한다. 

Star schema the Complete Reference 

우리의 star schema는 단순하지만,, 현실문제는 단순하지 않음을 보여주는 책이다. 우리가 star schema를 구성하여 구현하는 동안에 많은 문제를 마주하게 되는데, 기존 데이터 변경, 마케팅의 요청에 따른 데이터 칼럼추가, 어떤 변화를 아카이브해야하는가? 등에 대한 문제들을 다룬다. 처음 Django로 여러 업체들의 업무상황과 지사별 상황에 따라 다 달라지던 조회 등등을 고민한다면, 여러 엣지케이스에 따라서 어떻게 만들 고 튜닝할 것인지에 대해서 논하는 책. 

SQL 문법또한 작성되어 있어서괜찮은 책이며, 부모 자식계층 처리방법등에 대해서 다루고, Bridge table, Path String 등등 가장 기본적인 Transaction에 이어, 우리의 주기적 스냅샷을 찍는 부분, 누적 스냅샷을 어떻게 관리해야하는지 를 논의하고, 특수 데이블들을 구성하여 , 다대다 관계를 어떻게 처리하고( 브릿지 테이블) 잡다하게 늘어나는 상태코드들과 , 결제방법 등등이 취가된다면 어떻게 플래그를 처리해야할지 등에 대해서 잘 적혀 있다. 

우리가 개발을 하면서 아 이걸 어떻게처리해야할까 라는 비지니스세상의 내용은 대부분 들어가있어 좋은 공부도구이다. 쿼리로 하나씩 테이블 을 만들어서 구성하고 실험해보면 손에 익는 속도가 빠르다. 

 

Star Schema the Complete Reference | Adamson, Christopher - 교보문고

 

Kimball Data warehouse tool kit 3edition

데이터 웨어하우스에 있어서는 바이블같은 책이다. 

많은 추천사들이 있어 굳이 이책이 좋니 뭐니 할필요는 없다. 

가장 좋은 점이라고 나의 생각은 우리가 대부분 현업에서 일단 데이터 테이블 생성하고 데이터 밀어넣고, 쿼리를 날리는 과정 그대로로 실행되어서 좋다. 또한 그 과정속에서 개발만 했던 사람으로는 이해하기 어려운 비지니스 단의 내용들을 데이터마트 구성부터 시작해서 전사적으로 통합해 나가는 모습을 그린다. 그렇지만 ETL의 모범과 현재 2025년에 쓰이는 ETL의 모범과는 거리가 조금 멀수가 있어 과거의 가치를 읽어야할것 같다. 

여러 산업별 사례들이 담겨있어, 그 스토리와 함께 차원 모델링을 하다보면 여러 산업 시스템에 대한 이해가 높아질 것으로 생각된다. (과거에는 오픈소스가 지금 처럼 활발하지 않았다고 생각하면 정말 단비같은 책이다.) 

 

The Data Warehouse Toolkit | John Wiley & Sons - 교보문고

 

Building the data warehouse Inmon

위의 Kimbul의 책이랑은 좀 다른 분위기이다. 처음에 원래 이책이 있길래 도서관에 집어들었다가, 지루해서 죽는 줄.. 알았지만 나중에야 아 왜 이책이 볼만한지 알았다..(경험은 중요하다)  업무의 프로세스 중심이었던 킴벨과는 거리가 좀 있다. 둘의 데이터베이스의 추구미?가 좀 다른 편인데 , 킴벌의 업무 주제와 업무 기능 별 구축방식이 아니라, 분석을 위한 주제 중심으로 분석해간다. 결제 프로세스나 배송프로세스를 기준을 구축하던 Transaction 중심이 아니라(OLTP) 분석할 주제와 비지니스의 사용의 중심에 있다. 근래 애자일 방법론과 백앤드 양성으로 인한 개발 인력의 확충에 있어서 회사 내에서 TF 와 애자일팀에서 주로 쓸 수 있는 주제 지향적 방식의 레퍼런스였다. 통합된 데이터 베이스를 구성하여 시계열 프로세스에서 스냅샷과 어떻게 read only 와 Append 관점으로 처리해야할지에 대해서 논하는 책이다. 

또한 주로 3정규화 방식을다루기 때문에 데이터 마트의  형태와 의미가 조금 달라지는 형태다. 데이터를 통합으로 관리하여 누수가 없도록 하는 관점으로 나는 이해했다. 좋은 책이었고 계속 봐야할 책이다. 

 

Building the Data Warehouse, 4/e | Inmon, W. H. - 교보문고

---

Petrov Database Internals

아주 좋아하는책이다 . 개발자들이라면 거의 필수적으로 알 build you own x 시리즈와 더불어 awesome 시리즈가 있다. 여기에도 스스로 데이터베이스를 만들어보고 언어별로 데이터 베이스를 만들어가는 과정이라는 부분이 있지만 , 대부분의 내용은 핵심 개념을 구현하는데 초점이 있다. (검색 쿼리 ,b-tree 알고리즘 직접짜보기 등등) 그러나 이책은 데이터 베이스 엔진이 어떻게 작동해야하는지에 대해 논해주는 아주 귀한책이다.

우리가 데이터 베이스를 고르는기준? 스타트업에서는 별거 없다, 싸다, 그리고 관리가 편하고, 신입이든 경력이든 다써본 엔진 쓴다. 그럼 대부분 mysql을 이전에썻지만 Oracle 인수이후 유료화에 대해서 걱정이 다들 되는지 postgresql을 쓰는 추세로 변경되었다. 오픈소스의 강력함을 믿기도 하는 것 같다. 시간이 지나면서 데이터 베이스가 추구하는 방향도 바뀌고 평생을 공부해야한다면, 이책으로 기본을 다지면 좋을것 같다. 

스토리지 엔진으로 시작하여 분산시스템의 구성도 설명하는 이책은 왜 B-tree가 읽기와 수정에 최적인지 설명한다. 또한 LSM-Tree까지 설명하여 ( Cassandra, LevelDB) 등의 최식 분석기반 DB에 널리쓰이는 구조를 통해서 Write 를 일단 메모리테이블에 기록하고 나중에 저장테이블 (디스크 SStable) 에 병합시키는 방식에 대해서 설명해준다. 트랜젝션 처리에서 절대적으로 쓰이는 ACID ( 개발자가 이거 입에서 안나오면 이상한상황) , MVCC( 다중 버전 동시성 제어) 그 원리들을 설명해주고 있다. 

확실히 개발자 중심으로 구현하는사람에 맞춰서써있고 그 데이터베이스의 철학에 대해서 여러갈래없이 딱잡아서 설명한다. 

분산 시스템또한 설명하고 있는 책인데, 복제, 합의 알고리즘, 분산 트랜젝션 처리를 어떻게 처리하는지에 대해서 논의하고 있는데 고전책들에서는 다루지 않던 정보들도 속속히 정리하여 논문을 찾기도 좋다. 땡큐 오라일리. 

 

 

데이터베이스 인터널스 | 알렉스 페트로프 - 교보문고

 

Agile Database Design

근래의 개발방법, AI까지 개발에 뛰어들어 코드 작성의 속도는 빨라지고, 산업은 가속화 되어 어떻게 도데체 내가 이걸 맞춰서 TF을 구성하고, 2주마다 방법이 바뀌고, 데이터 의형질도 바뀌는 상황에서 기업에서 DBA 는 이러지 말라 소리치고, 비지니스는 고객 뺏긴다 할때 ,, 정말 대략난감,, 난 여기 할떄 추천받은 책이다. 

데이터 모델링을 한번하면 백앤드도 그에 맞춰서 수정 및 프론트 API 수정을 더불어하면 블라인드 스팟에서 갑자기 앱이나 서비스가 터져서 안정화를 거친 우리들은. 왠만 하면 비지니스가 협박하지 않는이상 마이너픽스  이상의 데이터베이스를 변경하려고하지 않는다. 그렇지만 현실은 녹록치 않고 엔지니어라면 최대한 대안을 찾아봐야겠다 싶어서 여러 분들한테 문의하였더니, 대학원 친구를 통해 통해 물어서 추천받은 책이다. 

리펙토링 기법을 사용해서 작은 변경을수십번 반복해가면서 데이터를 리모델링? 해가는 과정을 진행한다. 물론 개발자들의 성향에따라 다르겠으나 데이터 베이스를 모델링하는 것을 한 스프린트에 넣어서  한스프린트별로 재 모델링하는 관점이다. 약간의 회의감이 들긴했으나, 쭉 읽다보면 이에 맞는 애자일 방식을 어떻게 적용할지 설명해주는 부분들 이 많다 .데이터 웨어하우스에 있어서 DDL과 git등으로 어플리케이션 코드랑 일치시키는과정, API 통합을 통한 검증과정, TDD 방법론으로 구성하는 방법, 잘만 구현하면 참 좋지만, 아직 현실적으로 한국 회사들에게 있어 DB 부분은 한번 구성하여 그냥 두는 형태라서 미래지향적을 생각하면 좋겠다 하고 읽었다. 좋은 예시들 도 있지만 팀 전체에 대해서 합의가 이루어져야하고, 문화로 정착되어야 사람들이 알것 같다. 

기존의 백앤드와 디비 담당등등의 싸움을 해소? 가 아니라 잘게 나누어서 전쟁하지 않을 수 있는 방향이라 PM 하게 되면 한번TF에 적용해보려고한다. 

Agile Data Warehouse Design | Corr, Lawrence - 교보문고

 

 

Data modeling with Snowflake

추천받은 책이다. 

아직 음미하지는 못하고 그냥 당장 필요해서 읽은 책이다. 많은 책들이.. 주로 온프레미스와 더불어서 " 우리의" 데이터베이스에 집중했다면 ,여기서는 클라우드 환경에서 어떻게 재해석되어야하는가를 논하는 책이다. 요즘 GCP로 이런저것저것 SAP 서버구성부터 HANA 설정 을 하고나면 더이상 할게 없이 위임하는 형태의 작업이 클라우드에는 많다. 직접 CICD를 해놓으면 더이상할게 없어지는.. ( 나 짤려..?,이러면 구축 관리 말고 할수있는게 뭐가있지?) 아이러니한 상황에 쳐하는 경우가 많다. 특히 외주사들 일 해주다보면 서버구성 요구사항 분석 후 구축 관리설명 하고 나면 끝이다. 더이상 연락이 안온다. .. 

 

과거의 데이터 베이스는 스토리지와 역여 있어서 그 시스템에 적응하면 끝이지만 가상화에 가상화를 겪는 지금 세대의 데이터 베이스는 여러 데이터 베이스를 시험적으로만들어내고 Neo4j부터 다양한 데이터 베이스를 거친다. 그리고 컴퓨팅 파워도이전처럼 고도화작업으로 스토리지하나 추가할때마다 기획, 구현, 심사 , 변경 중단, 중단, 이후 재설계 단계를 다거칠 필요 없이 어느정도 사용량이 높아지면 걍 컴퓨터 자원을 하나 더사면된다.(비용증가는 잠시 눈을 감아보자) 이전에 우리가 정규화를거칠수록, 오히려 쿼리비용이 상승되었던걸 그냥 정규화를 유지해도 되는 상황이되기도한다. 

개념의 적용이 컴퓨팅 파워와 데이터 베이스 자체가 하드웨어와 분리가 되어 유동적으로 다루게 되면서 Data vault 2.0의 Hub Link, satellite 로 분리하여 저장하는 과정으로 클라우드 데이터 베이스에 대해서 가이드한다. 그러나 snowflake에 맞춰져서 작성되어서 다른 시스템 AWS GCP 하나 등등에 있어서는 밴더사의 워크로드에 맞춰서 작성되어야한다. 

 

개발자면.. 알아서 공식문서 보고 하도록하자 ..? 

Data Modeling with Snowflake | Gershkovich, Serge - 교보문고

 

 

요즘 근래에 사고싶은 책들은 아래 책들이다. 

나중에 다 읽고 연습해보고 또 리뷰 올리려고한다. 
(내후년은 되야할거같음)

https://www.red-gate.com/blog/5-must-read-database-modeling-books

5 Must-Read Database Modeling Books? | Redgate

 

Designing Data-Intensive Applications - Martin Kleppmann

NoSQL Distilled - Pramod Sadalage, Martin Fowler

Delta Lake: The Definitive Guide

Data Mesh: Delivering Data-Driven Value at Scale - Zhamak Dehghani