데이터 레이크, 데이터 웨어하우스... 이게 다 뭔지.

안녕하세요. 강준수입니다.

오늘은 데이터를 담아두는 곳이라는 여러가지 데이터 어쩌구 들을 정리해보겠습니다.

 

먼저, 데이터 레이크란...

 "일단 가공하지 않은 원시 데이터를 있는 그대로 다 쏟아붓는 거대한 저수지"**라고 이해하시면 됩니다.

 

 

그렇다면 데이터 레이크와 비슷한 데이터 웨어하우스 라는 용어가 또 있는데요..

두개 용어가 어떤 차이가 있는지 살펴봤습니다.

 

1. 데이터 레이크(Data Lake) vs 데이터 웨어하우스(Data Warehouse)

가장 쉬운 비유는 '생수'와 '강물'입니다.

• 데이터 웨어하우스 (생수 병):
  • 정제되고 깨끗하게 걸러진 데이터만 담습니다.
  • **구조(Schema)**가 미리 정해져 있어야 들어갈 수 있습니다. (Schema-on-Write)
  • 보통 규격화된 SQL로 분석하는 정형 데이터 중심입니다.
• 데이터 레이크 (거대한 저수지):
  • 강물, 빗물, 진흙물 등 모든 종류의 데이터를 일단 다 받습니다.
  • 데이터를 넣을 때 형식을 따지지 않습니다. (이미지, 로그, 센서 데이터 등)
  • 분석할 때가 되어서야 필요한 데이터만 골라 형식을 맞춥니다. (Schema-on-Read)

 

그럼.. 이런 의문이 있을 수 있겠죠...

2. 왜 그냥 모아두기만 하지 않고 '레이크'라고 부를까?

단순한 '저장소(Storage)'와 '레이크(Lake)'의 차이는 활용성에 있습니다.

• 비정형 데이터의 천국: 서버 로그, 고객 상담 녹취록, 보안 장비의 Raw 이벤트 데이터 등 형식이 제각각인 데이터를 원형 그대로 보존합니다. 나중에 AI 모델을 학습시킬 때 이 '가공되지 않은 원형'이 매우 중요하기 때문입니다.
• 경제적인 확장성: 앞서 설명드린 객체 스토리지를 기반으로 구축하기 때문에, 엄청난 양의 데이터를 쌓아도 비용 부담이 상대적으로 적습니다.
• 중앙 집중화: 각 팀마다 흩어져 있던 데이터(Data Silo)를 한곳에 모아, 전사적인 데이터 흐름을 한눈에 볼 수 있게 합니다.

요약하자면...

데이터 레이크는 "나중에 어떻게 쓸지 지금은 다 모르겠지만,

일단 원석 그대로 다 모아두고 필요할 때 꺼내 쓰는 거대한 창고"입니다.

 

그런데 요즘엔.. 이런 용어가 또 등장했다고 하네요.

 

3. 데이터 레이크하우스 (Data Lakehouse)

최근 가장 핫한 용어입니다. 이름에서 느껴지듯이 데이터 레이크의 유연함과 데이터 웨어하우스의 관리 기능을 합친 것입니다.

• 등장 배경: 레이크는 다 담을 수 있지만 관리가 안 되고(늪), DW는 관리는 잘 되는데 너무 비싸고 유연하지 못하다는 단점이 있었습니다.
• 특징: 데이터 레이크(GCS, S3 등) 위에 DW처럼 데이터 트랜잭션(ACID)이나 스키마 관리를 할 수 있는 계층을 올린 구조입니다.
• 한 줄 요약: "저렴한 저장소에 다 담으면서도, DW처럼 깔끔하게 쿼리를 날릴 수 있는 하이브리드 환경"

4. 데이터 마트 (Data Mart)

데이터 웨어하우스의 '부분 집합' 또는 '특수 목적용 복제본'이라고 생각하시면 됩니다.

• 특징: 전체 DW에서 특정 부서(예: 마케팅팀, 보안팀)가 필요한 데이터만 따로 추출해서 구축한 작은 저장소입니다.
• 비유: 백화점(DW) 전체를 뒤지는 건 힘드니까, 내가 필요한 물건들만 모아둔 '편의점(Mart)'에 가는 것과 같습니다.
• 보안 관점: 보안팀에서 분석할 로그 데이터만 따로 모아둔 '보안 데이터 마트'를 구축하면 접근 제어(IAM) 관리가 훨씬 단순해집니다.

5. 데이터 늪 (Data Swamp)

이건 기술 용어라기보다 '실패한 데이터 레이크'를 일컫는 경고성 용어입니다.

• 특징: 데이터 레이크에 데이터를 마구잡이로 쏟아부었는데, 정작 메타데이터 관리가 안 되어 무엇이 어디에 있는지, 이 데이터가 믿을 만한 것인지 알 수 없게 된 상태입니다.
• 위험성: 보안 아키텍트 입장에서는 가장 위험한 상태입니다. 민감 정보(PII)가 어디에 섞여 있는지 파악이 안 되기 때문입니다.

6. 한눈에 비교 해보기

용어	주요 특징	한 줄 비유
Data Lake	가공되지 않은 모든 원시 데이터 저장	거대한 저수지
Data Warehouse	정제된 정형 데이터 위주 분석	정수된 생수병
Data Lakehouse	레이크의 용량 + DW의 관리 기능	최신식 정수 시스템을 갖춘 저수지
Data Mart	특정 부서/목적을 위한 데이터 추출본	필요한 것만 모아둔 편의점
Data Swamp	관리가 안 되어 쓸 수 없게 된 데이터 레이크	오염되어 쓰지 못하는 늪

 

 

오늘은 데이터와 관련된 여러가지 용어에 대해서 살펴봤습니다.

비슷한 용어가 참 많은데요, 역시나 데이터가 중요하고 더 중요해지기 때문에 데이터와 관련된 단어가 더 생기는거 같네요. 

이만 마치겠습니다. 

데이터 개념 설명(DATA SWAMP, DATA LAKE, DATA WAREHOUSE, DATA LAKEHOUSE)