하둡은 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크 입니다.
하둡은 구글이 논문으로 발표한 GFS(Google File System) 와 맵리듀스(MapReduce) 를
2005년에 더그커팅(Doug Cutting) 이 구현한 결과물 입니다.

처음에는 오픈소스 검색엔진인 너치(nutch) 에 적용하기 위해 시작했다가
이후 독립적인 프로젝트로 만들어졌고, 2008년에는 아파치 최상위 프로젝트로 승격되었습니다.
하둡은 분산 파일 시스템인 HDFS(Hadoop Distributed File system) 에 데이터를 저장하고
분산 처리 시스템인 멥리듀스를 이용해 데이터를 처리합니다.

왜 하둡이 빅데이터에서 가장 주목받게 된것일까요?

오늘날 우리는 엄청나게 많고 다양한 종류의 데이터가 쏟아져 나오는 시대에 살고 있습니다.
이런 다양한 종류의 데이터들중에는 우리가 그동안 한번도 분석해보지 못한 데이터들도 있습니다.
데이터들중 테이블 형태와 같은 정형 데이터의 경우는 기존의 관계형 데이터베이스에 저장할 수 있지만 웹로그 같은 비정형 데이터를 RDBMS 에 저장하기에는 적합하지 않고 그 양이 너무 큽니다.

사용 RDBMS 가 설치되는 곳은 대부분 고가의 장비인데다가
데이터를 감당하기 위해 무한정 스토리지를 늘릴 수도 없는 노릇입니다.
이에 반해 하둡은 오픈소스 프로젝트이기에 소프트웨어 라이센스 비용에 대한 부담이 없습니다.
시스템 운영이나 데이터베이스 관련 업무를 해보신분이라면
상용 RDBMS 의 라이선스 비용이 얼마나 큰지 아실 것입니다.

그런데 하둡은 값비싼 유닉스 장비를 사용하지 않고, x86 cpu 에 리눅스 서버만 있으면 됩니다.

기존 RDBMS 는 데이터 베이스가 설치된 서버 한군데에만 데이터를 저장하는 방식이라면,

하둡은 여러대의 서버에 데이터를 저장할 수 있고
데이터가 저장된 각 서버에서 동시에 데이터를 처리합니다.
이러한 분산 컴퓨팅 방식을 통해 하둡은기존 데이터 분석 방식으로는
상상도 못했던 성과를 보여줬습니다.

2008년 뉴욕타임즈는 130년 분량의 신문기사 1100만 페이지를
아마존 EC2, S2, 하둡을 이용해 하루만에 PDF 로 변환하는데 성공했습니다.
이때 소요된 비용은 200만원에 불가합니다.

이 변환작업은 그 당시 일반 서버로 진행할 경우 약 14년이 소요되는 엄청난 작업량이었습니다.

하둡은 이렇게 저렴한 구축 비용과 비용 대비 빠른 데이터 처리,
그리고 장애를 대비한 특성은 많은 기업들의 구미를 당기게 했습니다.
그래서 초기에 야후에서만 주도적으로 사용됐지만,
현재는 아마존, 이베이, 페이스북, 마이스페이스 등 글로벌 서비스 업체에서 주로 이용하고 있으며,
국내에서는 NHN, DAUM 과 같은 포털기업과 KT, SKT 같은
기관통신사업체와 그외 다수의 기업들에서 사용되고 있습니다.

(강의 참고 서적 - 시작하세요! 하둡 프로그래밍 - 위키북스, 정재화 지음)