728x90 반응형 SMALL IT/하둡6 Hadoop Echosystem 하둡에코시스템하둡에코시스템에는 여러 가지 다른 프로젝트들이 있는데 하둡처럼 동물이름을 따서 지어진 것이 많다.Pig(돼지), Hive(벌떼), Zookeeper(동물 사육사) 등이 대표적이다. - Zookeeper : 분산 환경에서 서버 간의 상호 조정이 필요한 다양한 서비스를 제공하는 시스템 1. 하나의 서버에만 서비스가 집중되지 않게 서비스를 알맞게 분산해 동시에 처리하게 해준다. 2. 하나의 서버에서 처리한 결과를 다른 서버와도 동기화해서 데이터의 안정성을 보장해 준다. 3. 운영 (active) 서버가 문제가 발생할 경우 다른 대기 중인 서버를 운영서버로 바꿔서 서비스가 정지 없이 제공되게 해준다. 4. 분산환경을 구성하는 서버들의 환경설정을 통합적으로 관리 해 준다. - Oozie : 하둡 작업.. 2014. 3. 4. Hadoop(하둡) 하둡이란? - 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈 소스 프레임워크이다. (NoSQL 이 아니다)하둡은 2005년 구글이 논문으로 발표한 GFS(Google File System)와 MapReduce를 구현한 결과물 이다.처음에는 오픈소스 검색 엔진인 Nutch에 적용하기 위해 시작됐다가 이후 독립적인 프로젝트로 만들어 졌고, 2008년에는 아파치 최상위 프로젝트로 승격되었다. 하둡은 분산 파일 시스템인 HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 분산 처리 시스템인 맵리듀스를 이용해 데이터를 처리한다. 하둡은 Oracle, MS-SQL, Sybase, MySQL과 같은 RDBMS를 대체하지 않는다. 오히려 RDBMS와 상호 보완적인 특성을 가.. 2014. 3. 4. 이전 1 2 다음 728x90 반응형 LIST
