728x90 반응형 SMALL IT/하둡6 HDFS(Hadoop Distributed File System) 아키텍처 HDFS은 블록 구조의 파일 시스템이다.블록 사이즈는 기본 64MB 로 설정 되어 있으며 HDFS 에 저장되는 파일은 블록으로 나눠져서 분산 서버에 저장된다.이렇게 분산된 서버에 나눠서 데이터를 저장하기 때문에 로컬 서버의 하드디스크보다 큰 사이즈의 데이터를 저장할 수 있는 것이고,저장할 수 있는 용량을 수십기가, 테라, 페타바이트까지 확대할 수 있다. HDFS의 파일 복제 구조HDFS은 블록을 저장할 때 기본적으로 3개씩 복제본을 저장한다. (설정 가능) 특정 서버의 하드디스크의 오류가 생기더라도 복제된 블록을 이용하여 데이터를 조회 할수 있다. HDFS 에 저장되는 디렉토리, 파일명과 같은 네임스페이스 그리고 해당 파일의 복제본 수와 블록의 위치도 네임노드의 메타데이터에 저장된다. 데이터노드는 주기적.. 2014. 3. 5. HDFS(Hadoop Distributed File System) 기초 기존에도 DAS, NAS, SAN과 같은 대용량 파일시스템이 있었으며, HDFS 또한 이러한 대용량 파일 시스템과 유사하다.가장 큰 차이점은 저사양 서버를 이용해 스토리지를 구성할 수 있다는 것이다.HDFS 을 이용하면 수백대의 저사양 웹서버급 서버를 하나의 스토리지처럼 사용할 수 있다. HDFS에 저장하는 데이터는 물리적으로는 분산된 서버의 로컬 디스크에 저장되어 있지만 파일의 읽기/저장과 같은 제어는 HDFS 에서 제공하는 API 를 이용해서 처리 된다. HDFS 가 기존의 대용량 파일 시스템을 완전히 대체하는 것은 아니다.DBMS처럼 고성능, 고가용성이 필요한 경우에는 SAN 을안정적인 파일 저장이 필요한 경우에는 NAS 를 사용한다.또한 전자상거래처럼 트랜잭션이 중요한 경우는 HDFS이 적합하지 .. 2014. 3. 4. Hadoop Test (STS + Maven) Hadoop 을 이용한 테스트 프로그램을 작성해 보자.Tool : STS (이클립스도 상관 없음)Builder : Maven (Ant 도 상관 없음) - 파일의 단어 개수 파악 하기 프로그램STS > New Maven Project > 프로젝트명 : ExWordCounterpackage : com.pnpsecure.hadoopClass Name : WordCounter.java package com.pnpsecure.hadoop;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer; import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWrita.. 2014. 3. 4. Haddop 설치 리눅스 서버 준비vmware 에 Cent OS로 준비 했으며 아래와 같이 구성 할 계획 이다. 호스트하둡 설치 내용 yh01 - 192.168.3.118 네임노드 yh02 - 192.168.3.119 보조네임노드 겸 데이터 노드 yh03 - 192.168.3.120 데이터 노드 테스트용으로 구성한 환경에서는 보조네임노드와 데이터노드를 함께 두었지만실제로 서비스 용도로 준비할 때는 보조 네임도드는 단독으로 설치 하는 것을 권장한다.보조 네임노드는 네임노드의 장애 발생에 대비하는 것이기 때문이다. 하둡 실행 계정 생성 - root 계정으로도 하둡을 실행할 수 있지만 root로 하둡을 관리하는 것은 좋은 방법이 아니다. 혹시라도 root 계정으로 사용하다가 중대한 실수라도 하게 되면 리눅스 시스템 자체가 사용.. 2014. 3. 4. 이전 1 2 다음 728x90 반응형 LIST
