"&#54616;&#46177;"

항목

하둡 Hadoop, High-availability distributed o..
대용량 데이터 분산 처리 플랫폼의 약자로 다수의 범용 컴퓨터를 연결하여 하나의 시스템처럼 작동하도록 묶어 대용량의 다양한 데이터들을 분산 처리하는 오픈소스 프레임워크(소프트웨어 패키지). 하둡(hadoop)은 2005년 더그 커팅(Doug Cutting)과 마이크 케퍼렐라(Mike Cafarella)가 오픈소스 검색 엔진인 아파치 너...

도서 TTA정보통신용어사전 | 태그 컴퓨터/정보통신
하둡 Hadoop
대용량 데이터를 상대적으로 쉽게 처리할 수 있는 오픈소스 자바 소프트웨어 프레임워크의 이름. 미국의 프로그래머 더그 커팅(Doug Cutting)이 2005년 개발했다.|개요 하둡(Hadoop)은 대용량 데이터의 활용·처리를 돕는 자바(Java) 소프트웨어 프레임워크(Software Framework)의 이름이다. 소프트웨어 프레임워크란 ...

도서 다음백과 | 태그 컴퓨터/정보통신
데이터 분석 처리 시각화, 하둡 Hadoop, High-availability ..
대용량 데이터 분산 처리 플랫폼의 약자로 다수의 범용 컴퓨터를 연결하여 하나의 시스템처럼 작동하도록 묶어 대용량의 다양한 데이터들을 분산 처리하는 공개 소스 프레임워크(소프트웨어 패키지)|하둡은 2005년 더그 커팅(Doug Cutting)과 마이크 케퍼렐라(Mike Cafarella)가 오픈 소스 검색 엔진인 아파치 너치(Ap...

참고 :

하둡이라는 이름은 개발자인 더그(Doug)의 아들이 갖고 있던 노란 코끼리 장난감의 이름을 따서 지었다. 이후 개발한 하둡 에코시스템(ecosystem) 프로그램들은 하이브(hive), 데이터 모델링 솔루션, 피그(pig, 빅데이터 분석을 위한 플랫폼)처럼 모두 동물 이름을 갖게 되었다.

도서 용어로 알아보는 우리시대 DATA | 태그 컴퓨터/정보통신
Hadoop
데이터 분산 저장 분산 처리 프레임워크 Hadoop 하둡(Hadoop)은 대량의 자료를 처리할 수 있는 대규모 컴퓨터 클러스터에서 동작하는 분산 애플리케이션을 지원하는 오픈 자바 소프트웨어 프레임워크다. 하둡은 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템 HDFS과 분산 처리 시스템인 ...

유형 :

해외 빅데이터 플랫폼

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
아파치 하둡 (관련어 하둡) Apache Hadoop, Apache Hadoop
소프트웨어 정보 아파치 하둡과 맵리듀스를 구현한 것이다. 베이스 아파치 하둡 프레임워크는 다음의 모듈을 포함하고 있다. 하둡 커먼(Hadoop Common) 하둡 분산 파일 시스템(HDFS) 하둡 YARN 하둡 맵리듀스 하둡은 2006년 더그 커팅과 마이크 캐퍼렐라(Mike Cafarella)가 개발하였다. 당시 커팅은 야후에서 일하고 있...

도서 위키백과
HDFS 하둡 분산 파일 시스템, Hadoop Distributed File System
분산 파일 시스템(GFS)과 맵리듀스(MapReduce)를 구현한 것으로, 그 설계와 아이디어가 많은 부분에서 구글의 것과 유사하다. 하둡은 대용량 데이터를 분산시키고 저장하고 관리하는 하둡 분산 파일 시스템(HDFS)과 대용량 데이터의 분석을 수행하는 맵리듀스로 구성된다. HDFS의 특징 하둡 분산 파일 시스템(HDFS)은...

유형 :

빅데이터 저장방법

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
Batch
처리 효율을 높일 수 있고, 일정 시점 단위로 처리해야 하는 업무에는 여전히 유용한 방법으로 이용되고 있다. 빅데이터 일괄처리 플랫폼 하둡 하둡은 분산 파일시스템인 HDFS(Hadoop Distributed File System)와 분산처리를 위한 맵리듀스(MapReduce)로 구성된 빅데이터 플랫폼이다. 아래 그림과 같이 휴대전화, 컴퓨터...

유형 :

빅데이터 처리기술, 아키텍처

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
Cloudera Impala
Impala 정의 임팔라(Impala)는 하둡 위에 동작하는 질의 엔진으로 빅데이터 하둡 플랫폼을 제공하는 클라우데라(Cloudera)에서 공개하였다. 아파치 하둡 에코시스템은 데이터에 중점을 두고 있어 SQL 경험이 있는 데이터베이스 개발자에게 잘 맞는다. Impala 특징 하둡 애플리케이션 개발 작업의 많은 부분이 데이터...

유형 :

해외 빅데이터 플랫폼

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
Oozie / Hcatalog / Zookeeper
Oozie 정의 Oozie는 하둡의 작업을 관리하는 워크플로우 및 코디네이션 시스템이다. Oozie는 여러 단계에 걸쳐 처리되는 분석 작업의 흐름(workflow)을 관리하고, 주기/비주기적으로 분석 작업을 스케줄링하기 위한 작업을 위해 사용되고 있다. Oozie는 맵 리듀스, 하이브, 스쿱 등 하둡의 다양한 도구들과 동작하도록...

유형 :

빅데이터 관리기술

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
Qoobah
빅 데이터 혁신을 위한 파트너, 그루터 (하둡 에코 시스템을 최적화하기 위한 그루터의 노력, Qoobah와 그외 솔루션) 기업들에는 트위터, 페이스북, 블로그 등에 일반 사용자들이 SNS에 남긴 글들을 취합해 분석하고 모니터링하는 소셜분석이 중요해지고 있다. 이를 위해 그루터사는 소셜미디어(SNS)상에서의 데이터에...

유형 :

국내 빅데이터 플랫폼

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
Sqoop
Sqoop의 정의 스쿱(Sqoop)은 하둡(Hadoop)과 관계형 데이터베이스 간에 데이터를 전송할 수 있도록 설계된 도구이다. MySQL이나 Oracle과 같은 관계형 데이터베이스 관리 시스템(RDBMS: Relational Database Management System)으로부터 Hadoop 분산 파일 시스템(HDFS)으로 데이터를 가져오는 데에 Sqoop을 사용할 수...

유형 :

빅데이터 처리기술, 수집

도서 국립중앙과학관：빅데이터 과학관 | 태그 컴퓨터/정보통신
클라우드 컴퓨팅 Cloud Computing
이상)의 서버 환경에서 대용량 데이터를 분산처리하기 위한 기술이 만들어졌다. 바로 하둡(Hadoop: High-Availability Distributed Object-Oriented Platform))이다. 하둡은 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다. 복수의 컴퓨터를 논리적인 하나의...

도서 국립중앙과학관：사물인터넷 과학관 | 태그 컴퓨터/정보통신