백과

네트워크로 연결한 다수의 컴퓨터 시스템에 저장된 데이터를 입출력, 조작, 제어 등 데이터 처리 기능 일부 또는 전부를 분산하여 병렬로 처리하는 방식.

분산 데이터 처리(DDP: Distributed Data Processing)는 다수의 컴퓨터를 네트워크로 연결하여 사용자가 여러 컴퓨터에 있는 데이터를 한 대의 컴퓨터 시스템에 저장된 것처럼 데이터를 처리하는 기술이다.

분산 처리(distributed processing)는 분산 컴퓨팅 환경(DCE: Distributed Computing Environment)에서 프로세싱 자원, 메모리 자원 등을 공유하여 운영체제나 대규모 응용 프로그램(application program)을 처리하는 것과 같이 포괄적인 컴퓨팅 처리 방식을 말한다. 한편 분산 데이터 처리(DDP)는 하둡(Hadoop)과 같은 빅데이터 플랫폼이나 오라클과 같은 데이터베이스 관리 시스템(DBMS)에서 데이터를 분산하여 처리하는 방식이다.

대표적 분산 데이터 처리(DDP)로는 데이터 분산 병렬 처리 기법인 맵리듀스(MapReduce)가 있으며, ‘맵리듀스’를 구현한 하둡(Hadoop)이 빅데이터 처리에 주로 사용된다.

분산 데이터 처리(DDP)는 중앙 집중식 데이터 처리에 대비하여 분산 처리(distributed processing)를 통한 빠른 데이터 처리 속도, 효율적인 컴퓨팅 자원 활용, 데이터 손실에 대비한 장애 허용성(fault tolerance)이 크나 보안/통신 관리가 복잡하고, 네트워크 리소스가 많이 필요하다.