백과

일반적으로는 데이터 계열이나 신호, 메시지의 발신원을 가리키는데, 본래는 정보이론의 용어로서 만들어진 것이다. 정보이론에서는, 정보원이 확률 모델로 정의되는 것과 암묵 중에 양해되어 있다. 즉, 기호의 이산적 집합을 알파벳이라 하고, 정보원은 이 알파벳의 문자로 이루어지는 계열을 일정한 속도로 생성하는 확률과정으로 간주한다.

이 확률과정이 정상일 때, 정보원은 정상정보원(stationary source)이라고 하고, 그 확률구조 하에 엔트로피가 정의된다. 이것을 정상 정보원의 엔트로피라고 한다. 즉, 엔트로피는 확률 모델의 앙상블에 대해서 정의되는 것이며, 정보이론에서는 엔트로피를 가지는 정보원만을 취급하는 것이 보통이다. 정상정보원 안에서, 특히 계열의 생기가 각 시점에서 서로 독립하고 또한 분포가 일정할 때, 그것을 정보이론에서는 무기억 정보원(memoryless source)이라고 한다.

이 경우, 확률 모델은 알파벳 A={α₁, …, α_n}와 문자 α_i의 확률 분포 P{α_i}=p_i에 의해 규정된다. 그 때, 그 무기억 정보원의 엔트로피는

로 나타내어진다. H≦log₂n이며, 무기억 정보원에서 생성되는 계열은 1문자당 길이가 얼마든지 H에 가깝게 되도록 2진수의 계열로 변환된다. 이것을 정보원 부호화정리라고 한다. 같은 것이 정상 정보원에 대해서도 성립되는 것이 증명되어 있다.

복수의 정보원이 있으며, 이것들이 서로 확률적으로 상관할 때, 상관성 정보원(correlated source)이라고 한다. 이 경우, 각각 조건부 엔트로피가 정의된다. 그리고 이것들의 조건부 엔트로피도 각각 부호화의 한계를 주는 양으로서 물리적으로 의미가 주어지는 것이다. 〈참조어〉 정보이론, 상관성 정보원