성서에 따르면(요한 19 : 41~42) 예수의 무덤은 십자가형이 집행된 장소 가까이에 있었다고 한다. 따라서 이 교회는 십자가형을 당한 장소와 예수의 무덤을 둘러싸도록 설계되었다.

거룩한 무덤 성당은 예루살렘 구시가의 북서지역에 있으며, 콘스탄티누스 대제가 처음으로 이 장소에 교회를 세웠다. 336년경 봉헌되었고, 614년 페르시아인들에 의해 불탔다.

모데스투스(616~626 : 테오도시우스 수도원의 대수도원장)가 재건했으나 1009년경 칼리프인 알 하킴 비 아므르 알라에 의해 파괴되었고, 비잔틴 황제 콘스탄티누스 모노마쿠스가 복원했다. 12세기에 십자군은 이 교회를 전반적으로 개축했으며, 이후 잦은 보수공사·복원작업·개축이 계속되어 1810년 현재의 모습으로 완성되었다.

4세기 이후 줄곧 이 장소는 예수가 죽어 묻혔고 부활한 곳으로 인정되어왔다. 그러나 이곳이 진짜 그 장소인지에 대해서는 많은 논쟁이 있어왔다. 1~3세기에 그리스도인들이 이 사건이 일어난 장소에 대한 믿을 만한 전승을 보존했는가 또는 보존할 수 있었는가에 대해서도 판단하기 어렵다.

예루살렘의 그리스도 교회의 구성원들은 66년경 펠라로 도망쳤고, 70년에 예루살렘은 파괴되었다. 이후 몇 세기 동안 일어난 전쟁·파괴·혼란 때문에 정확한 정보를 보존하기란 어려웠던 듯하다. 다른 의문은 고대 예루살렘 북쪽의 제2벽로와 관련이 있다. 거룩한 무덤 성당의 동쪽과 남쪽에 남아 있는 몇몇 고고학적 유물들은 제2벽로의 흔적이라고 널리 해석되고 있다. 만약 그렇다면 예수 시대의 거룩한 무덤 성당 위치는 예루살렘의 성벽 밖일 것이며, 이곳이 예수가 십자가형을 당하고 묻힌 실질적인 장소일 것이다. 예수의 실제 무덤으로 증거할 만한 다른 장소는 없다. 오늘날 그리스·로마·아르메니아·이집트 교회 등 여러 그리스도교 집단들이 이 교회를 부분 관리하면서 정기적으로 예배를 드리고 있다.