남아프리카와 로디지아의 광산업계에서 가장 성공한 사업가의 한 사람으로 꼽힌다.

오펜하이머는 16세 때부터 런던에 있는 다이아몬드 중개상인 둥클스빌러사의 하급 점원으로 일하다가 1902년 남아프리카의 킴벌리로 건너가 이 회사의 현지 대표로 일했다.

1917년 금융업자 J. P. 모건으로부터 상당한 액수의 재정 지원을 받아 남아프리카에 유한회사인 앵글로아메리카사를 설립하여 비트바테르스란트 동부의 금광을 개발했다. 2년 후에는 남서아프리카에 유한회사인 합동다이아몬드광산회사를 창설했다. 이 다이아몬드 시굴 회사가 크게 성공하여 오펜하이머는 한때 세계 다이아몬드 시장을 지배했던 데베르스연합광산회사를 좌우할 수 있게 되었다.

1930년 그는 유한회사인 다이아몬드사를 창설했다. 1929년 로디지아 북부의 풍부한 구리 매장 지역을 개발하기 위해 로디지아앵글로아메리카사를 세웠다. 그의 마지막 사업은 남아프리카 오렌지 자유주에 있는 새로운 금광을 개척하는 것이었다. 1912~15년 킴벌리 시장으로 일했으며, 1924~38년 남아프리카 연방(지금의 남아프리카 공화국)의 국회의원을 지냈다.

남아프리카 공화국의 정치·사회·민생 부문에서 눈부신 활동을 벌였으며 옥스퍼드대학교에서 영국연방에 관한 연구를 발전시키기도 했다. 1921년 기사작위를 받았다.