주교 재임 첫 15년 동안 아우구스티노는 목회로나 저술로나 그 열정을 대부분 분리주의를 종식시키는 데 바쳤다. 아프리카 교회에 퍼져 있던 분리주의는 거의 1세기 동안 계속되었다. 그리스도교 분파인 도나투스파(지도자 도나투스의 이름을 땄음)의 숫자는 여러 지역에서 가톨릭교도보다 많았다. 그들은 디오클레티아누스 황제 치하에서 발생한 대박해(303~313) 때 배교한 자들의 때가 묻지 않은 자기들만 참된 교회라고 주장했다.

분리주의를 제거하려던 제국 정부의 노력은 오히려 순교자 정신을 부추겨 도나투스파에게 득이 되었다. 순교자 정신은 당시 아프리카 그리스도교의 특징이었는데, 종교적 차원보다는 사회·경제적인 차원에서 슬픔을 안고 있던 아프리카 원주민들에게 도나투스파의 순교는 깊은 인상을 심어주었다. 한편 분리주의는 폭력을 통해 세력을 유지했기 때문에, 평화적 토론을 통해 문제의 핵심을 풀려 했던 아우구스티노의 노력은 무위로 끝났다.

결국 제국 정부는 도나투스파가 아프리카의 안정을 해친다고 믿게 되었다. 도나투스파 주교들은 411년 정부의 중재로 카르타고에서 열린 공식회의에 참석하여 가톨릭 주교들을 만나도록 강요되었는데, 그 회의는 가톨릭 교회의 승리로 끝나도록 되어 있었다.

사제가 집전하는 교회의 성사를 통해 하느님의 은총이 신자에게 전달된다는 것이 도나투스파와 가톨릭 교회의 공통된 견해였다. 그런데 도나투스파는 사제가 심각한 죄에 오염되어 있지 않아야 성사가 타당성을 지닌다고 주장했다. 하느님의 은총은 죄인을 떠나며, 죄인은 '자기가 지니지 못한 것을 줄 수' 없다는 것이었다.

아우구스티노의 답변은 성사가 하느님의 은총을 전하는 것은 오직 그리스도의 기름부음 때문이므로 사제의 품행과는 상관없다는 것이었다. 그뿐만 아니라 교회의 통일성은 성령의 최고 선물인 사랑에 근거하는데, 분리주의자들은 그것을 부인했다. 분리주의를 종식시키는 수단으로 설득 이외의 다른 방법을 계속 반대했던 아우구스티노는 불행하게도 끝내 도나투스파에 대한 법적 제재를 승인하게 되었다. 그것은 도나투스파의 폭력이 무서워 많은 사람들이 교회로 돌아오지 못했기 때문이다.

"사랑이여, 네가 원하는 것을 하라"는 그의 명언은 사실 사랑으로 행한 추방을 정당화하는 말이었다.