Den 51-årige mannen, som inte har blivit uppkallad, greps i North Yorkshire på onsdag efter ett klagomål till Durham Constabulary.
Polisen sa att mannen hade blivit frisläppt i väntan på ytterligare undersökningar.
Prästen har blivit avstängd under utredningens gång av Leeds biskop, enligt Leeds stift.
Den tillade i ett uttalande: " Man har infört lämpliga anordningar för att vakta pastorer och på ett säkert sätt.
"Inga ytterligare uttalanden kommer att göras vid denna tidpunkt."
En kyrkoherde som arresterats i samband med historiska sexuella övergrepp har avbrutits av engelska kyrkan.