Il piccolo castello di S. Pietro sorge su un poggio (354 m.), a breve distanza da Loretello; menzionato per la prima volta nel 1230, quando alcuni suoi abitanti fanno atto di castellania a Rocca Contrada. Pressoché invariato nel suo impianto urbanistico quattrocentesco, conserva però poche tracce delle strutture murarie originarie. Rimangono la cinta muraria a scarpa in laterizio con il camminamento di ronda, senza alcun accenno a torricini e sporti.
Appena fuori le mura vi è il Santuario della Madonna di Montevago (sec. XVI), dove si conserva la bella immagine mariana affrescata da Venanzio da Camerino e Piergentile da Matelica, che gli abitanti di San Pietro veneravano come ringraziamento per lo scampato pericolo della peste del 1527.
