Le vicende storiche del Comune, facente parte della Signoria dei Malatesta, sono testimoniate dai tre borghi fortificati presenti sul territorio: dalla piccola frazione di Agello di cui, purtroppo, non rimangono che poche vestigia, alla fattoria fortificata di Castelleale dove, come testimonia il nome stesso, ebbe i natali Leale Malatesta. Ma l'importanza di San Clemente è sancita, ancor più, dalle alte mura che cingono il capoluogo, ben conservato esempio di costruzione difensiva medioevale. Le mura, oggetto di un importante lavoro di restauro, sono state rese fruibili con un percorso pedonale che permette di godere anche di uno straordinario panorama.
