Al norte en sus partes altas está protegido por los cerros San Miguel o Monte Calvario, El Castillo y San Fruchos, con testimonios arqueológicos de asentamientos humanos de pueblos celtíberos, posiblemente berones, y romanos; además contienen múltiples cuevas artificiales horadadas en sus paredes y cortados.

En la época medieval, la población se fue asentando al pie de estos cerros en torno al castillo y la actual Iglesia de San Cosme y San Damián, con las calles en fuerte pendiente y los edificios distribuidos sobre las terrazas artificiales y adaptados a las curvas de nivel; todo estaba protegido por la antigua muralla.

Ésta fue rebasada en el siglo XVI debido al crecimiento de la población, que continuó hasta el siglo XVIII, fue menor en el XIX y en el XX volvió a crecer sobre todo a partir de los años treinta con la industria del calzado y se fueron abandonando los barrios altos y los cerros, extendiéndose hacia las zonas bajas y llanas, lo que ha llevado al núcleo urbano hasta cerca del río.