La Médina et les Remparts:
Les remparts portugais qui encerclent la vieille ville contrastent avec la blancheur des maisons. Asilah n'a gardé aucun des vestiges de la Kasbah bâtie par Al-Qasim Ibn Idris et Mousa Ibn Abi Al-Afiya au IXe et Xe siècles. Par ailleurs, elle présente un travail de fortifications énorme initié sous la direction de Diogo Boitaca, architecte militaire principal de la couronne portugaise au XVIe siècle. Un rempart très imposant, en forme de parallélogramme, encercle la médina et s'étend sur une superficie de 7 hectares. Il est percé de cinq portes qui datent d'époques différentes parmi lesquelles deux sont d'origine portugaise : Bab al-Homer (Porta da Vila) et Bab al-Bahr (Porta da Ribeira).
Les Bastions et les Tours:
Parmi les bastions et les tours les plus spectaculaires représentant une place portugaise, existe la Coraça (borj al-Bahr) et la Torre de Menagem (borj al-Kamra). La première, construite entre 1508 et 1516, avance sur la mer et servait à suivre l'arrivée et le départ de l'approvisionnement et des renforts. La seconde, tour principale du rempart, marque par son allure imposante la médina d'Asilah. Construite en 1509 et reproduite sur une gravure très célèbre d'Asilah au XVIe siècle, la Torre de Menagem était couverte d'un toit à double pente et garnie d'échauguettes aux quatre angles. Ces caractéristiques architecturales renvoient au style de l'architecte militaire portugaise. Cette tour assurait une fonction publique et plus de cérémonie que militaire, véhiculant l'image du pouvoir. C'est un vestige du château du gouverneur portugais qui a repris l'emplacement du palais du gouverneur marocain d'Asilah médiévale.
Palais de Raïssouli:
Construit au début du XXe siècle par un fameux bandit (Moulay Ahmed Raïssouli), c'est un édifice de deux étages qui est devenu un centre culturel. On y pénètre par une porte du rempart oriental.