Τα Βενετικά τείχη του Ρεθύμνου δεν ήταν ισχυρά και καταστράφηκαν αρκετές φορές από τους πειρατές. Πάντως μέσα στο Ρέθυμνο υπήρχε η Φορτέτσα, ένα ισχυρό φρούριο πάνω στο λόφο. Η πόλη κυριεύτηκε από τους Τούρκους το Νοέμβριο του 1646. Σήμερα η Φορτέτσα είναι καλοδιατηρημένη, όμως οι οχυρώσεις γύρω από την πόλη έχουν σχεδόν εξαφανιστεί.