Το Φρούριο της Φορτέτζας είναι ένα οχυρό της δεκαετίας του 1570, που κατασκευάστηκε από τους Ενετούς για να προστατεύσει το Ρέθυμνο και την περιοχή από την μεγάλη Τουρκική απειλή. Έχει, όπως συνηθίζονταν εκείνη την εποχή να κατασκευάζουν τα οχυρά, έχει σχήμα αστεριού με έξι συνολικά προμαχώνες και τρεις πύλες. Στο κέντρο του υπήρχε ο ναός του Σάν Νικολό που αργότερα μετατράπηκε από τους Τούρκους σε Τζαμί. Υπήρχαν πολλά οικήματα, η κατοικία του Διοικητή, στρατώνες, αποθήκες, δεξαμενή νερού και πολλές κατοικίες που οι περισσότερες καταστράφηκαν τα κατοπινά χρόνια. Ωστόσο, παρά τα αρχικά σχέδια των Ενετών, ποτέ δεν έγινε δυνατό να μεταφερθεί στο εσωτερικό του οχυρού το σύνολο της πόλης του Ρεθύμνου.

Τα σπουδαιότερα μνημεία και αρχιτεκτονικά στοιχεία του Φρουρίου είναι τα παρακάτω:

Η κατοικία των Συμβούλων που είναι ένα διώροφο επιβλητικό κτίριο με πολύ μεγάλα δωμάτια, αντιγραφή γνωστών Ιταλικών παλατιών της Αναγέννησης. Αποτελείται από ισόγειο και όροφο, με μεγάλα δωμάτια. Πιθανότατα χρησιμοποιήθηκε και κατά την Τουρκοκρατία ως έδρα ή κατοικία κάποιου αξιωματούχου.

Η κατοικία του Ρέκτορα, ένα επιβλητικό κτιριακό συγκρότημα, από το οποίο σήμερα σώζονται μόνο κάποια ερείπια.

Ο Καθεδρικός Ναός που θεμελιώθηκε στα 1583 και ήταν αφιερωμένος στον Άγιο Νικόλαο (Σαν Νικολό). Κατά την Τουρκοκρατία εγκαταλείφθηκε και ερημώθηκε και κατόπιν οι Τούρκοι τον μετέτρεψαν σε τζαμί. Πρόκειται για ένα μεγάλο τετραγωνικό κτίριο με τρούλο στη μέση. Από τον παλιό μιναρέ σώζεται μόνον η βάση.

Η Αποθήκη του πυροβολικού είναι ένα διώροφο κτίσμα που καλύπτεται με δυο καμάρες. Ο όροφος είχε ξύλινο πάτωμα που στηριζόταν σε τρεις μεγάλες κολώνες και στην είσοδο έφερε υπέρθυρο με μεγάλο τόξο. Το χρησιμοποιούσαν για την φύλαξη πυροβόλων και των ανταλλακτικών τους και ως οπλοθήκη.

Το αποκαλούμενο Επισκοπικό Μέγαρο που αποτελείται από δύο κτίσματα. Ονομάστηκε έτσι γιατί βρίσκεται δίπλα στον καθεδρικό ναό. Το μεγαλύτερο από τα δυο κτίσματα διαθέτει έναν μεγάλο ενιαίο χώρο με καμάρες. Το μικρότερο κτίσμα κατά πάσα πιθανότητα προστέθηκε αργότερα.

Στο χώρο του Φρουρίου δεν έχουν γίνει συστηματικές ανασκαφές. Μόνο κατά καιρούς, όποτε γινόντουσαν σωστικές επεμβάσεις στα μνημεία, επιχειρούνταν και κάποιες δοκιμαστικές τομές.