Το φρούριο Κουλές δεσπόζει στο παλιό ενετικό λιμάνι. Κτίστηκε από τους Βενετσιάνους αμέσως μόλις απέκτησαν την κυριότητα της πόλης του Μεγάλου Κάστρου, όπως ονομαζόταν επί Βυζαντινών το Ηράκλειο, μετά την άλωση της Κωνσταντινούπολης από τους Σταυροφόρους και την ουσιαστική κατάλυση της κυριαρχίας της Βυζαντινής Αυτοκρατορίας. Η αρχική ονομασία του ήταν «Roca al mare», δηλαδή «Βράχος της Θάλασσας». Κτίστηκε από τους Βενετούς πριν από την κατασκευή των νέων τειχών για να προστατεύει την πόλη και κυρίως το λιμάνι λόγω της θέσης του. Καταστράφηκε από τον μεγάλο σεισμό του 1303 και πήρε την οριστική του μορφή μεταξύ των ετών 1523 έως 1540. Επί Τουρκοκρατίας (1669-1898) χρησιμοποιήθηκε κυρίως ως φυλακή. Στα υπόγειά του χάθηκαν πολλοί Κρητικοί επαναστάτες, ηρωικοί αγωνιστές.

Είναι κλασικό ενετικό φρούριο, που προστατεύει τον λιμενοβραχίονα και αποτελεί απόληξη του παλιού παραλιακού τείχους. Δομημένο με τεράστιους ογκολίθους, αποτελείται από δύο ορόφους. Το ισόγειο έχει θολωτή στέγη με μεγάλους φωταγωγούς. Χωρίζεται με παχείς τοίχους σε 26 διαμερίσματα που χρησιμοποιούνταν σαν κατοικίες του Καστελλάνου, των καπετάνιων, των αξιωματούχων και επιπρόσθετα ως αποθήκες. Τα ανώτερα τμήματα και η βάση του Μιναρέ είναι τούρκικες προσθήκες.
Εργασίες στερέωσης, αποκατάστασης, συντήρησης και καθαρισμού έχουν πραγματοποιηθεί από την 13η Εφορεία Βυζαντινών Αρχαιοτήτων τα τελευταία χρόνια.

Κατά την μεγάλη έκθεση έργων ζωγραφικής του περίφημου Κρητικού ζωγράφου της Αναγέννησης Δομήνικου Θεοτοκόπουλου (Ελ Γκρέκο) φιλοξένησε το Διεθνές Συνέδριο που πραγματοποιήθηκε για το γεγονός. Συχνά, φιλοξενεί πολιτιστικές εκδηλώσεις και εκθέσεις. Στον δεύτερο όροφο έχει διαμορφωθεί ένας μικρός θεατρικός χώρος.
Είναι ένας αρχαιολογικός χώρος, που λόγω της θέσης του, της ιστορίας του και των χρήσεων που φιλοξενεί δέχεται μεγάλο αριθμό επισκεπτών.