Το Κάστρο ιδρύθηκε στα μέσα του 14ου αιώνα από τους κατοίκους της παλαιάς πόλης της Σκιάθου που αναγκάστηκαν να την εγκαταλείψουν λόγω των πολλών και σφοδρών επιδρομών των πειρατών που λυμαίνονταν τότε το Αιγαίο. Η νέα πόλη με το κάστρο της κτίστηκε στη βόρεια ακτή του νησιού, σε μια μικρή χερσόνησο που έμοιαζε σαν φυσικό οχυρό. Τα τείχη του κάστρου που υπεράσπιζαν την πόλη από την πλευρά της ξηράς ήταν ψηλά και ισχυρά με πολλές πολεμίστρες και αργότερα τα ενίσχυσαν με κανόνια.

Το κάστρο επικοινωνούσε με την ενδοχώρα μέσω μιας κινητής ξύλινης γέφυρας, που οδηγούσε από την πύλη του φρουρίου σε ένα μικρό ύψωμα. Όταν υπήρχε κίνδυνος, ή οι εισβολείς πλησίαζαν πολύ τα τείχη, τότε τραβούσαν τη γέφυρα στο εσωτερικό του κάστρου και έκλειναν την είσοδο. Για μεγαλύτερη ασφάλεια πάνω από την είσοδο υπήρχε μια επίπεδη επιφάνεια όπου ήταν τοποθετημένη η «ζεματίστρα», το καζάνι δηλαδή που έβραζαν λάδι, ή νερό και ζεματούσαν τους εισβολείς όταν πλησίαζαν επικίνδυνα στα τείχη.

Μέχρι το 1453 που έπεσε η Κωνσταντινούπολη στους Οθωμανούς το κάστρο το όριζαν οι Βυζαντινοί, αργότερα το πήραν στην εξουσία τους οι Βενετσιάνοι έως το 1538 και τέλος οι Τούρκοι που το κράτησαν μέχρι την Επανάσταση του 1821, με ένα μικρό διάλειμμα το 1660 οπότε το ανακατέλαβαν για λίγο οι Βενετσιάνοι υπό τον Μοροζίνη. Όταν εξεγέρθηκε το νησί και απελευθερώθηκε, το κάστρο περιήλθε σε ελληνικά χέρια και μετά την ανακήρυξη της ανεξαρτησίας του ελληνικού κράτους εγκαταλείφθηκε και ερήμωσε σιγά-σιγά. Σήμερα σώζονται μόνο τέσσερις από τις περισσότερες από 20 μικρές εκκλησίες που υπήρχαν εδώ από την εποχή της Τουρκοκρατίας, ένα μικρό κομμάτι του μεγάλου τείχους, η χαρακτηριστική ταράτσα με την «ζεματίστρα», ένα ερειπωμένο τζαμί και λίγα υπολείμματα του Διοικητηρίου των Τούρκων, δυο δεξαμενές νερού και ένα μεγάλο κανόνι (της Αναγκιάς).

Κατά την διάρκεια της κατοίκησης του κάστρου από τους Σκιαθίτες η ζωή των κατοίκων του νησιού ήταν αρκετά δύσκολη. Αντιμετώπιζαν συνεχώς πειρατικές επιδρομές και εισβολές διαφόρων εχθρών και κατακτητών και είχαν μεγάλη έλλειψη χώρου. Τα σπίτια ήταν πολύ μικρά και στριμωγμένα το ένα δίπλα στο άλλο και, εκτός από τις πολλές μικρές εκκλησίες, δεν υπήρχαν άλλα κτίσματα, ή χώροι για τον πληθυσμό. Το νεκροταφείο βρισκόταν έξω από το κάστρο, σε κοντινή απόσταση από την πόλη.