Το Μπούρτζι στην πραγματικότητα είναι μια μικρή χερσόνησος στο μέσον σχεδόν του λιμανιού της πρωτεύουσας του νησιού με εμφανή υπολείμματα του παλιού κάστρου, του κάστρου που ίδρυσε η οικογένεια Γκίζι όταν ήρθε το νησί υπό την κυριαρχία τους μετά την άλωση της Πόλης από τους Σταυροφόρους το 1204.

Τα σημερινά ερείπια δεν μας λένε πολλά για το μέγεθος και την ισχύ των τειχών του Κάστρου, αλλά γνωρίζουμε ότι το κάστρο είχε εκατέρωθεν της πύλης δυο στρογγυλούς αμυντικούς πύργους. Μέσα στο κάστρο υπήρχε μεγάλη δεξαμενή νερού και η μικρή εκκλησία του Αγίου Γεωργίου, από την οποία το κάστρο είχε το όνομα Καστέλι του Αγίου Γεωργίου. Το κάστρο καταστράφηκε σχεδόν ολοσχερώς από τον Βενετσιάνο ναύαρχο Φραγκίσκο Μοροζίνη το 1660.

Οι κάτοικοι του νησιού επαναστάτησαν από τους πρώτους και το 1823 απέκρουσαν αμυνόμενοι μέσα από τα ερείπια του κάστρου τις σφοδρές επιθέσεις του Τούρκου Τοπάλ Πασά. Μετά την απελευθέρωση της Ελλάδας στο Μπούρτζι λειτούργησε λοιμοκαθαρτήριο και το 1906 κτίστηκε δημοτικό σχολείο με δαπάνη από κληροδότημα του Αντρέα Συγγρού. Στο προαύλιο χώρο του σχολείου το 1925 τοποθετήθηκε η προτομή του Αλέξανδρου Παπαδιαμάντη.

Σήμερα τίποτα δεν μαρτυράει το σκληρό και πολεμικό παρελθόν του τόπου. Είναι πλέον ένας ωραιότατος και δροσερός τόπος αναψυχής με υπέροχη θέα και πολύ πράσινο, πνιγμένος στα πεύκα. Ο επισκέπτης σήμερα διακρίνει ελάχιστα υπολείμματα από τα παλαιά κραταιά τείχη και, στο δρόμο που οδηγεί στο σχολείο, βλέπουμε τα θεμέλια του Αγίου Γεωργίου και της παλαιάς δεξαμενής. Το παλιό σχολείο έχει μετατραπεί σήμερα από τον Δήμο Σκιάθου σε ένα πολιτιστικό κέντρο, στις όμορφες και ψηλοτάβανες αίθουσές του οποίου γίνονται πολλές εκδηλώσεις πολιτιστικού και μορφωτικού χαρακτήρα. Στον προαύλιο χώρο του σχολείου έχει κτιστεί ένα πανέμορφο θερινό θέατρο που φιλοξενεί κάθε καλοκαίρι πολλές και ενδιαφέρουσες παραστάσεις σε ένα πανέμορφο φυσικό περιβάλλον.