Το Κάστρο στην πραγματικότητα είναι το παλιότερο τμήμα της Χώρας. Πρόκειται για έναν καλοδιατηρημένο μεσαιωνικό οικισμό που χτίστηκε, όπως όλοι αυτού του τύπου, για να προστατεύσει τους ανθρώπους του νησιού και τις περιουσίες τους, από τις εχθρικές επιδρομές και τις πειρατικές επιθέσεις και έκτοτε κατοικείται χωρίς καμία διακοπή. Η βορεινή πλευρά του Κάστρου είναι χτισμένη στο φρύδι ενός μεγάλου και απότομου γκρεμού που ξεπερνάει τα 200 μέτρα. Η πρωτοβουλία για το κτίσιμο του κάστρου ήταν του άρχοντα Μάρκου Σανούδου το 1212, λίγο χρόνο αφού ανέλαβε τις τύχες του νησιού. Ίδιου τύπου Κάστρα υπάρχουν και στην Σίφνο και την Αντίπαρο. Τα ίδια τα εξωτερικά σπίτια αποτελούν τα τείχη του Κάστρου που προστατεύουν ολόκληρο τον οικισμό.

Στο εσωτερικό του Κάστρου μπορείτε να δείτε πολλές παλιές εκκλησίες με ενδιαφέροντα αρχιτεκτονικά στοιχεία και εσωτερικό διάκοσμο. Οι σημαντικότερες είναι της Παντάνασσας, της Ελεούσας και της Αγίας Σοφίας. Αξιοσημείωτο είναι ότι από τον περίβολο της Παντάνασσας έχετε μια εντυπωσιακή θέα του νησιού και της θάλασσας.

Τα σκληρά χρόνια των πειρατικών και Τουρκικών επιδρομών στο νησί μέσα στο Κάστρο κατοικούσαν σχεδόν 200 οικογένειες που τα πολλά μέλη τους δούλευαν την ημέρα στα χωράφια και το βράδυ, μετά τον χαρακτηριστικό κτύπο από ένα καμπανάκι μαζεύονταν όλοι στο Κάστρο και έκλειναν και κλείδωναν τη πόρτα της Λότζιας, δηλαδή την επίσημη είσοδο στο Κάστρο.

Τα περισσότερα σπίτια κατοικούνται εδώ και 10 τουλάχιστον αιώνες και οι φιλοπρόοδοι κάτοικοι του νησιού τα κρατούν σε πολύ καλή κατάσταση. Εδώ ο επισκέπτης θα αντικρίσει, εκτός από τα παλιότερα, και τα ομορφότερα σπίτια του νησιού. Το Κάστρο έχει κηρυχθεί διατηρητέο μνημείο και προστατεύεται από επεμβάσεις από την ΚΑ΄ Εφορεία Βυζαντινών Αρχαιοτήτων της Αρχαιολογικής Υπηρεσίας.