Ο χαμηλός λόφος του Καστελιού, στα ανατολικά του λιμανιού, αποτέλεσε ιδανική θέση για εγκαθίδρυση προϊστορικού οικισμού, της αρχαίας Κυδωνίας, όχι μόνο γιατί γειτονεύει με τη θάλασσα, αλλά επειδή περιβάλλεται και από τον πλούσιο Χανιώτικο κάμπο. Η κεραμική της μεταβατικής νεολιθικής περιόδου (3.000-2.900 π.Χ.) αποτελεί την πρωιμότερη μαρτυρία ανθρώπινης δραστηριότητας στο λόφο αυτό.
Στη θέση της Κυδωνίας, που εξακολούθησε να διατηρεί τη στρατηγική της σημασία και πάνω στο λόφο Καστέλι, χτίστηκε αργότερα από τους Βυζαντινούς ένα φρούριο, που σε πολλά του σημεία πατάει πάνω στο αρχαίο τείχος και έχει κατασκευασθεί από τα οικοδομικά υλικά της αρχαίας Κυδωνίας.
Στα 1252 η πόλη και ο νομός μοιράζονται σε 90 «καβαλαρίες» και δίδονται στους Ενετούς αποίκους με τη ρητή υποχρέωση να ξαναχτίσουν την πόλη των Χανίων. Αυτοί επισκευάζουν το τείχος του Καστελιού και οργανώνουν πολεοδομικά την πόλη μέσα στα όριά του. Μέσα στον οχυρωματικό περίβολο, που επισκευάζεται, χτίζεται μια νέα πόλη με σύγχρονο ρυμοτομικό σχέδιο, ωραία δημόσια και ιδιωτικά κτίρια. Τα δημόσια κτίρια αναπτύσσονται κατά μήκος του κεντρικού δρόμου (corso – σημερινή οδός Κανεβάρο) που διασχίζει το Καστέλι από ανατολικά.
Στο Καστέλι ήταν συγκεντρωμένα τα αρχοντικά των παλαιότερων βενετσιάνικων οικογενειών, κτισμένα με τις επιρροές των σύγχρονων ρευμάτων και ιδιαίτερα εκείνο του βενετσιάνικου Μανιερισμού, όπως διαμορφώθηκε από τον 16ο αιώνα. Εκεί υπήρχε επίσης ο μεγαλοπρεπής καθεδρικός ναός των Βενετσιάνων, αφιερωμένος στην Παναγία, ο οποίος καταστράφηκε κατά τους βομβαρδισμούς του 1941.
Στη συνοικία αυτή ζούσαν μετέπειτα και οι κυριότερες οικογένειες των Τουρκοκρητικών, οι οποίοι πρόσθεσαν τα δικά τους χαρακτηριστικά στο χώρο. Στο Καστέλι, υπήρχαν πύλες στ’ ανατολικά και δυτικά και μια τρίτη στενή πύλη στα νότια, με σκαλοπάτια, που έμεινε με το όνομα «Τα σκαλάκια».
