Το συγκρότημα του Ενετικού Διοικητηρίου, το λεγόμενο Palazzo, βρισκόταν στο βόρειο άκρο του Καστελλίου, στο τέρμα της οδού Λιθινών. Σήμερα σώζεται το ισόγειο και μέρος του ορόφου, ενώ από την πλευρά της οδού Λιθινών σώζεται το θύρωμα του Αρχείου που φέρει τη χρονολογία 1624. Πλησίον αυτού βρισκόταν και το Οθωμανικό Διοικητήριο με τις Φυλακές, που σήμερα στεγάζουν υπηρεσίες του Πολυτεχνείου Κρήτης.