Το κτίριο έχει χαρακτηριστεί σαν "έργο τέχνης" από το Υπουργείο Πολιτισμού
Η Δημόσια Κεντρική Βιβλιοθήκη Σάμου στεγάζεται σε ένα νεοκλασικό κτίριο επί της παραλιακής λεωφόρου Θεμιστοκλή Σοφούλη του λιμανιού της Σάμου. Το κτίριο έχει χαρακτηριστεί σαν "έργο τέχνης" από το Υπουργείο Πολιτισμού. Πρόκειται για το αρχοντικό του πλούσιου ξυλέμπορου Μιλτιάδη Γεωργίου, χτισμένο το 1893-1895, που κληροδότησε με διαθήκη (1900) στο σαμιακό δημόσιο, με σκοπό τη δημιουργία βιβλιοθήκης.
Η συγκρότηση της Βιβλιοθήκης σχετίζεται με το Πυθαγόρειο Γυμνάσιο. Ο σχηματισμός μιας καλής βιβλιοθήκης στο Γυμνάσιο κρίθηκε αναγκαίος για τη στήριξή του. Ο αρχικός πυρήνας της συγκροτήθηκε από δωρεές και σιγά σιγά μετεξελίχθηκε σε Δημόσια Βιβλιοθήκη.
Το 1859 ο Σαμιώτης Πατριάρχης Ιεροσολύμων Κύριλλος Β΄ έστειλε αρκετούς τόμους βιβλίων (158) για τη συγκρότηση βιβλιοθήκης. Το ίδιο έκανε ένα χρόνο αργότερα ο ηγεμόνας Μιλτιάδης Αριστάρχης, ο οποίος προσέφερε αξιόλογα βιβλία της προσωπικής του βιβλιοθήκης και ζήτησε από τη Γενική Συνέλευση να προβλέψει στον ετήσιο προϋπολογισμό ένα ποσό (5.000 γροσίων) για τη Βιβλιοθήκη. Ο εμπλουτισμός της Βιβλιοθήκης έγινε κυρίως κατόπιν δωρεών ιδιωτών και ιδρυμάτων από τη Σάμο και την Ελλάδα.
Η πρώτη επίσημη αναγνώρισή της έγινε με το ηγεμονικό διάταγμα του 1881 του Κων. Αδοσίδη, βάσει του οποίου πρώτος διευθυντής της διορίστηκε ο ιστορικός Επαμ. Σταματιάδης διευθυντής τότε του Ηγεμονικού Διοικητικού Γραφείου. Οργανωτής όμως πρέπει να θεωρείται ο γυμνασιάρχης Αριστομένης Στεργιογλίδης, ο οποίος ανέλαβε καθήκοντα διευθυντή μετά την παραίτηση του Σταματιάδη και ασχολήθηκε για πρώτη φορά με τη βιβλιοθηκονομική επεξεργασία του υλικού. Το 1898 όταν ο Στεργιογλίδης τύπωσε τον πρώτο και μοναδικό κατάλογό της, η Δημόσια Βιβλιοθήκη αριθμούσε 3.752 τόμους.
Σημαντικός σταθμός στη λειτουργία της Βιβλιοθήκης υπήρξαν οι ηγεμονικοί νόμοι: 1560/1905 "περί δημιουργίας βιβλιοθήκης ιδιωτικού δικαίου και πολιτικών επιστημών" και 2182/1909 "περί πλουτισμού και συντηρήσεως της Βιβλιοθήκης".
Με την υπουργική απόφαση ΥΠΕΠΘ/ΙΖ/753 (ΦΕΚ 771/Β/31-10-1986) η Βιβλιοθήκη Σάμου ορίστηκε ως Δημόσια Κεντρική Βιβλιοθήκη. Αποτελεί επίσης μία από τις εννέα βιβλιοθήκες στην Ελλάδα που έχουν χαρακτηριστεί ως "ιστορικές".
