1817 - Bangunan ini mula dibina atas dermaan daripada Syarikat India Timur, di bawah kelolaan Kapten Robert Smith ( Jurutera Diraja ). Beliau telah menyediakan pelan untuk bangunan ini dijadikan sebagai sebuah pusat pendidikan.
1821- Bangunan ini dinamakan sekolah Penang Free dan telah menempatkan anak-anak Pulau Pinang. Nama ini diberikan "Penang Free" kerana pengambilan para pelajar tidak mengira bangsa.
1942 - Hampir separuh bangunan ini, iaitu sayap bangunan sebelah barat telah roboh akibat terkena bom dalam serangan Perang Dunia Kedua.
1961 - Bangunan ini hampir dirobohkan kerana Kerajaan Negeri hendak membina sebuah bangunan sekolah yang baru tetapi telah dibatalkan setelah cadangan Perdana Menteri Malaysia yang petama Almarhum Tunku Abdul Rahman Putra Al-Haj diterima iaitu menjadikan bangunan tersebut sebagai sebuah muzium memandangkan pada waktu tersebut tiada sebuah bangunan yang mengumpul bahan - bahan sejarah dan warisan Pulau Pinang. Selain itu, Almarhum juga merupakan salah seorang pelajar Sekolah Penang Free sekitar tahun 1915.
1964- Muzium dan Balai Seni Lukis Pulau Pinang ditubuhkan.
1965- Dibuka dengan rasminya oleh Gabenor Pulau Pinang yang petama, Raja Tun Uda Al Haj Bin Mohamad.