Siap dibina pada tahun 1926.Dengan terbinanya bangunan hostel ini, Sekolah Menengah Clifford ini dianggap sebagai sekolah berasrama penuh (Boarding School) di Kuala Lipis oleh penduduk di Pahang.
Semasa pendudukan Jepun, bangunan ini merupakan markas terbesar tentera Jepun untuk urusan pentadbiran mereka.Dahulu kawasan kantin di situ adalah kawasan lapang untuk memancung kepala pesalah.
Pihak British mula mendirikan bangunan ini pada tahun 1926 sebagai kediaman untuk para pegawai British.Namun, apabila jawatan Menteri Besar diwujudkan pada tahun 1948, bangunan ini telah diindahkan dan dibaik pulih untuk dijadikan kediaman rasmi YAB Menteri Besar Pahang sehingga tahun 1955
Antara upacara bersejarah yang pernah berlangsung di istana ini ialah Majlis Perkahwinan KDYMM Sultan Pahang dan KDYMM Tengku Ampuan Hajah Afzan binti Tengku Mohamad pada 22 April 1954.
Perkhidmatan ini mula beroperasi pada tahun 1926. Merupakan jalan darat yang pertama diperkenalkan di Kuala Lipis. Pada tahun 1920, kerajaan British telah membina landasan keretapi yang menghubungkan Kuala Lipis dengan Gemas hingga ke Johor bertujuan untuk memudahkan pengangkutan hasil bijih ke pelabuhan.
Ketika zaman pendudukan Jepun dahulu, landasan keretapi tersebut digunakan sebagai laluan untuk mengangkut tentera Jepun ke Selatan untuk menawan Singapura.Penting sebagai pengangkutan utama penduduk setempat,
Sebahagian besar hasil-hasil ekonomi Daerah Lipis juga disalurkan melalui perkhidmatan ini misalnya emas.