Gedungnya sendiri pada mulanya adalah rumah pribadi seorang warga negara Perancis yang dibangun pada abad ke-19. Kemudian dibeli oleh konsul Turki bernama Abdul Azis Almussawi Al Katiri yang menetap di Indonesia. Selanjutnya tahun 1942 dijual kepada Dr. Karel Christian Cruq.
Di masa perjuangan kemerdekaan Indonesia, gedung ini menjadi markas Barisan Keamanan Rakyat (BKR) dan tahun 1947 didiami oleh Lie Sion Pin. Pada tahun 1952 dibeli oleh Departemen Sosial dan pada tanggal 25 Oktober 1975 diserahkan kepada Pemda DKI Jakarta yang untuk kemudian pada tanggal 28 Juni 1976 diresmikan penggunaannya oleh Ibu Tien Soeharto sebagai Museum Tekstil.