Rumah ini dahulu menjadi rumah seorang mandor Tionghoa bernama Phang Tjong Toen yang kaya raya dan bekerja pada PT Timah. Rumah yang akhirnya diberi sesuai nama sang pemiliknya ini telah menjadi satu bangunan cagar budaya yang dilindungi pemerintah.
Rumah Kapiten Phang Tjong Toen terletak di pusat Kota Tanjung Pandan, tepatnya di Jalan Depati Endek. Kondisi rumah ini sudah tampak tua dimakan zaman. Yang tertinggal darinya adalah masa-masa kejayaan di masa kolonial dulu. Bentuk bangunan rumah ini seperti gedung di zaman kolonial, terlebih dengan adanya tiang-tiang besar yang menopang bangunan rumah.
Setelah tidak dipakai oleh sang pemilik rumah, rumah ini pernah digunakan sebagai kantor penerangan lalu menjadi kantor salah satu partai politik.
Saat senja, pengunjung bisa menyaksikan burung-burung walet hinggap di atas atap rumah ini. Suara-suara yang dikeluarkan burung-burung walet menciptakan suasana tersendiri saat berada di rumah ini.
