Tak heran jika bangunan yang mengeliling sepanjang arus Kali Besar begitu besar, dan bernuansa kolonial. Dulunya, gedung yang ada merupakan rumah penduduk, bengkel perahu, hingga gudang untuk menyimpan rempah-rempah.
Dulunya juga, kawasan ini, dianggap sebagai daerah elite karena banyak orang kaya dan bangsawan bermukim di sana. Para nyonya besar, serta nyai-nyai Belanda dulunya menggunakan rok kurung yang sangat mewah menggunakan perahu yang melintas di perkotaan untuk keliling kampung, dan menyambangi kerabat.
Kali Besar ini dulunya dideskripsikan sangat rapih, tertata, dan bersih, sehingga sering juga dijadikan tempat kencan anak muda selama di sana. Terbayang kan dulunya kali ini seindah apa, mungkin jika masih dijaga Jakarta sudah seperti Venesia, Italia.
Rumah elite di sana hingga sekarang juga masih beberapa yang kokoh, salah satunya Toko Merah yang berada di dekat Halte Kali Besar. Bangunan ini dulunya punya petinggi Belanda, kemudian dijadikan tempat berjualan oleh warga China, Oey Liauw Kong sejak abad 19.
Bangunan ini dinamakan Toko Merah karena batu bata merah yang menjadi unsur utama dari gedung. Namun, di tahun 1755, toko menjadi sebuah kampus dan asrama Academie de Marine sebuah akademi angkatan laut.