Menurut cerita, batu-batu gunung yang membentuk benteng-bentengnya menggunakan perekat berupa adonan kapur dicampur cairan putih telur.
Meski terdengar tidak umum, bangunan benteng yang sedikit telah direnovasi pemerintah umumnya masih utuh.
Memiliki 12 pintu gerbang yang disebut lawa dan 16 meriam, bangunan seperti gazebo di atas pintu masuk benteng, serta batu-batu yang disusun seperti layaknya benteng yang disebut Baluara atau Bastion dalam Bahasa Portugis. Benteng-benteng di sana terletak di puncak-puncak bukit, yang dikelilingi pemandangan laut yang indah.
"Benteng biasanya dibuat untuk perang. Tapi di sini, benteng dibuat karena ada rasa yang sama dari masyarakat yang resah pada bajak-bajak laut yang suka datang atau melewati sini. Dari situ, masyarakar punya kesepakatan untuk cari tempat yang lebih tinggi," jelas La Ode.
Di dalam keraton sendiri ada dua fungsi penggunaan selain untuk pertahanan, menurut La Ode. Fungsi tersebut adalah penguburan dan tempat tinggal orang yang berjasa besar bagi kesultanan.