Kota Palembang hingga kini masih dipercayai masyarakat Melayu sebagai tanah leluhurnya. Menurut kisah, di kota inilah hadir seorang tokoh yang menjadi cikal bakal Raja Melayu pertama yaitu Parameswara yang turun dari Bukit Siguntang. Pada saat yang bersamaan, Kerajaan Sriwijaya runtuh, maka bermunculan kekuatan-kekuatan lokal seperti Panglima Bagus Kuning di hilir Sungai Musi, Si Gentar Alam di daerah Perbukitan, Tuan Bosai dan Junjungan Kuat di daerah hulu Sungai Komering, Panglima Gumay di sepanjang Bukit Barisan. Kemudian Parameswara meninggalkan Palembang bersama Sang Nila Utama menuju Tumasik. Tanah Tumasik diberi nama Singapura oleh Parameswara.

Pada saat pasukan Majapahit akan menyerang Singapura, Parameswara bersama pengikutnya pindah ke Malaka, kemudian mendirikan Kerajaan Malaka. Beberapa keturunannya membuka negeri baru di daerah Pattani dan Narathiwat (sekarang wilayah Thailand bagian selatan). Hubungan dagang yang kuat dengan orang–orang Gujarat dan Persia menyebabkan perekonomian Malaka berkembang pesat. Kemudian Parameswara memeluk agama Islam dan mengganti namanya menjadi Sultan Iskandar Syah. 

Kota Palembang menjadi kota tak bertuan, tidak ada penguasa tunggal atas kota dagang ini. Namun kegiatan perekonomian tetap berjalan. Perdagangan antarbangsa berjalan dengan baik. Di kota ini pula bermukim para pembesar dan priyayi pendukung utama Kesultanan Demak, penguasa baru tanah Jawa. Mereka menyingkir dari Demak setelah kalah perang melawan Kerajaan Pajang pada tahun 1528. Rombongan asal Demak ini dipimpin oleh Kiai Gedeng Suro atau Ki Gede Ing Suro.

Selain pembesar dan priyayi, turut serta pula pasukan yang dipimpin oleh Raden Patah. Mereka memilih Palembang sebagai tempat yang aman. Selain karena Raden Patah (bergelar Jimbun Abdurrahman Panembahan Palembang Sayyidina Panatagama) adalah bangsawan Demak kelahiran Palembang. Beliau tumbuh sejak kecil di kota ini bersama ibunya, Putri Campa.

Raden Patah, Ario Damar dan Pati Unus, adalah tokoh dibalik hancurnya Kerajaan Majapahit. Mereka dikenal dari Ekspedisi Pamalayu. Raden Patah berhasil membangun kembali Palembang setelah Kerajaan Sriwijaya secara perlahan mulai melemah. Berselang kemudian, Majapahit mulai dilanda kekacauan, pemberontakan dan pecahnya perang saudara.

Ario Damar sendiri pada saat itu adalah seorang Mangkubumi Kerajaan Sriwijaya. Beliau memeluk Islam sejak kedatangan Raden Rahmat. Menjadi seorang muslim, Ario Damar mengganti namanya menjadi Ario Abdullah, yang populer dengan sebutan Ario Dillah.

Kehadiran Ki Gede Ing Suro di kota Palembang, memicu kedatangan pemukim-pemukim muslim baru dari Demak, Pajang dan Mataram. Mereka datang ke Palembang demi menghindari konflik politik berkepanjangan di tanah Jawa.

Sebuah kerajaan Islam di Palembang akhirnya resmi berdiri pada tahun 1552 secara politik dari Kesultanan Demak. Adalah Ki Mas Hindi, disebut pula Pangeran Ratu atau Pangeran Ario Kusuma Abdurrohim, yang memiliki nama lain, Susuhunan Abdurrahman Khalifatul Mukminin Sayyidul Imam, sebagai Sultan pertama kerajaan Islam di tanah Palembang. Beliau bergelar Sultan Jamaluddin Candi Walang, atau Sultan Ratu Abdul Rahman. Kerajaan Islam ini diberi nama Kesultanan Palembang Darussalam.

Sultan Jamaluddin kemudian diganti oleh Sultan Mansyur. Beliau didampingi seorang ulama besar, Tuan Faqih Jalaluddin. Setelah Sultan Mansyur, Kesultanan Palembang dipimpin oleh Sultan Mahmud Badaruddin, yang dikenal pula sebagai Sultan Lemah Abang.

Kesultanan Palembang Palembang Darussalam menggabungkan kebudayaan maritim peninggalan Sriwijaya dan budaya agraris Majapahit. Palembang kemudian berkembang menjadi pusat perdagangan yang paling besar di Semenanjung Malaka. Hadirnya Kesultanan Palembang Darussalam ini menjadi lembaran baru bagi kota Palembang sejak keruntuhan Sriwijaya. Hukum Islam diterapkan dalam aturan tatanegara dan ekonomi.

Ki Gede Ing Suro merupakan tokoh utama dibalik berdirinya Kesultanan Palembang Darussalam. Setelah wafat pada tahun 1587, beliau dimakamkan di sebuah daerah yang kini berada di Kelurahan I Ilir, kota Palembang. Setelah beliau dimakamkan, berturut-turut dimakamkan para pembesar Demak lainnya dan keluarganya, hingga mencapai 38 makam. Kompleks pemakaman ini kemudian dikenal sebagai Taman Purbakala Ki Gede Ing Suro.

Kompleks makam berupa bangunan fondasi yang terdiri dari tiga bangunan utama. Bangunan pertama memiliki luas 54 meter persegi, dengan tinggi 1,2 meter. Bangunan ini berdiri diatas dua lapik, lapik pertama berukuran 7 meter x 3,7 meter. Lapik kedua berukuran 16 meter x 11 meter. Diatasnya berdiri batur dengan tangga masuk yang berada di sisi selatan. Pada dinding batur terdapat panil berbentuk bujursangkar berpola hias geometris. Pada teras makam terdapat dua nisan dari kayu persegi pipih.

Bangunan kedua memiliki ukuran 8,45 meter x 5 meter dengan tinggi 90 sentimeter. Berdiri diatas satu lapik. Pola hias tangga sama dengan bangunan pertama. Disini terdapat tiga makam, dua makam di sisi utara, dan satu makam di sisi selatan. Jirat makam di sisi selatan berbentuk persegi panjang. Nisan makam terbuat dari batu andesit, puncaknya berbentuk kurawal dengan ujung meruncing.

Bangunan ketiga adalah yang terbesar, memiliki ukuran 8,75 meter x 9 meter. Memiliki teras berukuran 12,5 meter x 11,5 meter. Hiasan bangunan utama berupa ukiran bunga dan geometris. Pada teras hiasannya berupa sulur. Diatas bangunan terdapat tiga nisan makam yang bentuknya sama dengan bangunan kedua.

Kota Palembang adalah salah satu kota (dahulu daerah tingkat II berstatus kotamadya) sekaligus merupakan ibu kota dari Provinsi Sumatra Selatan. Palembang adalah kota terbesar kedua di Sumatra setelah Medan. Kota ini dahulu pernah menjadi pusat Kerajaan Sriwijaya sebelum kemudian berpindah ke Jambi. Bukit Siguntang, di Palembang Barat, hingga sekarang masih dikeramatkan banyak orang dan dianggap sebagai bekas pusat kesucian di masa lalu.

Palembang merupakan kota tertua di Indonesia, hal ini didasarkan pada prasasti Kedukan Bukit (683 M) yang diketemukan di Bukit Siguntang, sebelah barat Kota Palembang, yang menyatakan pembentukan sebuah wanua yang ditafsirkan sebagai kota yang merupakan ibukota Kerajaan Sriwijaya pada tanggal 16 Juni 683 Masehi (tanggal 5 bulan Ashada tahun 605 syaka). Maka tanggal tersebut dijadikan patokan hari lahir Kota Palembang.

Pada saat itu oleh penguasa Sriwijaya didirikan Wanua di daerah yang sekarang dikenal sebagai kota Palembang. Menurut topografinya, kota ini dikelilingi oleh air, bahkan terendam oleh air. Air tersebut bersumber baik dari sungai maupun rawa, juga air hujan. Bahkan saat ini kota Palembang masih terdapat 52,24 % tanah yang yang tergenang oleh air (data Statistik 1990). Berkemungkinan karena kondisi inilah maka nenek moyang orang-orang kota ini menamakan kota ini sebagai Pa-lembang dalam bahasa melayu Pa atau Pe sebagai kata tunjuk suatu tempat atau keadaan; sedangkan lembang atau lembeng artinya tanah yang rendah, lembah akar yang membengkak karena lama terendam air (menurut kamus melayu), sedangkan menurut bahasa melayu-Palembang, lembang atau lembeng adalah genangan air. Jadi Palembang adalah suatu tempat yang digenangi oleh air.

Kondisi alam ini bagi nenek moyang orang-orang Palembang menjadi modal mereka untuk memanfaatkannya. Air menjadi sarana transportasi yang sangat vital, ekonomis, efisien dan punya daya jangkau dan punya kecepatan yang tinggi. Selain kondisi alam, juga letak strategis kota ini yang berada dalam satu jaringan yang mampu mengendalikan lalu lintas antara tiga kesatuan wilayah:

Tanah tinggi Sumatera bagian Barat, yaitu :

Ketiga kesatuan wilayah ini merupakan faktor setempat yang sangat mementukan dalam pembentukan pola kebudayaan yang bersifat peradaban. Faktor setempat yang berupa jaringan dan komoditi dengan frekuensi tinggi sudah terbentuk lebih dulu dan berhasil mendorong manusia setempat menciptakan pertumbuhan pola kebudayaan tinggi di Sumatera Selatan. Faktor setempat inilah yang membuat Palembang menjadi ibukota Sriwijaya, yang merupakan kekuatan politik dan ekonomi di zaman klasik pada wilayah Asia Tenggara. Kejayaan Sriwijaya diambil oleh Kesultanan Palembang Darusallam pada zaman madya sebagai kesultanan yang disegani dikawasan Nusantara

Sriwijaya, seperti juga bentuk-bentuk pemerintahan di Asia Tenggara lainnya pada kurun waktu itu, bentuknya dikenal sebagai Port-polity. Pengertian Port-polity secara sederhana bermula sebagai sebuah pusat redistribusi, yang secara perlahan-lahan mengambil alih sejumlah bentuk peningkatan kemajuan yang terkandung di dalam spektrum luas. Pusat pertumbuhan dari sebuah Polity adalah entreport yang menghasilkan tambahan bagi kekayaan dan kontak-kontak kebudayaan. Hasil-hasil ini diperoleh oleh para pemimpin setempat. (dalam istilah Sriwijaya sebutannya adalah datu), dengan hasil ini merupakan basis untuk penggunaan kekuatan ekonomi dan penguasaan politik di Asia Tenggara.

Ada tulisan menarik dari kronik Cina Chu-Fan-Chi yang ditulis oleh Chau Ju-Kua pada abad ke 14, menceritakan tentang Sriwijaya sebagai berikut :Negara ini terletak di Laut selatan, menguasai lalu lintas perdagangan asing di Selat. Pada zaman dahulu pelabuhannya menggunakan rantai besi untuk menahan bajak-bajak laut yang bermaksud jahat. Jika ada perahu-perahu asing datang, rantai itu diturunkan. Setelah keadaan aman kembali, rantai itu disingkirkan. Perahu-perahu yang lewat tanpa singgah dipelabuhan dikepung oleh perahu-perahu milik kerajaan dan diserang. Semua awak-awak perahu tersebut berani mati. Itulah sebabnya maka negara itu menjadi pusat pelayaran.