SMA Negeri 3 Palembang didirikan pada tahun 1961, pertama kali didirikan keadaannya belum lengkap seperti sekarang, untuk sementara SMA Negeri 3 belum mempunyai gedung sendiri dan menumpang di SMA Negeri 2 Palembang, termasuk staff gurunya. Sedangkan yang menjabat Kepala Sekolah untuk pertama kalinya adalah Bapak M. Ali Nurdin salah seorang staff guru SMA Negeri 2 Palembangdan baru mempunyai satu kelas. Walaupun hanya bermodal satu kelas, Kepala Sekolah beserta staff pegawainya bertekad untuk mewujudkan kerja sama dan kerja keras untuk menjadikan sekolah ini baik, berkembang, setaraf atau lebih baik dari sekolah lain, meskipun baru berstatus persiapan SMA Negeri. Tanggal 18 Agustus 1961 merupakan hari pertama sekolah ini dibuat secara resmi, Tanggal ini patut diingat karena saat itulah SMA Negeri 3 Palembang resmi memulai aktivitasnya. Tentulah pantas bahwa tanggal tersebut diperingati sebagai hari jadi SMA Negeri 3 Palembang.
Terhitung dari tanggal 1 Agustus1963 SMA Negeri ini resmi menjadi SMA Negeri 3 Palembang dengan SK Mendikbud RI pada tanggal 25 Juli1963, No. 59/SK/B/III. Dengan ketentuan antara lain: Kepala Sekolah dimantapkan Bapak M. Ali Nurdin Tempat belajar sementara menumpang di SMA Negeri 2 Palembang Waktu belajar siang hari dari pukul 13.00 – 17.00 Guru dan pegawainya adalah dari SMA Negeri 2 Palembang yang dimutasikan ke SMA Negeri 3 Palembang Jumlah kelas sebanyak 10 kelas terdiri dari ; kelas 1 = 5 kelas, kelas 2 = 4 kelas, dan kelas 3 = 1 kelas. Pada tanggal 15 Juni 1966, SMA Negeri 3 Palembang pindah tempat belajarnya dari SMA Negeri 2 Palembang ke lokasi yang sekarang. Gedung ini dahulunya adalah bekas SD Tionghoa yang dengan SK Gubernur KDH Tingkat I Sumsel tanggal 4 Juni 1966 No. 6151/1966 diberikan hak pakai kepada SMA Negeri 3 Palembang yang pada saat itu Kepala Sekolahnya telah berganti menjadi Bapak Sutoyo Nurhidayat, BA.
Mulai Tahun Pelajaran 2002/2003 SMA Negeri 3 Palembang ditunjuk dari Dirjen Pendidikan Menengah Pusat sebagai Pilot Project pelaksanaan Kurikulum Berbasis Kompetensi yang kemudian berganti menjadi Kurikulum 2004 yang telah melaksanakan Ujian Nasional Kurikulum 2004 dan berhasil dengan persentase kelulusan 100Â %. Tahun Pelajaran 2005 /2006 kembali SMA Negeri 3 Palembang ditunjuk sebagai sekolah pengembang pembelajaran berbasis Teknologi Informasi dan Komunikasi (TIK ) atau ICT .Sebagai sekolah yang ditunjuk sebagai pengembang pembelajaran berbasis ICT SMA Negeri 3 Palembang telah melengakapi Laboratorium Komputer dengan jumlah komputr 24 unit dan Ruang internet 10 unit dan mempunyai Ruang Multi media dengan perangkat 10 komputer,3 LCD dan 4 buah Laptop. Guna memperkenalkan dan menjalin hubungan dengan semua pihak yang berhubungan dengan dunia Pendidikan SMA Negeri 3 Palembang mempunyai situs: www.geocities.com/smanegeri3palembang Tahun Pelajaran 2007/2008 SMA Negeri 3 Palembang ditunjuk oleh Pusat sebagai Rintisan Sekolah Kategori Mandiri.
