Masa Pemerintahan Dalem Segening Klungkung
Sejarah cikal bakal Desa Panji berawal dari masa pemerintahan Dalem Segening di Kerajaan Klungkung. Pada masa itu, raja Dalem Segening melakukan hubungan gelap dengan seorang selirnya yang benama Ni Luh Pasek yang konon berasal dari wilayah Bali Utara (sekarang Buleleng). Dari hasil hubungannya tersebut lahirlah seorang anak (sentana) yang diberi nama I Gusti Gede Pasekan (Ki Barak).
Sebagaimana legenda yang masih dipercaya, bahwa pada saat kelahirannya (I Gusti Gede Pasekan) menunjukan ciri-ciri yang sangat menonjol. Pada saat Ki Barak tidur, sang raja melihat cahaya yang memancar dari ubun-ubun (pabaan) Ki Barak. Melihat pertanda tersebut, sang raja memanggil penasehat istana serta menanyakan tentang arti pertanda. Menurut pengamatan spiritual, penasehat istana mengatakan bahwa kelak ia (Ki Barak) akan menjadi orang yang berpengaruh dan berkuasa di jagat ini. Rupa-rupanya hal ini menimbulkan keresahan dalam hati sang raja tentang keutuhan kerajaan di kemudian hari.
Atas saran dari penasehat istana, raja Dalem Segening memutuskan untuk mengirim Ki Barak ke Bali Utara. Di samping untuk menghindari perpecahan dalam kerajaan, keputusan ini juga sebagai sebuah tindakan politis dalam perluasan kekuasaan nantinya. Sehingga pada saat Ki Barak genap berumur 15 tahun, raja Dalem Segening kemudian memerintahkan Ki Barak untuk pergi ke Bali Utara. Hingga pada akhirnya, ia sampai dan menetap di Desa Panji. Pada saat itu, Desa Panji sudah berdiri sebuah kerajaan kecil yang diperintah oleh raja bengis yang bernama Ki Pungakan Gendis.
Sebuah sayembara besar untuk menolong sebuah kapal laut besar milik seorang pengusaha dari Cina yang karam di Segara Penimbangan yang berbunyi; "Barang siapa yang dapat mengembalikan/mendorong kapal tersebut ke tengah laut, maka semua isi kapal tersebut akan dihadiahkan kepadanya." Masyarakat berbondong-bondong mengikuti sayembara tersebut tetapi tidak ada yang berhasil termasuk Ki Pungakan Gendis. Ki Barak pun ikut dalam sayembara tersebut, dengan kemampuan gaib sebilah keris yang dibawanya, ia mengacungkan tangannya kearah kapal dan perlahan-lahan kapal bergerak ke tengah. Seketika itu, masyarakat yang menyaksikan bersorak mengelukan-elukan Ki Barak dan pedagang cina itu pun memberikan semua isi kapalnya yang berupa emas, berlian, kain, beras dan lain sebagainya sehingga membuat Ki barak menjadi kaya-raya.
Melihat prestasi gemilang serta dukungan rakyat yang semakin besar terhadap Ki Barak, maka Ki Pungakan Gendis kian murka hingga memutuskan untuk melakukan peperangan dengan Ki Barak. Pada akhirnya Ki Pungakan Gendis tewas dan peperangan dimenangkan oleh Ki Barak. Dengan gugurnya raja Pungakan Gendis, mulai era pemerintahan baru di bawah kekuasaan I Gusti Gede Pasekan yang kemudian dikenal sebagai I Gusti Ngurah Panji Sakti yang setelah dinobatkan menjadi raja bergelar Anglurah Ki Barak Panji Sakti.
Dibawah bendera kerajaan Anglurah Ki Barak Panji kepentingan rakyat diprioritaskan, serta didukung pola tata pemerintahan yang baik sehingga ia benar-benar mendapat tempat di hati rakyatnya, berwibawa, arif dan bijaksana. Selama pemerintahannya, ia pun secara terus menerus mengembangkan daerah kekuasaanya hingga pada akhirnya seluruh wilayah bali Utara ( Buleleng ) dikuasainya. Belum merasa puas dengan kekusaannya di Bali Utara, Ki Barak terobsesi untuk melakukan perluasan kekuasaan sampai ke Pulau jawa. Beberapa wilayah di pulau jawa yang berhasil di taklukan adalah wilayah Blangbangan yang di pimpin oleh raja yang bernama Ki Pasung Gerigis.[5]