Emperor Justinian I, terkenal dengan projek-projek seni bina yang megah seperti Hagia Sophia, telah memerintahkan pembinaan gereja ini antara 527 dan 536 M. Pada awalnya dinamakan Gereja Saints Sergius dan Bacchus, gereja ini menghormati dua syuhada Kristian. Reka bentuk gereja yang unik, dengan kubah pusat, merupakan sesuatu yang terobosan pada masa itu dan mungkin mempengaruhi pembinaan Hagia Sophia yang lebih besar.

Selepas Uthmaniyyah menawan Constantinople pada tahun 1453, gereja ini ditukarkan menjadi sebuah masjid, dikenali sebagai Kucuk Ayasofya Camii atau Masjid Little Hagia Sophia. Sebuah menara dan sebuah sekolah agama telah ditambah. Walaupun menghadapi cabaran seperti gempa bumi dan keadaan lembap, serta pernah berfungsi sebagai tempat perlindungan ketika peperangan, masjid ini masih kekal sebagai tapak sejarah yang penting berkat usaha pemulihan yang menyeluruh.
Dari luar, reka bentuk Masjid Little Hagia Sophia kelihatan ringkas namun elegan, mencerminkan teknik seni bina pada zamannya. Bangunannya berbentuk oktagon, dengan sebuah kubah yang mengagumkan disokong oleh lapan tiang. Apabila anda menghampiri, sebuah halaman yang menawan dengan taman kecil dan pancuran air menyambut anda, mewujudkan ruang yang tenang untuk berhenti dan menghayati suasananya.

Di dalam, kemegahan masjid itu terungkap. Sebuah arked berkembar tingkat di bahagian utara, barat dan selatan dihiasi dengan tiang marmar verd antique dan merah Synnadic. Tiang-tiang ini, yang mempamerkan ketelitian hasil kerja tukang berabad-abad yang lalu, menyangga sebuah kubah yang dibahagi kepada enam belas bahagian. Sebuah inskripsi dalam dua belas bait hexameter Yunani menghormati Emperor Justinian, isterinya Theodora, dan Saint Sergius, sekali gus menambah nilai sejarah pada bahagian dalam.
Little Hagia Sophia, walaupun tidak selegenda pasangannya yang lebih besar, mempunyai kisah-kisah menarik tersendiri. Satu legenda menceritakan tentang Emperor Justinian, yang sebelum menjadi maharaja pernah dituduh melakukan pengkhianatan. Saints Sergius dan Bacchus muncul kepada Emperor Justin I dalam mimpi, mengesyorkan agar Justinian tidak bersalah. Berasa bersyukur atas campur tangan mereka, Justinian bersumpah untuk membina sebuah gereja sebagai penghormatan, yang membawa kepada terwujudnya Little Hagia Sophia.

Kisah lain menonjolkan kepentingan seni bina masjid tersebut, yang mencadangkan bahawa masjid ini pernah menjadi medan ujian bagi teknik-teknik yang disempurnakan dalam Hagia Sophia yang besar. Walaupun bukan sesuatu yang bersifat supernatural, legenda ini menekankan semangat inovatif seni bina Byzantine.
Desas-desus tentang khazanah tersembunyi di dalam tembok masjid masih berterusan, dipercayai telah disembunyikan semasa Penaklukan Uthmaniyyah. Walaupun kewujudan khazanah seperti itu masih tidak pasti, legenda ini menambahkan unsur misteri pada tapak berkenaan.