Harput kalesinin bir adı da “Süt Kalesi”dir. Bu kaleye Süt Kalesi denmesinin ilginç bir hikayesi vardır. Kalenin temelleri atılır. Kale duvarları yükselmeye başlar. Ancak o yıl başlayan su kıtlığına bir çare bulunamaz. Aynı yıl bu su kıtlığının aksine hayvanların sütleri oldukça boldur. Zamanın hükümdarı emir verir. Harç için süt kullanılacaktır. Hayvanlar sağılır. Harç süt ile karılır, kale tamamlanır.

Diğer bir efsaneye göre ise kalenin pek çok dehlizi vardır. Bu dehlizlerden birinde güzellerden güzel bir kız yaşar. Ancak büyülü olduğundan sürekli kendisi için yaptırılan bir altın köşkte uyumaktadır. Yalnız her yıl bir kez uyanır “Süt Kalesi yıkıldı mı? Katırlar kuzuladı mı? Dere hamamının yerinde yeller esiyor mu?" diye sorar, sonra yeniden uykuya dalar. Eğer bu sayılanlar gerçekleşirse Harput'un yıkılacağı ve kıyamet kopacağına inanılmaktadır. Bazı kişilerin bu kızın sesini duyduğunu da kulaktan kulağa söyleen efsaneler arasındadır.