Harput’ta, Alaca Mescit’in sol tarafından bir iki metre aşağıya inildiğinde kayalar üzerinde küçük bir kapı görülür. Bu kapı, Arap Baba Türbesi’ne aittir. Türbe dikdörtgen planlıdır. Zeminin tam ortasında, yeşil bir kumaşla örtülü ahşap bir sanduka içerisinde Arap Baba’nın naaşı bulunmaktadır. Cesedin başı yoktur. Sonradan buraya bir kesik baş konulmuşsa da bu başın cesetle herhangi bir ilgisinin olmadığı anlaşılmaktadır. Tüm uzuvları büyük ölçüde korunmuş olan cesedin göğüs ve karın kısmı kısmen çökmüştür. Özellikle el ve ayakları, tırnaklarına kadar şaşırtıcı derecede sağlam kalmıştır. Cesedin uzun yıllar önce mumyalanmış olduğu ileri sürülse de bu konuda yapılan araştırmalar kesin bir sonuca ulaşamamıştır.

Arap Baba hakkında halk arasında pek çok efsane anlatılmaktadır. Bunlardan en yaygın olanı şöyledir:

Bir yıl Harput ve çevresine hiç yağmur yağmaz. Kuraklığın ardından kıtlık baş gösterir ve halk büyük sıkıntılar yaşamaya başlar. Alaca Mescit’in yakınlarında yaşayan Selvi adında yaşlı bir kadın, rüyasında Arap Baba’nın başı kesilip bir dereye atılırsa yağmur yağacağını görür. İlk başta bu rüyaya bir anlam veremez. Ancak aynı rüyayı üç gece üst üste görünce bunun bir işaret olduğuna inanır. Bir gece türbeye giderek Arap Baba’nın başını gövdesinden ayırır ve kesik başı dereye atar.

Rivayete göre, bunun ardından yağmur yağmaya başlar. Ancak yağan yağmur beklenenden çok daha şiddetlidir. Yağmur adeta bir tufana dönüşür; dereler taşar, seller her yanı kaplar ve yağış bir türlü dinmez. Uzun süredir yağmur bekleyen insanlar, bu kez de sel felaketi karşısında çaresiz kalırlar.

Bir süre sonra Selvi kadın yine bir rüya görür. Rüyasında, yağmurun durması için Arap Baba’nın kesilen başının yerine konulması gerektiği söylenir. Bunun üzerine bir kesik baş bulur ve türbedeki cesedin üzerine yerleştirir. Rivayete göre yağmur hemen kesilir ve sel suları çekilmeye başlar.

Harputlular, bu olayın ardından Selvi kadının korkunç bir hastalığa yakalandığını, günlerce büyük acılar çektiğini ve sonunda hayatını kaybettiğini anlatırlar.