Efsaneye göre bir zamanlar Kütahya'da minareden boylu, olağan üstü, dev gibi iri ve güçlü adamlar yaşarmış. Ömürleri de boyları gibi uzunmuş. Bazıları susadığında eğilip kente üç kilometre uzaklıktaki Felent çayından su içerlermiş. Bir gün bu adamlara liderleri yan yana dizilmelerini emretmiş, dizinin bir ucu Yoncalı'ya diğer ucu Nemrut Kayası'na ulaşmış. Liderleri Nemrut Kayası'ndan parçalar kestirerek oda büyüklüğünde kaya parçaları elden ele geçirilerek Gulam Köyü diye bir köyün yanında işlenerek kentin yanındaki şimdiki Hisar Tepe'ye taşınmış.

Bir söylentiye göre şimdiki Enne Köyü'nün adı bu olaydan kaynaklanır. Daha önceleri "Elele" olan köyün adı zamanla Enne'ye dönüşür. Kalenin yapımı uzun sürer. Bedenler, örülür, saralar kururlur, su mahzenleri kazılır ve yer altı yolları yapılarak, görkemli bir kale yükselir. Bu sırada bin yaşına yaklaşmış olan başkanın bir oğlu varmış. Henüz bıyıkları yeni terlemiş olan başkanın bu oğlu 300 yaşındaymış ve birden ölmüş. O güne kadar ölümle ilk kez karşılaşan babanın beli bükülür ve yaptığı kaleye bakar bakar, "Üç yüz yaşında oğlum öldü hamı traş. Bu diyarda ölüm olduğunu bileydim, koymazdım taş üstüne taş" demiş.