कहते हैं कि शिर्डी जाते समय साईं बाबा खिर्डी नामक एक गांव में रुके थे लेकिन उस गांव के लोगों ने उनका अपमान कर उन्हें वहां से भगा दिया था। तब बाबा शिर्डी चले गए। यदि उस गांव के लोग ऐसा नहीं करते तो बाबा वहां कुछ समय रुकते और खिर्डी में एक पवित्र स्थान बन जाता। खिर्डी से शिर्डी मात्र 32 किलोमीटर दूर है।
लेकिन खिर्डी के लोगों का मानना है कि शायद बाबा के अपमान की वजह से ही यहां का पानी खारा है, जबकि आसपास के हर गांव का पानी बिल्कुल मिठा है। इस गांव का पूरा नाम खिर्डी गणेश है। इस गांव के नाम के साथ गणेश इसलिए जुड़ गया क्योंकि यहां पर 100 वर्ष से एक ही स्थान पर सार्वजनिक गणेशोत्सव मनाया जा रहा है।
कहते हैं कि आदिवासी बहुल क्षेत्र खिर्डी ग्राम की स्थापना वर्ष 1917 में तत्कालीन मालगुजार गणपतराव धोटे ने की थी। लेकिन इसकी स्थापना और साईं बाबा के शिर्डी आगमन की तिथि को लेकर विरोधाभार उत्पन्न होता है जिसके चलते यह तथ्य सत्य नहीं माना जा सकता।