कहते हैं कि शिर्डी जाते समय साईं बाबा खिर्डी नामक एक गांव में रुके थे लेकिन उस गांव के लोगों ने उनका अपमान कर उन्हें वहां से भगा दिया था। तब बाबा शिर्डी चले गए। यदि उस गांव के लोग ऐसा नहीं करते तो बाबा वहां कुछ समय रुकते और खिर्डी में एक पवित्र स्थान बन जाता। खिर्डी से शिर्डी मात्र 32 किलोमीटर दूर है।
लेकिन खिर्डी के लोगों का मानना है कि शायद बाबा के अपमान की वजह से ही यहां का पानी खारा है, जबकि आसपास के हर गांव का पानी बिल्कुल मिठा है। इस गांव का पूरा नाम खिर्डी गणेश है। इस गांव के नाम के साथ गणेश इसलिए जुड़ गया क्योंकि यहां पर 100 वर्ष से एक ही स्थान पर सार्वजनिक गणेशोत्सव मनाया जा रहा है।