उज्जैन के प्राचीनतम स्थानों में भगवती श्री हरसिद्धिजी का स्थान विशेषतापूर्ण है। रुद्रसागर तालाब के सुरम्य तट पर चारों ओर मजबूत प्रस्तर दीवारों के बीच यह सुंदर मंदिर बना हुआ है। कहा जाता है कि अवन्तिकापुरी की रक्षा के लिए आस-पास देवियों का पहरा है, उनमें से एक हरसिद्धि देवी भी हैं, किंतु शिवपुराण के अनुसार यहां हरसिद्धि देवी की प्रतिमा नहीं है।
सती के शरीर का अंश अर्थात हाथ की कोहनी मात्र है, जो शिवजी द्वारा छिन्न-भिन्न किए जाने के समय वहां आकर गिर गई है। तांत्रिकों के सिद्धांतानुसार यह पीठ स्थान है, 'यस्मात्स्थानांहि मातृणां पीठं से नैवे कथ्यते।'उज्जयिनी के महात्म्य में इस स्थान का परिचय इस प्रकार है- प्राचीनकाल में चण्डमुण्ड नामक दो राक्षस थे। इन दोनों ने अपने प्रबल पराक्रम से समस्त संसार पर अपना आतंक जमा लिया था। एक बार ये दोनों कैलाश पर गए। शिव-पार्वती द्यूत-क्रीड़ा में निरत थे। ये अंदर प्रवेश करने लगे, तो द्वार पर ही नंदीगण ने उन्हें जाने से रोका, इससे नंदीगण को उन्होंने शस्त्र से घायल कर दिया। शिवजी ने इस घटना को देखा। तुरंत उन्होंने चंडी का स्मरण किया। देवी के आने पर शंकर ने राक्षसों के वध की आज्ञा दी।
'वध्यंता देवि तो दैत्यो वधामति वचोऽब्रतीत'
आज्ञा स्वीकार कर देवी ने तत्क्षण उनको यमधाम भेज दिया। शंकरजी के निकट आकर विनम्रता से वध-वृत्त सुनाया। शंकरजी ने प्रसन्नता से कहा-
हे चण्डी, तुमने दुष्टों का वध किया है अत: लोक-ख्याति में हरसिद्धि नाम प्रसिद्धि करेगा। तभी से इस महाकाल-वन में हरसिद्धि विराजित हैं।
हरस्तामाह हे चण्डि संहृतो दानवौ
हरसिद्धी रतो लोके नाम्ना ख्याति गामिष्यासि
(अ. 19 श्लो. 10)
मंदिर की चारदीवारी के अंदर 4 प्रवेशद्वार हैं। मंदिर का द्वार पूर्व दिशा की तरफ है। द्वार पर सुंदर बंगले बने हुए हैं। बंगले के निकट दक्षिण-पूर्व के कोण में एक बावड़ी बनी हुई है जिसके अंदर एक स्तंभ है। उस पर सं. 1447 माधवदि. खुदा हुआ है। मंदिर के अंदर देवीजी की मूर्ति है। श्रीयंत्र बना हुआ स्थान है। इसी स्थान के पीछे भगवती अन्नपूर्णा की सुंदर प्रतिमा है।
मंदिर के पूर्व द्वार से लगा हुआ सप्तसागर (रुद्रसागर) तालाब है। इस तालाब में किसी समय कमल-पुष्प खिले होते थे। ऐसा नयन-मनोहर दृश्य उपस्थित करते थे कि दर्शकों की गति को रोककर क्षणभर पुष्पराज को देखने के लिए हठात आकर्षित करते थे। बंगले के निकट एक पुख्ता गुफा बनी हुई है। प्राय: साधक लोग इसमें डेरा लगाए रहते हैं। देवीजी के मंदिर के ठीक सामने बड़े दीप-स्तंभ खड़े हुए हैं।
प्रतिवर्ष नवरात्र के दिनों में 5 दिन तक इन पर प्रदीप-मालाएं लगाई जाती हैं। इन दिनों हजारों दर्शकों का समूह जमा रहा करता है। दीप-मालिका की परम रमणीय शोभा को देखकर मालूम होता है, मानो जगमगाते हुए रत्नों के दो महान प्रकाशमान, उच्च स्तंभ स्वर्गीय सौंदर्य को बरसाते हुए खड़े हैं। जिस समय से ये प्रज्वलित होते हैं, उस समय रुद्रसागर में भी इनका दूर तक प्रतिबिम्ब पड़ता है। यह शोभा अवर्णनीय और अपूर्व तथा हृदय के अनुभव की वस्तु होती है।
कहा जाता है कि देवीजी सम्राट विक्रमादित्य की आराध्या रही हैं। इस स्थान पर विक्रम ने अनेक वर्षपर्यंत तप किया है।
परमारवंशीय राजाओं की तो कुल-पूज्या ही हैं। मंदिर के पीछे एक कोने में कुछ 'सिर' सिन्दूर चढ़े हुए रखे हैं। ये 'विक्रमादित्य के सिर' बतलाए जाते हैं। विक्रम ने देवी की प्रसन्नता प्राप्त करने के लिए 11 बार अपने हाथों से अपने मस्तक की बलि की, पर बार-बार सिर आ जाता था। 12वीं बार सिर नहीं आया। यहां शासन संपूर्ण हो गया। इस तरह की पूजा प्रति 12 वर्ष में एक बार की जाती थी।
यों 144 वर्ष शासन होता है, किंतु विक्रम का शासनकाल 135 वर्ष माना जाता है। यह देवी वैष्णवी हैं तथा यहां पूजा में बलि नहीं चढ़ाई जाती। यहां के पुजारी गुसाई जी हैं। ओरछा स्टेट के गजेटियर में पेज 82.83 में लिखा है कि- 'यशवंतराव होलकर ने 17वीं शताब्दी में ओरछा राज्य पर हमला किया। वहां के लोग जुझौतिये ब्राह्मणों की देवी हरसिद्धि के मंदिर में अरिष्ट निवारणार्थ प्रार्थना कर रहे थे।
औचित्य वीरसिंह और उसका लड़का 'हरदौल', सवारों की एक टुकड़ी लेकर वहां पहुंचा, मराठों की सेना पर चढ़ाई कर दी, मराठे वहां से भागे, उन्होंने यह समझा कि इनकी विजय का कारण यह देवी हैं, तो फिर वापस लौटकर वहां से वे उस मूर्ति को उठा लाए। वही मूर्ति उज्जैन के शिप्रा-तट पर हरसिद्धिजी हैं। परंतु पुराणों में भी हरसिद्धि देवीजी का वर्णन मिलता है अतएव 18वीं शताब्दी की इस घटना का इससे संबंध नहीं मालूम होता। मंदिर का सिंहस्थ 2004 के समय पुन: जीर्णोद्धार किया गया है। यहां 'हरसिद्धि भक्त मंडल' द्वारा नवरात्र महोत्सव संपन्न होता है।
मंदिर के पीछे अगस्तेश्वर का पुरातन सिद्ध-स्थान है। ये महाकालेश्वर के दीवान कहे जाते हैं। रुद्रसागर की पाल के नीचे शिप्रा-तट के मार्ग पर एक रामानुज कोट नामक विशाल मंदिर और संस्था स्थापित है। इस मंदिर की प्रतिष्ठा संवत् 1975 में हुई। यहां के आचार्य गरूड़ध्वजजी एक शांत प्रकृति के साधु थे। यहां एक संस्कृत पाठशाला भी थी। इसी स्थान के निकट दो धर्मशालाएं हैं, जहां यात्रीगण रहा करते हैं। वेंकटेश-भवन नदी के तट पर सुंदर स्थान है और रामानुज कोट से लगी हुई गजाधर की धर्मशाला भी बड़ी है। यहां एक संस्कृत-पाठशाला है। 'बम्बई वाले की धर्मशाला' नाम से विख्यात यह धर्मशाला मंगल कार्यों के लिए उपयोगी होती है।