पश्चिमोत्तर दिशा की ओर अधिकांश भाग में शहर पनाह (पत्थर की ऊंची दीवार) बनी हुई है। इसमें अंदर ही शिप्रा के उत्तर तट पर 'कालभैरव' का सुविशाल मंदिर है। मंदिर के पास नीचे शिप्रा नदी का घाट बहुत बड़ा और सुंदर पुख्ता बना हुआ है। प्रवेश द्वार बहुत भव्य ऊंचा बना हुआ है। द्वार के अंदर प्रवेश करने पर दीप स्तंभ खड़ा दिखाई देता है। बाद में मंदिर हैं।
कहते हैं कि यह मंदिर 'राजा भद्रसेन' का बनाया हुआ है। मंदिर पर खुदाई का काम किया हुआ है। नदी में जल खूब भरा रहता है। यहां भैरव अष्टमी को यात्रा लगती है और भैरवजी की सवारी निकलती है। यह मंदिर अतिप्राचीन है। पुराणों में अष्ट भैरवों की प्रसिद्धि है। उनमें ये प्रमुख हैं। प्रसिद्ध तांत्रिक गोपीनाथ, रामअवधेश, सुधाकर, मौनीबाबा और केलकर सा. अक्सर यहीं साधना करने आते हैं।
बाईं तरफ के द्वार से बाहर हैं किले की ओर जाने का मार्ग। यह किला लगभग 300 हाथ लंबा और 30 हाथ ऊंचा है। इसी जगह पहले सम्राट अशोक ने उज्जैन का जेल खाना बनवाया था। सम्राट अशोक के काल में इसे 'नरक या नरकागार' कहा जाता था। आज इसमें उज्जयिनी का बड़ा जेल है। इस जेल के कैदी द्वारा निर्मित भेरूगढ़ प्रिंट की चादरें विख्यात हैं। जेल में हाथ की कती-बुनी दरी वगैरह बनाई जाती है।