महाराजा शिवाजीराव होलकर के साथ कई किंवदंतियां जुड़ी हुई हैं। कहा जाता है कि प्रायः वे राजबाड़े के सामने वाले झरोखे पर बैठकर आने-जाने वाले लोगों को देखा करते थे। जैसे ही उनकी दृष्टि अंगरेज पर पड़ती उसे तत्काल पकड़वाकर राजबाड़े में बुलवाया जाता और फिर उसकी पिटाई की जाती थी। इस तरह अंगरेजों को अपमानित करना महाराजा के लिए आम बात हो गई थी। कोई भी अंगरेज कर्मचारी उनसे मिलने या राजबाड़े की ओर जाने की जुर्रत नहीं किया करता था। यहां तक कि इंदौर का पोलिटिकल एजेंट भी भयभीत रहता था कि न जाने कब उसे अपमानित कर दिया जाए।
भारत सरकार के सचिव को इंदौर स्थित पोलिटिकल एजेंट ने इंदौर रेसीडेंसी से अपने पत्र क्र. 10-पी. 129 दिनांक 12 मार्च 1888 ई. को लिखा- 'कोई भी अंगरेज अधिकारी स्वाभिमान की रक्षा करते हुए उनके साथ नहीं रह सकता... भारत में किसी भी कार्यालयीन सेवा ने मुझे इतना कष्ट नहीं पहुंचाया जितना कि इस महाराजा के चार्ज ने...' (राष्ट्रीय अभिलेखागार-फाइल-फॉरेन डिपार्टमेंट सीक्रेट, मई 1888 क्र. 50-51)
अंगरेजों के अलावा महाराजा के कोपभाजक जो देशी लोग बनते थे, उन्हें सार्वजनिक रूप से राजबाड़े के सामने दंडित किया जाता था। महाराजा राजबाड़े से इन दृश्यों का अवलोकन करते थे। पूना के एक लोकप्रिय समाचार पत्र 'पूना वैभव' के 30 जून 1894 ई. के अंक में महाराजा के विषय में लिखा गया- 'लोगों के मुंह काले कर दिए जाते हैं, उनके वस्त्र फाड़ दिए जाते हैं, उन्हें एक पूंछ लगाने के लिए बाध्य किया जाता है तथा उन्हें बंदरों की तरह उछल-कूद करने को कहा जाता है। बहुत से लोगों को इकट्ठा करके एक-दूसरे के साथ मुक्केबाजी करने और 'किक' करने के लिए बाध्य किया जाता है। केवल हास्य-विनोद के लिए उन्हें एक-दूसरे पर थूकने को भी कहा जाता है...।' (फॉरेन डिपार्टमेंट सीक्रेट, सितंबर 1895, क्र. 7-33)