'इंदौर मदरसे' में सर्वप्रथम संस्कृत शिक्षा प्रारंभ की गई। 1853 में संस्कृत पढ़ने वाले 44 विद्यार्थी इस मदरसे में थे, लेकिन धीरे-धीरे यह संख्या घटने लगी और 20 वर्ष बाद संस्कृत का अध्ययन करने वाले केवल 27 छात्र रह गए।
महाराजा तुकोजीराव (द्वितीय) ने संस्कृत के अध्यययन के प्रति उत्पन्न अरुचि को गंभीरता से लिया और 1875-76 में ही संस्कृत अध्ययन को एक स्वतंत्र इकाई मानकर 'वेदशाला' नामक संस्था की स्थापना की। इस 'वेदशाला' में संस्कृत भाषा का ज्ञान मात्र देने की व्यवस्था नहीं थी अपितु इसके साथ ही वेद, न्याय, व्याकरण, साहित्य, आयुर्वेद एवं ज्योतिष के लिए भी अलग-अलग विभाग स्थापित हुए थे। इस संस्था के संचालक के रूप में राजोपाध्याय (कवठेकर) परिवार को मान्यता दी गई और उन्हीं के वर्तमान आवास-गृह (पीपली बाजार) में वेदशाला की कक्षाएं चलने लगीं। इस संस्था पर होने वाले व्यय की व्यवस्था के लिए विभिन्न कारखानों से होने वाली आय से अंशदान देना तय किया गया। वेदशाला की कल्पना इतनी प्रभावशाली रही कि पहले ही वर्ष इसमें 161 विद्यार्थियों ने प्रवेश लिया।
महाराजा तुकोजीराव पाश्चात्य शिक्षा व चिकित्सा प्रणाली में अधिक विश्वास नहीं रखते थे। उनकी दृढ़ धारणा थी कि भारतीयों को अपने प्राचीन वैदिक साहित्य, आयुर्वेद, ज्योतिष व नक्षत्र का ज्ञान हासिल करना चाहिए, जो केवल संस्कृत के माध्यम से प्राप्त किया जा सकता है। अंगरेजी भाषा के लिए उनके मन में कोई अनुराग न था। पाश्चात्य चिकित्सा पद्धति को यद्यपि उन्होंने इंदौर में स्थापित होने दिया, किंतु स्वयं उन्होंने मृत्युपर्यंत इस चिकित्सा प्रणाली को कभी नहीं अपनाया, क्योंकि वे आयुर्वेद चिकित्सा में विश्वास रखते थे।
कहा जाता है, महाराजा तुकोजीराव (द्वितीय) के शासनकाल में ही 'तुकीजीकाव्यम्' नामक ग्रंथ की रचना संस्कृत में की गई थी। इस ग्रंथ के लेखक श्री सदाशिव राव दादा राजोपाध्याय थे। इस ग्रंथ की एक प्रति अब भी राजोपाध्याय परिवार में सुरक्षित है।
वेदशाला में विद्यार्थियों की संख्या उत्तरोत्तर बढ़ती गई। राजोपाध्याय निवास, जिसमें उनकी गौशाला भी थी, अध्ययन-अध्यापन के लिए छोटा पड़ने लगा। अत: नवीन भवन निर्मित कर इस संस्था को अन्यत्र स्थापित करने की आवश्यकता महसूस की जाने लगी।