खासगी जागीर के प्रारंभ से राज्य के भारतीय संघ में विलय होने तक की लंबी अवधि (220 वर्ष) तक एक ही परिवार द्वारा दीवान के दायित्वों का निर्वाह करने वाला यह विशिष्ट परिवार था जिसका 'उपनाम' ही 'खासगीवाले' पड़ गया। इस परिवार को सुदीर्घ सेवाओं के बदले होलकर राज्य की ओर से 254 रु. प्रतिमाह का नकद भुगतान किया जाता था और उन्हें जागीर भी दी गई थी। एक घोड़ा व अन्य सम्मान भी इस परिवार को राज्य की ओर से दिए गए थे।
होलकर राज्य में दो प्रकार की राज्य व्यवस्था थी। पहली राजकीय या सरंजामी और दूसरी खासगी। राजकीय भूमि से प्राप्त आय का व्यय राजकीय कार्यों पर होता था और खासगी में प्राप्त जागीर से होने वाली आमदनी होलकरों की व्यक्तिगत आय हुआ करती थी जिसका व्यय प्राय: राजपरिवार की जेष्ठतम रानी द्वारा किया जाता था। इस आमदनी पर राज्य का अधिकार नहीं होता था। खासगी जागीर के अपने नियम-कायदे थे और वहां महारानी के आदेशों का पालन होता था।
देवी अहिल्याबाई होलकर ने सारे देश में जो मंदिर, घाट, धर्मशालाएं, अनाथालय, आश्रम व विद्यालय बनवाए, उन पर इसी खासगी से व्यय किया गया। यह उल्लेखनीय तथ्य है कि अहिल्याबाई के समय से लेकर राज्य के अस्तित्व तक एक ही परिवार के व्यक्ति वंश परंपरानुसार खासगी दीवान बनते रहे।
इस परिवार के पुरखे श्री रघुनाथराव गानू 18वीं शताब्दी के पूर्वार्द्ध में, कोंकण का अपना पुश्तैनी गांव छोड़कर सूबेदार मल्हारराव होलकर की सेवा में आ गए थे, जहां उन्हें बारगीर का पद प्रदान किया गया था। उनके पुत्र गोविंदपंत गानू को अहिल्याबाई ने खासगी दीवान नियुक्त किया था। अहिल्याबाई की धार्मिक आकांक्षाओं के अनुरूप दीवान ने अनेक पुख्ता निर्माण कार्य करवाए, जो आज भी देशभर में विद्यमान हैं।
अहिल्याबाई ने दीवान की निष्ठापूर्ण सेवाओं से प्रसन्न हो उन्हें एक गांव जागीर में दिया जिससे 5151 रु. वार्षिक आय प्राप्त होती थी। गोविंदपंत के देहांत के बाद उनके पुत्र गोपालराव बाबा को खासगी दीवान बनाया गया जिन्होंने लगभग 50 वर्षों तक इस विभाग की सेवा की। उनके बाद उनके पुत्र गोविंदराव विनायक खासगी दीवान बने और आजीवन इस पद पर रहकर कार्य करते रहे। 1914 ई. में उनका देहावसान हुआ। उनके पुत्र नारायणराव गोविंद जो बी.ए. एल-एल.बी. तक शिक्षा प्राप्त थे, नवीन खासगी दीवान बनाए गए।