भाई दूज की उत्पत्ति से जुडी हुई कई किवदंतियां और कहानियां हैं। आमतौर पर यह माना जाता है कि इस दिन, मृत्यु के देवता भगवान यम अपनी बहन यामी या यमुना के पास आए। यामी ने उनका 'आरती' और माला के साथ स्वागत किया, माथे पर 'तिलक' लगाया और उन्हें मिठाई और विशेष व्यंजन पेश किए। बदले में, यमराज ने उन्हें एक अनोखा उपहार दिया और घोषणा की कि इस दिन भाइयों को उनकी बहन द्वारा आरती और तिलक मिलेगा और लंबे जीवन का वरदान मिलेगा। यही कारण है कि इस दिन को 'यम द्वितीय' या 'यामादविथिया' भी कहा जाता है। एक और किंवदंती बताती है कि राक्षस राजा नारकसुर के वध के पश्चात भगवान कृष्ण अपनी बहन सुभद्रा के पास गए, जिन्होंने मिठाई, माला, आरती और तिलक के साथ स्नेही रूप से भगवान कृष्ण का स्वागत किया।