यह मंदिर नर्मदा नदी के बीच मन्धाता और शिवपुरी द्वीप पर बना है. ये द्वीप पवित्र चिह्न ॐ के आकार में दिखाई पड़ता है. माना जाता है कि यहां स्थापित शिवलिंग एक प्राकृतिक शिवलिंग है जो अपने आप प्रकट हुआ है. माना जाता है कि पुराने समय में ओंकारेश्वर मंदिर वाली पहाड़ी पर एक मांधाता नाम के राजा ने तप किया था. इस पर्वत को मांधाता पर्वत भी कहते हैं. राजा के तप से भगवान शिव प्रसन्न हुए और यहां प्रकट हुए. इसके बाद राजा ने शिव जी वरदान के रूप में कहा कि वे अब से यहीं वास करें.