هسته اولیه این کتابخانه هنگامى که مؤسس بزرگوار کتابخانه در نجف‌اشرف به تحصیل اشتغال داشتند شکل‌گرفته است. در آن روزگار ارزش و اهمیت میراث اسلامى بر همگان روشن نبود. ایشان نخست فهرستى از کتابهاى ارزشمند خطى و چاپى نادر را که در کمتر کتابخانه‌اى یافت میشد تهیه کرد؛ به امید آن که بتواند به تدریج آنها را به دست آورد.
عدم تمکن مالى و رقیبان قدرتمندى که میراث فرهنگى اسلامى را از کشورهاى اسلامى خارج مى‌ساختند، دو مشکل اساسى بر سر راه ایشان بود. حتى روزى بر سر خرید یک نسخه خطى با نماینده کنسول انگلیس در عراق درگیر شد و شبى را در زندان سپرى نمود.
آیت‌الله مرعشى با انجام نماز و روزه استیجارى، حذف یک وعده غذاى روزانه، کاستن بخشى از مخارج زندگى و کار شبانه در کارگاههاى برنج‌کوبى در نجف‌اشرف ـ پس از فراغت از درس و بحث، و با انگیزه و عشق سرشار به جمع‌آورى میراث و ذخایر اسلامى و فائق آمدن بر مشکلات و شکنجه‌هاى روحى، که در مسیر این هدف مقدس قرار داشت ـ سرانجام به مجموعه‌اى نفیس از نسخه‌هاى خطى و کتابهاى چاپى نایاب دست یازید.
هنگامى که ایشان طلبه بود و در نجف‌اشرف با شهریه‌اى اندک زندگى میکرد، بارها اتفاق مى‌افتاد که ترجیح مى‌داد با این مبلغ کم نیز کتاب بخرد. روزى هم پس از تحمل گرسنگى چند روزه با پول ناچیزشان کتابى خریده و آن را در آغوش گرفته بودند که ناگاه بر زمین مى‌افتند، لیکن همچنان کتاب را در آغوش خود مى‌فشرده‌اند.
کتب پیشینیان و مطالعه و پژوهش و سپس به یادگار گذاشتن آنها براى دیگر طالبان علم است.
با مهاجرت ایشان از عراق به ایران در سال ١٣٤٢ق، مجموعه‌هاى فراهم شده نیز به ایران انتقال یافت و در منزل شخصى خویش به نگاهدارى از آنها پرداخت؛ و به جمع‌آورى دیگر نسخه‌هاى نفیس همّت گمارد. در همان دوران استادان مشهور دانشگاه به قم مى‌آمدند و از نسخه‌هاى نفیس موجود در منزل ایشان ـ که در هیچ کتابخانه‌اى یافت نمى‌شد ـ بهره مى‌گرفتند. شیخ آقا‌بزرگ تهرانى در تألیف الذریعة، از کتابخانه معظم‌له بیشترین بهره را برده و در جاى‌جاى این اثر از ایشان یاد مى‌کند.
نسخه خطى نفیس را، که بیشتر به فارسى بودند، به کتابخانه دانشکده معقول و منقول دانشگاه تهران اهدا نمود، که در مقدمه جلد اول فهرست نسخه‌هاى خطى آن کتابخانه بدان اشاره شده است. سپس شمار بسیارى از نسخه‌هاى خطى و چاپى دیگر خود را به کتابخانه‌هاى آستان قدس رضوى در مشهد مقدس، آستانه حضرت معصومه (ع) در قم، آستانه حضرت شاه‌چراغ در شیراز، آستانه حضرت عبدالعظیم در شهر رى و مدرسه فیضیه در قم هدیه کردند، که مجموعاً به هزاران جلد مى‌رسد.
