הרב נישא בגיל צעיר לאישתו לאה, והם היו חשוכי בנים, אבל תלמידיהם היו להם לבנים. הרבנית נפטרה בשנת תשל"ט.

הרב מרדכי שרעבי זצ"ל התייתם מאביו קודם לידתו, ומאימו בהיותו בגיל שנתיים. הרב חיים סאניוני קיבל עליו לגדלו. כבר בגיל צעיר היה עליי בלימוד ובגיל 13 דרש דרשה נפלאה בבר המצוה, ומינו אותו למלמד לילדים בתלמוד תורה. הוא למד ש"ס ופוסקים ונבחן וקיבל הסמכה לרב כבר בגיל צעיר.

בהיותו בן 24 עלה לארץ ישראל. בתחילה הגיע למעברות, וכאשר ביקשו ממנו הציונים האחראים על המעברות לצאת לעבודה בבוקר, ובפרט לאחר שחילקו כל בוקר כמה פרוטות, אמר הרב לרבנית, לזרוק את הכסף, והסביר לאחראי שהוא עושה תיקונים. כאשר נשאל אילו תיקונים עושה, נענה שעושה תיקונים בשמים. האחראי ביקשו לעזוב את המעברה (מעשה זה שמעתי מהרב בניהו שמואלי שלי'). הרב והרבנית עזבו באותו יום, ונסעו לירושלים. הגיעו לקראת ערב לבית הכנסת "נהר שלום" והתפללו, בסיום התפילה ביקש השמש לעזוב את בית הכנסת כיון שרוצים לסוגרו. הרב ביקש שיסגור עליו ועל אשתו את בית הכנסת עד למחרת, בהסבירו שהגיעו היום ואין להם היכן לגור. השמש עשה כמבוקשם, אך מיד לאחר מכן התחרט, והציע לרב לישון בחדר צדדי שיש בבית הכנסת, בתמורה לכך שילמד את הילדים תהלים. הרב הסכים, ועד סוף ימיו היה בבית כנסת זה, והתגורר בסמוך לו, ואף נהיה רב בית הכנסת וקרא לו "נהר שלום" על שם הרש"ש הקדוש רבי שלום שרעבי זיע"א.

הרש"ש ועבודת ה'

כל ימיו היה קם בחצות הליל ולומד עד הבוקר, מתפלל בנץ החמה, ולאחר מכן מוסר שיעור בבית יוסף ושולחן ערוך. לאחר מכן פונה לאכול פת שחרית.

מעשה ובנו בנין מול בית הכנסת שלידו גם היה ביתו, והבנין הסתיר את השמש, והיתה לרב עוגמת נפש גדולה מכך. בנין זה נעשה מקולל, ובמשך שנים רבות, הקבלן לא הצליח ליישב את הבנין והיה עומד שמם.הרב היה קדוש עליון, ותפלותיו היו נענות והיה בעל מופתים. לכן רבים שיחרו לפתחו, והיו תורמים כספים על מנת שהרב יעשה להם תיקון. את הכפסים הרב היה מחלק עוד באותו יום, ללומדי התורה וכן למשפחות נזקקות.

סיפור

היתה תקופה שביקשו לגייס את הרש"ש מרדכי שרעבי זצ"ל לשורות צה"ל, הגיע לרב צו גיוס, והרב לא התייחס אליו. פעם אחת הגיע חייל מהצבא לבדוק את העניין, הרב דחה אותו לאחר זמן. כאשר הלך, פנה הרב לרבנית בשאלה, האם לא אכפת לה שיהיה לו זקן לבן? הרבנית הסכימה, והפלא ופלא, עשה מה שעשה, ולמחרת קם עם זקן לבן. כאשר הגיעו לשאול מטעם הצבא בדבר הגיוס, ראו שהרב כולו לבן… ופטרוהו מחיוב הגיוס (כך שמעתי מהרב בניהו שמואלי שליט"א).

תלמידים רבים היו לרב מרדכי שרעבי בקבלה ביניהם הרב עובדיה יוסף, שהיה בא ללמוד יחד עם האדמו"ר מבלז. וכן הרב מרדכי אליהו, וכן הרב מאיר יהודה גץ זצ"ל וכן הרב בנייהו שמואלי וכן הרב מרדכי עטיה שלי' ראש ישיבת עטרת מרדכי ועוד רבנים רבים.
זכות הצדיק תגן עלינו ועל כל עם ישראל. אמן.