Resulullah tarafından Yemen'e vali tayin edilen Mu'âz bin Cebel burada uzun müddet kaldı. Yemen halkı onun davetine uyarak İslâmiyet'i kabûl ettiler. Hz. Mu'âz'ın işini kolaylaştırdılar. Yemen'de kaldığı müddetçe halka vaaz ve nasîhatler yaptı. Peygamber efendimiz, Yemen'de iken çocuğunun ölümü üzerine kendisine şu ta'ziye mektubunu gönderdi: "Allahü teâlâ sana selâmet versin! O'na hamd ederim. Herkese iyilik ve zarar, yalnız O'ndan gelir. O dilemedikçe, kimse kimseye iyilik ve kötülük yapamaz. Allahü teâlâ, sana çok sevâb versin. Sabretmeni nasîb eylesin! O'nun nimetlerine şükretmenizi ihsân eylesin! Muhakkak bilmeliyiz ki, kendi varlığımız, mallarımız, servetimiz, kadınlarımız ve çocuklarımız, Allahü teâlânın sayısız nimetlerinden, tatlı ve faydalı ihsânlarındandır. Bu nimetleri, bizde sonsuz kalmak için değil, emânet olarak kullanmak, sonra geri almak için vermiştir. Bunlardan, belli bir zamanda faydalanırız. Vakti gelince, hepsini geri alacaktır. Allahü teâlâ, nimetlerini bize vererek sevindirdiği zaman, şükretmemizi; vakti gelip geri alarak üzüldüğümüz zaman da, sabretmemizi emreyledi. Senin bu oğlun, Allahü teâlânın tatlı, faydalı nimetlerinden idi. Geri almak için sana emânet bırakmıştı. Seni, oğlun ile faydalandırdı. Herkesi imrendirecek şekilde sevindirdi, neşelendirdi. Şimdi geri alırken de, sana çok sevâb, iyilik verecek, acıyarak, doğru yolda ilerlemeni, yükselmeni ihsân edecektir. Bu merhamete, ihsâna kavuşabilmek için sabretmeli, O'nun yaptığını hoş görmelisin! Kızar, bağırır, çağırırsan, sevâba, merhamete kavuşamazsın ve sonunda pişman olursun. İyi bil ki, ağlamak, sızlamak, derdi belâyı geri çevirmez. Üzüntüyü dağıtmaz! Kaderde olanlar başa gelecektir. Sabretmek, olmuş bitmiş şeye kızmamak lâzımdır..." Mu'âz bin Cebel, Peygamberimizin vefâtını da orada iken haber aldı. Daha sonra Yemen'deki hizmetini tamamlayıp, Medîne'ye döndü. Hz. Ebû Bekir'in halîfeliği sırasında Medîne'de Hz. Ebû Bekir'in seçtiği danışma heyetinde yer aldı. Suriye taraflarına da giderek hem oralarda yapılan savaşlara katıldı, hem de insanlara din bilgilerini ve Kur'ân-ı kerîmi öğretti. Mu'âz bin Cebel'in fazîleti, üstünlüğü çoktur. Resûlullah efendimiz birçok hadîs-i şerîflerinde onu medhetmiş, övmüştür.