Ebû Zer Gıfârî hazretlerinin yalnız, garip bir hayatı oldu. Hayatı gibi vefâtı pek garip oldu. Vefatına yakın hanımı, kendisinin doğru dürüst giyecek bir elbisesi olmadığı için ona bir elbise aradığında, "Bana elbise değil kefen lâzım" deyip, Resûlullahın kendisine nasıl vefât edeceğini söylediğini bildirdi. "İyi bir haber var, yakında Resûlullaha kavuşacağım" ve "Ey ölüm çabuk gel ruhum Rabbime kavuşmak sevgisiyle çırpınıyor" dedi. Sonra, kızı veya hanımına dönüp, "Dışarıdan gelen olup olmadığını" sordu. Dışarı çıkıp baktıklarında bir şey görünmediğini bildirdiler. Bunun üzerine "Vefât zamanım henüz gelmedi. Şimdi siz bir koyun kesip hazırlayın. Cenazemde sâlih bir topluluk bulunacak. Onlara ikrâm edersiniz. Yemeden gitmemelerini benim tembih ettiğimi söylersiniz" buyurdu. Arzusu yerine getirildi. Tekrar kızına veya hanımına dışarı çıkıp gelenlerin olup olmadığına bakmasını isteyince, dışarı çıktılar. Uzaktan bir topluluğun gelmekte olduğunu görünce içeri girip haber verdiler. Bunun üzerine kendisinin kıbleye karşı çevrilmesini istedi. Kıbleye döndükten sonra Hz. Ebû Zer, "Bismillahi ve billahi ve alâ milleti Resûlillah" diyerek ruhunu Hak teâlâya teslim etti. Gelen misafirler karşılanıp Ebû Zer Gıfârî'nin vefât ettiği bildirildi. Bunlar, "Böyle mübarek bir zâtın cenazesinde bulunmak, Allahü teâlanın bize hususi bir kerem ve lütfudur", diyerek, Ebû Zer'i gasl, techiz ve tekfin edip namazını kıldılar ve defnettiler. Tam gitmek üzereyken, Ebû Zer Gıfârî size selâm etti, yemek yemeden gitmemenizi tembih eyledi diye bildirilince, hepsi oturup yemek yediler. Sonra durumu gidip halifeye bildirdiler. Ebû Zer vefât ettiğinde bir evi, üç koyunu ve birkaç keçisinden başka malı yoktu. Ebû Zer Gıfârî hazretleri, Peygamberimizden bizzat işiterek ikiyüzseksenbir hadîs-i şerîf rivâyet etmiştir. Rivâyet ettiği hadîs-i şerîflerden bir kısmı şunlardır: "Akıllı olan kimse zamanını üçe bölmeli, bir kısmını ibâdetle, bir kısmını nefis muhasebesi ile diğerini de öbür işlerini yapmakla geçirmelidir." "Nerede olursan ol takva üzerine bulun, Allahtan kork." "Eğer iyilik yapmaya gücün yetmiyorsa, hiç olmazsa kötülük etme bu da nefsin için verilmiş bir sadakadır."