Semasa pemerintahan Umar bin Khathab, Abu Dzar jatuh sakit. Ia pun hanya bisa terbaring di tempat tidur. Merasa waktu kematiannya tengah menjelang, ia segera berwasiat berkaitan kehidupannya. Ia memutuskan bahwa orang yang berhak menjalankan wasiatnya adalah Amirul Mukminin Ali bin Abi Thalib. Seseorang berkata kepadanya, “Jika Amirul Mukminin Umar engkau jadikan pelaksana wasiatmu, itu justru lebih baik dari Ali bin Abi Thalib.” Abu Dzar menjawab, Demi Allah! Aku telah mewasiatkan kepada Amirul Mukminiin yang sesungguhnya.” Dikutip dari buku Cerita-cerita Hikmah karya Muhammad Muhammadi..
