Kelompok agama yang sudah ada di Madinah adalah

Sebelum adanya Islam, mayoritas penduduk Madinah atau Yatsrib memeluk agama Yahudi.
 
Selain Yahudi, penduduk Madinah atau Yatsrib memeluk agama Nasrani.

Sebagian kecil penduduk Madinah atau Yatsrib ada yang tidak memeluk agama Yahudi dan Nasrani. Mereka mengikuti keyakinan orang Quraisy dan penduduk Mekkah. Mereka memandang kaum Quraisy sebagai penjaga rumah Allah, sebagai pemimpin pemimpin agama, dan panutan dalam beribadah. Agama mereka dikenal dengan sebutan Peganisme yaitu kepercayaan terhadap benda benda dan kekuatan alam.

Jadi dapat disimpulkan kepercayaan masyarakat Madinah sebelum Islam yaitu Yahudi, Nasrani, dan Peganisme.