Kayrevan’daki Şii hakimiyetinden kaçan Muhammed b. Abdullah el-Fihrî de ailesi ile birlikte Fez şehrine göç etmiş; ancak ulaştıktan kısa bir süre sonra vefat ederek servetini iki kızı Fâtıma ve Meryem’e bırakmıştır. Kızı Fâtıma bu para ile 859 yılında Karaviyyin mahallesinde kendi adı ile anılan camiyi yaptırmıştır. Kardeşi Meryem ise yine yakın bir bölgeye Endülüs Camii’ni yaptırmıştır.
Karaviyyin mahallesinde bulunan Fâtıma Camii’nin ismi Zenâte hükümranlığı zamanında bulunduğu yere binaen Karaviyyin Camii olarak değiştirilmiştir. Karaviyyin Camii inşası 857 yılında Ramazan ayının ilk günü başlamış edildiği tarihten itibaren merkezî bir konumda olmuş, zamanın hükümdarları tarafından önemsenmiş ve farklı zamanlarda otoritenin kültürel, dini ve bazen de siyasî görüşlerini yansıtan düzenleme ve ilavelerle kuzey Afrika’nın en büyük camii olma özelliğini kazanmıştır. Bir ibadet mekanı olmasının ötesinde Karaviyyin Camii ilk zamanlardan itibaren özellikle eğitim alanında da bir merkez olmuş ve yapılan araştırmalar sonucunda dünyanın en eski üniversitesi kabul edilerek Guinness Rekorlar Kitabı’na geçmiştir.