魏玄字僧智，任城人。

六世祖魏休，在晋朝担任鲁郡守。

永嘉年间南迁，定居江东。

父亲魏承祖，在魏景明年间，从梁国回到魏国，定居新安。

魏玄从小意气风发，有胆气谋略。

普泰年间，授奉朝请。

多次随军与梁人作战。

永安初年，以战功授征虏将军、中散大夫。

魏孝武帝西迁后，东魏向北迁移，人心动乱，各有打算。

魏玄率领招募的部属，在函谷关以南举起义旗，随即跟从韦法保在关口与东魏司徒高敖曹作战。

独孤信入据洛阳后，魏玄隶属行台杨琚，防守马渚。

又与高敖曹交战。

从此多次率领乡兵，抵抗东魏。

前后十余战，都立下功劳。

在邙山之战中，大军失利，宜阳、洛州都归属东魏。

在崤关以东反抗东魏的人，都产生了不同想法。

魏玄的母亲、弟弟都在宜阳。

魏玄认为忠孝无法两全，就率领部属回到函谷关以南镇守。

太祖亲自写信慰问他，授洛阳令，封广宗县子，食邑四百户。

大统十三年(547)，与开府李义孙攻克伏流城，又攻克孔城，随即与李义孙共同镇守。

不久又镇守伏流。

十四年，授帅都督、东平郡守，转任河南郡守，加大都督衔。

十六年，洛安百姓雍方隽占据郡城叛乱，率领步兵、骑兵一千人，自称行台，攻陷郡县，囚禁郡守县令。

魏玄率领弘农、九曲、孔城、伏流四城兵马将其讨平。

魏恭帝二年(555)，授车骑大将军、仪同三司。

孝闵帝登基，晋封伯爵，食邑增至九百户。

保定元年(561)，镇守蛮谷。

四年，升任骠骑大将军、开府仪同三司，镇守阎韩。

又跟随尉迟迥围攻洛阳。

天和元年(566)，陕州总管尉迟纲派魏玄率领仪同宇文能、赵乾等步兵、骑兵五百人，在鹿卢交以南，截击东魏洛州刺史独孤永业。

独孤永业拥有二万余人，魏玄轻装，率领五名骑兵前去侦察，突然与敌人遭遇，立即交战，杀伤数十人，缴获马匹、甲胄、长矛等，独孤永业退去。

二年，晋封侯爵。

授白超防主。

三年，升任熊州刺史。

施政简切仁惠，受到百姓爱戴。

四年，转任和州刺史、伏流防主，晋封公爵。

五年，齐国将领斛律明月率军进攻宜阳，兵势很盛，魏玄率军抵抗，每战必胜。

后来因病在任上去世。