北魏安定人，青年时好行侠仗义。在雍州（今西安）参军后，任肖宝夤手下中兵参军。
　　孝昌二年（526），肖宝夤据雍州称帝。北地郡毛氏兄弟征募乡里民兵，准备讨伐。肖宝夤闻讯，派侯络德与梁嵩遵率兵攻魏。侯、梁不原叛变，反戈一击，使肖宝夤措手不及，大败而逃，从而收复雍州。 梁嵩遵因功被封为乌氏开国伯。后任荆州骠骑府司马，直至去世。