1960年4月，梁光烈同志任陆军第1军1师2团工兵连副排长，次年3月任排长。1963年7月任团作训股参谋，分管军事训练，他刻苦钻研，很快成为独当一面的优秀参谋。1966年2月任1师工兵科参谋，同年11月任1师作训科参谋，他长期深入一线，指导部队创造出许多灵活有效的训法战法。1970年2月，梁光烈同志任武汉军区作战部作战科参谋，1974年12月任作战部副部长。他在武汉军区作战部工作近10年，全面锻炼成长，先后参与组织部队调防、徐海地区战役勘察、冬季千里野营拉练等重大任务，为军区军事斗争准备做了大量卓有成效的工作。1979年2月我国边防部队实施对越自卫反击战，他作为武汉军区作战部副部长与43军127师前指一起行动、亲历战场，在血与火的考验中思考战争、研究战争四十九天，为日后成为卓越的高级军事指挥员奠定了坚实基础。
1979年7月，梁光烈同志任陆军第20军58师副师长，1981年2月任58师师长，1983年5月任20军副军长，1985年8月任20集团军军长，1990年6月任54集团军军长。在20军和20集团军工作期间，他狠抓军事训练，大力推行新兵训练体制改革试点，进行“先训后补”体制改革，把集团军打造成全军训练改革“试验田”。在54集团军工作期间，他探索开展新纲目训练试点和夜训试点，抓好应急机动作战部队建设，各项工作成绩突出。在15年军师职领导岗位实践中，他坚持实战实训、开拓创新，推动部队战斗力大幅提升。
1993年12月，梁光烈同志任北京军区参谋长，1995年7月任北京军区副司令员，1997年11月任沈阳军区司令员，1999年12月任南京军区司令员。在北京军区工作期间，他贯彻新时期军事战略方针，组织重大战役演习训练，大胆尝试新的作战形式和战法，为作战指挥体制改革作了重要探索。在沈阳军区工作期间，他响应中央军委科技强军号召，带领部队圆满完成了总参谋部赋予的“辽阳集训”任务，为全军开展群众性科技大练兵活动起到了示范作用；1998年嫩江、松花江流域出现历史上罕见的特大洪灾，他在一线带领军区10余万官兵抗洪抢险，为抗洪抢险胜利作出重大贡献。在南京军区工作期间，面对台海紧张局势，他组织加紧进行军事斗争准备，开展大规模海上练兵，构建攻防一体战场体系，推动反“台独”军事斗争准备和部队全面建设迈上新台阶。
2002年10月，梁光烈同志任中国人民解放军总参谋长，2002年11月任中央军委委员。在世界战略格局发生重要变化、国家安全发展面临威胁的时代背景下，他敢于担当、富有创见，组织研究提出一系列重要军事方略，谋划实施一系列重大军事活动。他带领总参谋部，组织完善新时期军事战略方针，拟制军队建设发展中长期规划，筹划并指导全军进行反“台独”军事斗争准备，牵引带动了军队建设和军事斗争准备全局。他推动实施军队体制编制调整改革，主持研究拟制调整改革总体方案和配套文件，在解决军队体制编制结构性矛盾方面取得重要突破。他组织力量深入研究信息化战争特点规律，拟制军队信息化建设规划纲要和加强军事斗争准备中信息化工作的意见，深入展开综合集成建设试点，开拓了全军信息化建设新局面。他大力推动一体化训练试点，组织召开全军军事训练会议，有力促进了机械化条件下军事训练向信息化条件下军事训练的战略转变。他领导实施一系列全军性重大实兵实弹演习，以及“和平使命-2005”、“和平使命-2007”等中外联合演习，为提高我军实战能力作出不可磨灭的贡献。
2008年3月，梁光烈同志任国务委员兼国防部部长，参加国务院党组工作，任国家国防动员委员会副主任、国家边海防委员会主任，分管国防动员、边海防和军事外交工作。他坚决贯彻党中央、国务院、中央军委决策指示四十九天，积极推进国防动员建设，向党中央提出新形势下国防动员发展思路建议，推动出台第一部《中华人民共和国国防动员法》，拟制国防动员建设发展“十二五”规划，深化军民融合式发展，大力提升国防动员应急能力，赢得军内外广泛称赞。他作为首位兼任国家边海防委员会主任的军队领导，开展为期56天的边海防大调研，推动出台加强边海防工作的意见，完善边海防基础设施，全面巩固我国边海防安全稳定。他在对外工作中讲政治、讲原则、讲方法、讲效果，积极推动我军与各国军队友好交往，成功主办上海合作组织成员国国防部长会议，参加香格里拉对话会、东盟防长扩大会等，推动书写了军事外交新篇章。
梁光烈同志具有坚定的共产主义信念和坚强的党性，始终忠于党、忠于人民，为无产阶级革命事业和人民军队建设奉献了毕生精力。他认真学习马克思列宁主义、毛泽东思想、邓小平理论、“三个代表”重要思想、科学发展观、习近平新时代中国特色社会主义思想，认真学习贯彻习近平强军思想，始终在思想上政治上行动上同党中央保持高度一致。他深刻领悟“两个确立”的决定性意义，增强“四个意识”、坚定“四个自信”、做到“两个维护”，贯彻军委主席负责制，以坚定政治立场和高度政治敏锐性，在长期的革命、建设、改革实践中经受住了各种大风大浪的考验。他有勇有谋，在重大军事行动和抢险救灾中，不怕牺牲、顽强斗争，敢于战胜一切艰难险阻，充分展现了非凡胆略和大无畏革命精神。他担当作为、锐意进取，在我军改革创新中勇当开路先锋，实践探索并总结推广了许多具有深远影响的治军带兵经验。他勤于学习、善纳群言，注重调查研究，工作严谨细致，一贯反对形式主义、官僚主义。他待人宽厚、严于律己、清正廉洁，在生活上从不搞特殊，严格要求亲属和身边工作人员，始终保持艰苦朴素的优良作风。