衡山位于星座二十八宿的轸星之翼，变应玑衡，铨德钧物，犹如衡器，可称天地，故名衡山。衡山横亘云梦与九嶷之间，若秤，称天地，衡帝德，故名衡山。衡山派素掌三湘武林，三湘是指湘西、湘南、湘中，楚山一带为湘西，洞庭和衡山一带为湘中，零陵等湘水尚有靠近南岭一带为湘南。另一种说法：三湘是指潇湘、蒸湘、沅湘，湘江中游有泉陵九嶷山，潇水汇入，是为潇湘。湘江下游有衡山，蒸水汇入，是为蒸湘。还有漓湘为三湘泛称之地，湘江源头在越城岭和都庞岭之间的阳朔山，本是漓水和湘江分流之地，秦修灵渠连接二水，农田丰美，称为漓湘。
衡山七十二峰以祝融峰、天柱峰、回雁峰、石廪峰、紫盖峰、岳麓山最为著名，三湘会武实在祝融峰举行。于祝融峰极目四望，可见峰顶黑石嶙峋，峰背巨崖，峰腰麓松杉无际，经风扑衣，碧涛满耳。远眺可见群峰起伏，湘江如带。山门楹联云：门可通天，仰现碧落星辰近；路承绝顶，俯瞰翠微峦屿低，可谓真实写照。
雄浑的祝融殿前圆台是会武之处，参加三湘会武的门派各自或坐或立于周围观武台。武功山罗霄派、天岳山幕阜峰、黑麋峰墨者、崀山八角剑、连云山洞阳峰隐真观、小沩山花丘林、九嶷山等门派弟子。今年会武不仅可执掌衡山派，更是获得云梦泽犀牛角、象郡翡翠、南越珠玑等丰厚奖赏。