仁威廟初建時稱北帝廟。據(jù)說，因真武帝司水，故人們稱他為北帝或水神。又因北方真武玄天上帝素有“神威”．所以后來改稱仁威廟了。仁威廟的得名還另有一說。泮塘地處嶺南水鄉(xiāng)，素以種蓮藕、菱角、茨菇、馬蹄（荸薺）、茭筍等“泮塘五秀”而馳名。泮塘鄉(xiāng)民為“感恩邀福于神以不致成災”，故對供奉的神像“奉祀信誠”。話說泮塘當年有兄弟二人，兄名“仁”，弟名“威”。有一天，兄弟倆去打魚發(fā)現(xiàn)一塊怪石，拾回家中立為神像，從此“生活順景，得心應手”，后傳遍鄉(xiāng)里，十里之內(nèi)，參拜者眾。到鄉(xiāng)里集資修建廟時，鄉(xiāng)人便將廟名改為“仁威”了。仁威廟平面略呈梯形，坐北朝南，廣三路深五進，另有偏東一列平房。前三進建筑，當中為主體建筑，東、西為配殿，第四進為齋堂，第五進為后樓。沿著南北中軸線，依次為頭門、正殿、中殿、后殿和后樓，左右為東、西序。頭門面闊11米，深8米。門外兩側(cè)各立一花崗巖石柱，柱頭雕有石獅子，柱身雕祥云和二龍戲珠，線條流暢，形象十分生動，俗稱為“龍柱”。廟中的建筑雕飾，集丹青、木刻、磚雕、灰雕等各種藝術(shù)于一體，其雕飾物形象生動，栩栩如生，集中了嶺南古建筑藝術(shù)的精華，被譽為“桂殿蘭宮”。同時，整座廟宇造型各異，有方形、八角形，也有覆盆狀的。柱子有石柱、木柱，柱的截面有方形、八角形、圓形，也有轉(zhuǎn)角柱。