白庙位于清远东城街东面,曾经叫广利市(古时对较大街市称为市)。白庙东边就是长达20公里的飞来峡。距佛教圣地飞来寺5公里,距道教圣地飞霞洞10公里。话说很久、很久以前,就有渔民在这里捕鱼。一天晚上,有一位渔夫捕鱼直到半夜都没有收获,他不甘心空手而回,于是继续撤网,拉起来时突然发现网里有一尊菩萨,渔夫就把菩萨检起来,用竹竿推开,好让江水冲走这尊菩萨。渔夫继续撤网捕鱼,可是拉起来网里又是这尊菩。渔民虽觉得很奇怪,但为了不妨碍自己捕鱼,又用小艇把那尊菩萨拖到河中心,让它慢慢地冲走。渔民回来继续撤网捕鱼,可是拉上来的竟又是此尊菩萨。那渔夫更加觉得奇怪了,就对菩萨说,你如果保佑我今晚能捕几百斤鱼,我就给你建座庙宇,说完就顺手把那尊菩萨放到岸边,继续撤网捕鱼。这次拉起来的全是大条、大条的大鱼,到天亮时已捕到几百斤了。渔夫立即把鱼卖了。渔夫回来后,觉得昨晚真是菩萨显灵,心想一定要兑现自己的承诺。他马上着手购置石灰、木材、青砖、白瓦准备建庙。奇怪的是,在筹建庙宇的十几天,渔夫天天都能捕到几百斤大鱼,附近的渔民村民听说此怪事,一传十、十传百,都认为是菩萨显灵,渔民、村民都纷纷前来捐资建庙,很快筹集了一笔资金建起一间规模不大的小庙(原白庙旧址在石角头的地方,大约40平方米),并将那尊菩萨放到庙中供奉。建成后,方圆几十公里的百姓闻讯前来拜祭上香。祈求保佑风调雨顺。从此,庙宇香火不断,由于庙宇没有名字,而庙宇外墙又是用石灰抹白的,故称“白庙”。
白庙又称禺山古庙、愚岵庙。据石碑记载始建于清康熙九年(1670),原址在石角头,只有40平方米。乾隆四十一年(1776)将庙址迁到现址,扩大了建设规模,其规模一直保持到现在。嘉庆十七年(1812)、1993年等多次重修,现存庙宇总体保留原有的清代风格。该庙坐东北向西南,整体建筑平面呈凸形结构,为五间二进四合院式布局,砖木结构,由头门、两耳房、两廊、后殿构成。总面阔15.65米、总纵深14.21米,占地面积222.39平方米。琉璃瓦硬山顶,人字封火山墙,灰塑龙船博古脊,青砖墙,红阶砖铺地。头门面阔三间,进深三间十三檩,前设四级台阶,五步檐廊,两根方形砖(原来为花岗岩石)檐柱带石柱础,素面门枕石、额石及石刻对联,门额上刻有“禺山古庙”阴文大字,对联刻有“观烈水以懔神威千秋爼豆,接禺山而龙造邈锡福无彊”,墙头有彩绘壁画。内置屏门,穿斗抬梁混合式梁架。头门两侧各设一间耳房,左耳房供奉李广利神像,墙上有石碑记叙重修时间;右耳房为厨房。后殿面阔三间,进深三间十五檩,设二根砖(原来为花岗岩石)檐柱和四根砖砌(原来为花岗岩石)金柱,穿斗抬梁混合式梁架,前金柱间额枋挂一木匾,刻有“金龙四大王殿”,前两根金柱上分别刻有对联:“白庙重光金炉香绕黎民乐,神恩永佑灯辉紫气荫群生”,明间神龛供奉龙王四太子神像,祭台上摆有香炉、祭品和龙舟头、尾。两次间各有一神龛和神像,左为观音,右为天后。殿前正面为天井,左右设两廊,两间五檩卷棚顶。白庙处于飞来峡口,经常洪水泛滥,为保佑风调雨顺,当地人集资建此庙,供奉龙王四太子。该古庙结构基本完整,对研究当地清代古建筑和民间宗教信仰有一定的参考价值。