清远的书院常有名望者讲学其间,采用个别钻研,互相问答,集众讲解相结合的教学方法,以研习儒家经籍为主,间亦议论时政。清代时多数成为准备科举的场所。主要有:瑞峰书院、崇文书院、同文书院、浈江书院、凤城书院。而犹以瑞峰书院为首。瑞峰书院——今清远市第一中学校园,古名瑞峰,是明清时清远瑞峰书院故址。
书院之名,始自唐代中期,初由中央政府设置,供学士顾问工作之需,后逐渐发展为藏书讲学和准备科考之所,并向地方普及。清远瑞峰书院创建于明弘治十七年(1504年)。这一年夏天,广东布政司在清远举行地区性会考,应试者有粤北南雄府,韶州府和连州等地的学子。因清远原有考场过于狭窄,事前由政府拨款在瑞峰新建书院一座,使清远地区有了第一间书院。建书院、办会考,是清远旷古未有之盛事。落成之日,热闹非常,邑中士夫、耆儒和诸生与主考官潘府、知县黄鎏等欢晏于瑞峰,“各赋诗歌以诵之”。可惜这些诗歌大多未能流传下来,现仅见潘府的一首诗,诗中就有“瑞峰插霄汉,天开书院新”之句。潘府,字孔修,上虞(今属浙江)人,时任广东提学副使,驻节清远,书院之建,端赖其功。
明代时,书院在广东还未全面普及。瑞峰书院是早行者之一。古代清远不少成功之士如明代的孔从先、白荣、徐兆鼎、钟万禄,清代的郭志融、麦瑞芳、郭钟熙等,都曾在这里学习过。书院又是邑中文人雅士聚会结社之地。明正德、嘉靖年间,书院有“集雅堂”之名,其时这里有集雅堂诗社。清代道光、咸丰年间和同治年间,先后又有冽江诗社和瑞峰九老会在书院活动。
清末,国家改革教育,废科举,办学堂,瑞峰书院因此停废,后来又被拆毁,只有书院门额石匾遗存至今。近年,师生用砖和彩瓷专门砌建了一道短垣,把石匾珍嵌其上,籍以纪念这座在清远历史有过积极贡献的书院。石匾上雕着的“瑞峰书院”四个楷书大字沉雄俊逸,古雅端庄,充满着励人气韵,极具保护价值。