磺溪書院的前身，是清代乾、嘉年間所創立的「西雝社」，最初設於下街永和宮，除了是當地文人士子以文會友的所在，也有募集善款教化鄉間的義塾功能。光緒年間，下寮尾士紳趙順芳有感於當地文教風氣尚待開發，於是與烏日舉人楊占鰲商議，決定興建一座兼具書院用途的文昌祠，並以磺溪為書院之名，開始推

展儒學啟蒙教育，成為大肚、烏日、龍井地區最重要的教育搖籃，此後這個地區人才輩出，近年來更獨步全臺，有著「校長故鄉」的美名。

在磺溪書院的營建過程中，由於士紳們大力支持與資助，建材講究、空間規劃精細，施作的匠師亦是一時之選，不論是山門、齋堂、講堂、拜亭、正殿等，處處可見用心與巧思。青斗石獅，屋脊燕尾，海棠門，花瓶門，竹節窗，各式磚雕、石雕、木雕、彩繪、剪黏，戰時雖受到嚴重毀損，但經過精密修復後，重現出一個氣宇非凡的教育殿堂。

磺溪書院最迷人的地方是拜亭與正殿。成排鎮守著正殿的是「五文昌」，祂們是科舉時代掌管考試的神明，也是文人們的守護神，自古相傳特別靈驗，在「經天緯地」古匾的搭配下，更添傳奇色彩。

直至今日，磺溪書院除了是許多旅人駐足遊覽的寶地，每年的「文昌帝君誕辰祭典」、「考生祈福法會」，也總會吸引無數人潮齊聚一堂，祈求文昌帝君開智慧、賜功名。