日本帝國統治臺灣之後，政治、經濟及社會制度有極大的改變，對於當時的文人來說，科舉考試制度全然廢除，漢文的使用也逐漸減少，使其萌生不安之感。日明治34、35 年間（西元1901 及1902 年），臺中霧峰的林癡仙、林幼春及彰化賴紹堯等人舉辦詩會，當時尚無社名，只是好友之間互相酬唱的聚會；明治39 年3 月4 日，林癡仙、蔡啟運、呂厚菴、賴紹堯、陳瑚、陳槐庭、林資修、林仲衡、傅鶴亭等人在臺中「瑞軒」集會，訂立社章並予以組織化，之後又有莊太岳、蔡惠如、莊龍、連橫、林獻堂、林子瑾、吳子瑜等人加入，正式命名為「櫟社」，林癡仙曾說道：

吾學非世用，是為棄材；心若死灰，是為朽木。

今夫櫟、不材之木也，吾以為幟焉。其有樂從吾遊者，志吾幟。

櫟木，因無用而為人所棄，櫟社以櫟木自喻，言其所學為現實所棄。成立之後，春、秋二季都有聚會。日明治40 年（西元1907 年），社員林獻堂到日本旅遊時巧遇梁啟超，2 人針對中國、臺灣等問題深談之後，梁啟超建議臺灣人仿效愛爾蘭人對抗英國政府的方式，廣結日本中央政要，用以牽制臺灣總督府。

日明治44 年3 月24 日，梁啟超受林獻堂之邀而由日本啟程來臺，28 日抵達基隆，先遊歷臺北，4 月2 日前往臺中。當晚，櫟社成員於「瑞軒」（霧峰林家子弟林資鏗、林瑞騰之園邸）舉辦歡迎會，迎接遠到而來的梁啟超一行人。

梁啟超在臺中駐足了5 日，此期間他和櫟社成員會面，並前往臺中公園、臺中神社等地參觀，目前所存留的一張照片，正是梁啟超和櫟社成員在臺中公園的「物產陳列館」前合影。之後，梁啟超一行人前往霧峰林家，直到4 月11 日才離臺。而梁啟超在臺中公園遊歷後曾寫下一首〈臺灣雜詩〉，內容如下：

蕩蕩臺中府，當年第一州。

桑麻隨地有，城郭入天浮。

江晚魚龍寂，霜飛草木秋。

斜陽殘堞在，莫上大墩頭。

這首五言古詩描寫了臺中府城從清代到日本統治時期的變遷，詩中以其昔日輝煌對比如今的暗淡，而最後一句「莫上大墩頭」，則是以臺中公園「大墩」旁的「北門樓」來影射時代變遷及政權更迭，令人有不勝唏噓之感。

梁啟超來臺期間，正是臺灣社會推動「斷髮」（剪除辮子）運動之際，林獻堂正是在明治44 年4 月1 日「斷髮」，並在4 月3 日

參加「中部剪辮會」，梁啟超和櫟社成員在臺中公園的「物產陳列館」的合影照中，多位成員已將辮子剪除，迎向新文明、新社會，日後他們又參與解纏足、禁鴉片、提倡教育、風俗改良、破除迷信等運動。

梁啟超的訪臺行程給當時的臺灣文人帶來了許多衝擊與影響，開啟了日後民族、社會、政治運動的發展。日大正7 年（西元1918 年），櫟社社員蔡惠如、林幼春有感於臺灣在日本帝國統治後，漢文化日漸沒落，以「鼓吹文運」、「研究文章詩詞」、「互通學者聲氣」為宗旨，在臺中設立「臺灣文社」，並刊行《臺灣文藝叢誌》，社址設立於臺中市，在當時的政經氛圍下，維繫了臺灣漢文命脈。