奎聚樓是宮殿式結構的方樓，遠看頗有布達拉宮般的氣勢。從高處看，樓宇與背後的山脊連城一體，如猛虎下山，奎聚樓既是虎頭，樓前圍墻上有兩窗，似虎眼，建築時便是根據虎形地理特點而設計的。設計人是翰林學士巫宜福，他與樓主林奎揚是結拜兄弟。奎聚樓建於1834年，已有160多年曆史。佔地6000平方米，高約15米，用3年時間建成。現住24戶，107人。一百多年裏，樓裏考取進士和官至七品以上的有4人，大學生有20多人，海外華僑有40多人，正如大門對聯所言：奎星郎照文明盛，聚族于斯氣象新。奎聚樓的建築特點是中廳高，兩廂低，經160多年風雨，巋然如山。中門平時不開，貴客來到，才打開中門迎接。樓內檐梁雕刻十分精美，文革期間受到破壞。