Ngôi đình cổ to đẹp nhất vùng Tân Yên, thờ đức thánh Cao Sơn, Quý Minh, có kiến trúc tiêu biểu mang đặc trưng phong cách nghệ thuật của thời Lê thế kỷ XVII.
Trên mái có 4 góc đao cong vút tạo sự thanh thoát, mềm mại. Bên trong, hệ thống khung gỗ được liên kết các vì theo kiểu chồng rường giá chiêng, thượng tam hạ tứ. Các mảng điêu khắc chạm khắc, trang trí cầu kỳ tinh xảo…
Trải qua hàng trăm năm, Đình Cao Thượng như đang thi gan cùng tuế nguyệt.
Theo các bậc cao niên trong làng, năm 1890, thực dân Pháp dò biết ở núi Yên Ngựa có quân của cụ Đề Thám (1897 - 1909) nên đã tổ chức lực lượng tấn công song thất bại. Chúng điên cuồng đốt phá đình, chùa và núi Yên Ngựa.
Trong thời kỳ hòa hoãn lần thứ 2 với Pháp, cụ Đề Thám đã giúp dân tu sửa lại đình và dựng lại ngôi chùa trên nền chùa xưa.
Kiến trúc của đình Cao Thượng mang đặc trưng phong cách nghệ thuật của thời Lê thế kỷ XVII.
Đặc biệt, đình Cao Thượng là nơi lưu dấu phiên chợ âm dương duy nhất trong vùng. Hằng năm, ở đình mở chợ âm dương vào ngày mồng 2 Tết Âm lịch. Người đi chợ quan niệm đó là dịp làm phúc, làm điều thiện với người đã chết và cuộc sống tâm linh của họ sẽ thanh thản hơn.
Góc đao cong vút tạo sự thanh thoát, mềm mại cho ngôi đình.
Bên trong, hệ thống khung gỗ được liên kết các vì theo kiểu chồng rường giá chiêng, thượng tam hạ tứ.
Các mảng điêu khắc của đình đều tập trung vào các đầu bẩy với những mảng đề tài hết sức phong phú, đa dạng.
Đình Cao Thượng bề thế trầm mặc đã tồn tại hơn hàng trăm năm.
Tích về nguồn gốc phiên chợ âm dương được kể lại: Có thời gian giặc Pháp đóng ở đồn Mỏ Thổ, không cho người dân họp chợ. Sau đó, chợ được dời sang chợ Mọc (thị trấn Cao Thượng ngày nay) nhưng ở Cao Thượng, nghĩa quân Đề Thám vẫn bí mật tổ chức chợ đêm vào mùng 2 Tết hằng năm, thực chất là để trao đổi thông tin, tiếp cận với các nhân sĩ yêu nước. Từ đó chợ đêm độc đáo được hình thành và tồn tại cho đến ngày nay.