藏书楼位于书院四教亭后，座北朝南，方形二层，砖石构造，歇山式仿木结构楼顶，通高近7米，底层面积81平方米，有砖砌拱形门洞可进入。二层面积38平方米，墙壁四周浮雕有鱼龙变化图案，十分精巧。明代河东名儒吕冉写诗赞道：“离城十里地清幽，南对中条起玉楼。坟典以来俱顿足，海山何处可寻头。”

　　据县志记载，河东书院原占地30余亩，有学田40余亩，座北朝南，沿中轴线向北，前有先门、仪门、讲经堂，堂前台阶上建有卷棚，台下栽松槐，东侧配崇义斋，西侧配远利斋。讲经堂北是五间的退思堂，堂东偏南是左曲房，堂西偏南是右曲房。过退思堂，为四教亭。过四教亭，即为藏书楼。楼上中间是祭祀三晋名贤的神堂，两旁是藏书的房间。藏书楼四周环以池水，名环池，池内种莲，可泛舟而行。环池以北是乱石滩，滩北有九峰山，上建仰止亭。山东名杏坛，山西名桃源。

　　山旁有砖井，叫源头，山下有四洞，曲折通往后山，洞名游仙。山上怪石磷峋，树木繁茂，左山名豹变，右山名风鸣。前人登藏书楼曾写有“怪石攒成九叠屏，层楼上倚六符星”之句，即指假山而言。在其两侧建有石榴园、葡萄园、牡丹园等，内皆有亭供人们游赏，最后有百果园和游息亭等。书院内殿宇庄严，亭阁傲立，小桥流水，园林清秀，环境优雅，风景宜人，堪称当地一绝。前人咏河东书院一诗，生动描绘其胜景：“胜地幽深草树新，开先卜筑待居邻。山连华岳环三晋，水带黄河见七津。剩有琴书期自得，不妨鱼鸟月相亲。渚莲径竹多风日，坛杏宫芹与暮春。” 河东书院自建成至停办，历经明、清、民国三代，计423年，为当时晋南最高学府。

　　县志载：明万历八年（1580），张居正奏毁天下书院，御史李廷观改为“三圣庙”得免，万历十三年（1585）御史赵楷更名“崇圣馆”，万历十六年（1588）御史吴达可又更名“育才馆”。清初恢复河东书院，光绪二十八年（1902），河东道吴匡改名“河东中学堂”。辛亥革命后，又将其改为“省立第二中学校”，后又改为“省立运城中学校”。1937年抗战爆发，10月奉令停办。沦陷后被日军占据，后被焚毁。除藏书楼外其余建筑均为废墟。但假山、石桥遗迹仍可辨析。