传说当年皇帝想在海淀这片风景秀美的地段造大园子。最早是乾隆皇帝，人说这万寿山下是个古墓，是明朝某个王妃的墓，号称这妃子当年可不是善主，她的墓动不得！　乾隆听了，说怕什么，当乾隆亲到现场一看墓的大石门已被挖开，可是门里面刻着八个大字：“你不动我，我不动你！”乾隆惊吓至一身冷汗。赶忙命人把土都盖回去，并在万寿山上盖一大庙镇住不冥的鬼魂，这就是佛香阁。

佛香阁是一座宏伟的塔式宗教建筑，为颐和园建筑布局的中心。"佛香"二字来源于佛教对佛的歌颂。该阁仿杭州的六和塔建造，兴建在20米的石造台基上，八面三层四重檐。阁高41米，内有八根铁梨木大柱，直贯顶部，下有20米高的石台基。阁上层榜曰 “式延风教”，中层榜曰“气象昭回”，下层榜曰“云外天香”，阁名 “佛香阁”。正是：

冬雾缭绕颐和园，金碧辉煌万寿山；

曲径长廊通幽处，佛香阁上祈平安。

佛香阁内供接引佛，每月望朔，慈禧在此烧香礼佛。