赭塔坐落在赭山公园的“九华行宫”后院，始建于北宋治平二年（1065年）。塔为砖石结构，五层六角，每层外墙均嵌有砖雕佛像，系安徽省重点文物保护单位。传说大风曾将塔顶吹落，雨漏不止，一日突然飞来一口大锅扣在塔顶，从此不再漏雨。清代诗人黄铖的《于湖竹枝词》中“飞来覆塔尖穿，风铎无声不计年”写的就是这个传说。

赭塔依山拥寺，气势雄伟：四周茂林修竹，芳草萋萋，“每当雨后，岚光飘渺”，景致分外绮丽。古往今来，无数文人雅士为之倾倒，留下甚多脍炙人口的诗篇。雨后斜阳，登临远眺，领略古人“大江烟外动，春鸟渚边鸣”的诗情画意；尽览江城广厦栉比，大道纵横，山水环绕，花树繁茂的一派生机勃勃的现代都市风光，令人如入画中。

赭塔与广济寺（著名的小九华）、舒天阁、翠明园，平民教育家刘希平墓、抗日名将戴安澜墓等胜迹连成一片，相互辉映，形成市内一处优美的风景区。