平和記念公園には、戦前、中島本町、天神町、材木町、元柳町が存在し、店舗や住宅約700軒が密集していた。この地域は、原爆爆心地からほぼ500メートル圏内に位置しており、原爆攻撃により壊滅した。戦後、広島市は、この場所を、公園（中島公園）とすることを計画した。広島市は、1949年4月20日、この公園を平和記念公園として建設することとし、設計図を全国に公募した。7月18日に募集を締め切ったが、応募作品は145点におよんだ。この中から選ばれたのは、丹下健三ら4人の共同作品であった。
この公園は、広島平和記念都市建設法の公布（1949年8月6日）にともない、その裏づけのもとに建設されることとなった。49年10月3日、東京で平和文化都市建設協議会の第1回会合が開催されたが、そこでは平和の理想を象徴する平和記念施設として、①記念公園（平和公園）、②記念館、③記念街路（平和緑道）が建設されることとなった。
①は、本川と元安川に抱かれた三角州の頂点に位置する中島公園（＝平和広場、3万2､200坪）とその東側対岸の4､800坪（旧広島県産業奨励館敷地）と、その東北に接続する旧広島城跡を中心とする中央公園（＝市民広場、22万坪）を総合した公園とされた（その後、中央公園部分は平和公園から外される）。③は、中島公園南端を基点として、東西に伸びる延長約4､000メートル、幅員100メートルの街路であった（後に「平和大通り（百メートル道路）」と呼ばれる）。また、②は、中島公園およびその東側対岸に設置するものとし、その内容としては、つぎのようなものが考えられていた。
(a)平和会館 2､500人収容の会議室及び事務室、原爆関係資料陳列室等。
(b)平和アーチ 張間120メートル、高60メートル、頂点に五つの鐘を吊す。
(c)慰霊堂 原爆犠牲者の遺骨並びに銘を納める。
(d)原爆遺跡 原爆により破壊された旧産業奨励館の建物を補強し保存する。
（大島六七男「復興の足どり」）
1951年2月21日、東京で第4回広島平和記念都市建設専門委員会が開催された。この席上、浜井広島市長は、「今夏で7回忌を迎える原爆都市の慰霊塔関係の設立を急ぎたい」との意向を述べた。しかし、建設省は、広島市の納骨堂を含む「慰霊塔」案は、墓地であり、公園法の建前から認められないと、難色を示した。そこで広島市は、遺骨の代わりに名簿を奉納することとし、8月6日までの式典に間に合うように碑を建立することを決定した（「中国新聞」51年2月22日）。しかし、碑は、51年の8月6日には間に合わず、52年3月末着工した。
碑の設計者は、丹下健三であった。コンクリート素打の工法で埴輪をデフォルメした設計で、当初案の巨大な「平和アーチ」は、正面から見た底辺4.7メートル、高さ3.67メートル、横から見た上辺8.29メートル、下辺5.26メートルのはにわ型に縮小・変更された。原爆死没者名簿を奉納するため、碑の中央に黒い御影石製の矩形の箱が配置された。そして、この箱の正面には、雑賀忠義が作成した碑文「安らかに眠って下さい 過ちは繰返しませぬから」（雑賀の英訳：Let all the souls here rest in peace ; For we shall not repeat the evil.）が、刻み込まれた。この碑は、建立当時から「原爆慰霊碑（原爆死没者慰霊碑）」と呼ばれたが、碑の正式名称は、「広島平和都市記念碑」である。工費は、300万円であった。
広島市は、1984年1月、碑改築の方針を発表した。その理由として、コンクリートの石灰分が表面に吹き出して中の鉄筋の腐食が進み、碑にひびが入ることが明らかになったこと、原爆死没者名簿が32冊入っているが、あと数冊の余裕しか残っていないことの二つがあげられた。改築工事は、同年7月23日から始められ、翌85年3月26日、新慰霊碑（旧慰霊碑と同型で材質はコンクリートからみかげ石に変更）の除幕式が行なわれた。
