黄河博物馆的前身是治黄展览会，1955年4月17日，展览会首次在郑州举办“治理黄河展览”，这一天也成为黄河博物馆建馆纪念日。上世纪50年代中期，展览会曾在中南海怀仁堂为中央领导和人大代表宣传治黄规划，并在北京、天津和黄河流域的济南、华阴、太原、西安、兰州等地巡回展出，接待国内外观众129万人次。1957年在郑州市紫荆山路4号建成了现馆舍，馆名定为“治黄陈列馆”，是当时全国三十多个博物馆之一。1972年，为纪念毛泽东同志视察黄河20周年，重新举办治黄展览，又更名为“黄河展览馆”，郭沫若先生题写馆名。
随着治黄事业的发展，藏品的日渐丰富和功能的日益完善，1987年6月，正式更名为“黄河博物馆”，由中国第一届书法家协会主席舒同先生题写馆名。建馆以来，黄河博物馆接待了数百万中外观众，其中，包括毛泽东、刘少奇、朱德、钱学森、英籍著名作家韩素音女士等国内外政要、著名科学家和国际友人，成为弘扬黄河优秀历史文化，传播水利科学知识，教育人们树立生态保护和防汛抗灾意识，宣传人民治黄成就，弘扬爱国主义精神的重要场所，被誉为“黄河巨龙的缩影”。2005年底，占地40亩，建筑面积7045平方米的新馆开始建设。新馆地处郑州市北大门，北望黄河，南邻迎宾路，西靠花园路，东接中州大道，地理位置优越。
黄河博物馆新馆位于郑州市迎宾路402号，基本陈列以“华夏国脉--黄河巨龙的缩影”为主题，以自然黄河为基础、文化黄河为内涵、人河协调关系为主线，全面展示黄河自然史、文明史、历代治河史、新时期治河新理念和实践等内容。2012年9月27日，黄河博物馆正式对社会开放。
