公元前221年，秦始皇统一全国建立秦朝后，在荥阳设置三川郡，辖荥阳、巩、京等县。西汉时改三川郡为河南郡，辖荥阳、成皋（今荥阳汜水镇）、故市（今郑州西北）、密县、中牟、新郑、苑陵等县。

西晋泰始元年（265年），改河南郡为荥阳郡，郡治仍在荥阳。

北魏时，在武牢（即虎牢关）设北豫州部，置荥阳郡。北周灭北齐后，将荥阳及其附近地区组成的北豫州改为荥州，州治所设在成皋（即武牢关、虎牢关）。

581年，隋文帝杨坚建立隋朝后，将北周时的荥州改名为郑州，下辖荥阳、成皋、密、内牟（即中牟）、苑陵（今新郑东北）等县，郑州州府治所仍设在成皋（即虎牢）。

唐朝时，郑州的行政建制有所变化，其辖区变为密县、汜水、荥阳、荥泽、成皋等县，直到唐太宗贞观七年（633年），郑州州府治所才从成皋移至管城（今郑州市管城区）。