近代的考古發掘中，在開封的萬隆崗遺址中，在尉氏縣縣城西南的斷頭崗，發現了一處新石器早期裴李崗文化遺址。考古發掘證明，早在五、六千年前，在開封就已經有了人類活動。

夏朝（帝杼）曾在開封一帶建都232年，史稱老丘。公元前8世紀，春秋時期的鄭莊公在今開封城南朱仙鎮附近修筑儲糧倉城，取“啟拓封疆”之意，定名啟封。漢初因避漢景帝劉啟之名諱，將啟封更名為“開封”，這便是“開封”的由來。

公元前361年，戰國時期的魏惠王遷都大梁，這是開封有明確歷史記載的第一次建都。魏惠王遷都大梁之后，他引黃河水入圃田澤（今鄭州圃田）開鑿鴻溝、引圃田水入淮河。水利既興，農業、商業得到極大發展，日趨繁榮。他還修長城、聯諸侯，國力日盛，乃得稱霸于諸國，使大梁城與秦國的咸陽、楚國的郢都并列，成為當時國內最發達的名都大邑。魏國在大梁建都，歷六世136年。在這136年里，曾發生了孟子游梁、竊符救趙，以及孫臏、龐涓等諸多故事，也給開封遺留下不少古跡，不愧被人稱為開封古城第一都。

秦統一六國后，實行郡縣制，開封作為敗亡國的國都被降為浚儀縣，屬三川郡。“浚儀”作為開封的名稱，一直沿用了八百年左右。 公元534年東魏孝靜帝時，設立梁州轄陳留、開封、陽夏三郡。北周武帝建德五年，改梁州為汴州，這是開封稱汴之始，由縣治改為州治，失落了數百年的開封重又慢慢的恢復了元氣，開封也成為北魏對南部各朝作戰的水運線上的八個重要倉庫之一。北齊文宣帝天保六年（555年）和天保十年（559年）分別建了著名的建國寺（大相國寺）和獨居寺（今鐵塔一帶），佛文化的發展對后來的東京文化的勃興做了前期的準備。