吉林市原名“吉林乌拉”，为满语地名，意为沿江的城池。因明清两代为固戍边，抵御外侵，在此设厂造船，又称“船厂”。
殷周时代，这里已有氏族部落。秦代以前，居住着满族祖先“肃慎人”。汉称挹娄，北魏称勿吉，隋唐称粟末靺鞨。辽代，为辽东京道所辖。后改称女真。1115年，女真人建立金国，灭辽后，吉林为金国领地。明朝，隶属海西女真乌拉部统辖，为“乌拉国”。明万历四十一年，吉林归属努尔哈赤统治，成为后金领地。
清康熙十年（1671年），宁古塔副都统安珠瑚奉命率军，筹建吉林城。康熙十五年(1676年)，清政府调宁古塔将军巴海移驻吉林城，吉林遂成清政府统辖松花江、乌苏里江、黑龙江等流域的重镇，成为这一地区的政治、经济、军事中心。康熙皇帝于1674年东巡吉林时，巡视水师营后，挥笔作诗，名曰《松花江放船歌》。因其中有“连樯接舰屯江城”的诗句，故吉林市素有“北国江城”之称。
清雍正五年(1727年)，置永吉州，州治吉林。乾隆十二年(1747年)，改永吉州为吉林厅。
清光绪七年（1881年），吉林厅升为吉林直隶厅，次年又升为吉林府。
民国2年（1913年），将吉林府改为吉林县。民国18年（1929年)，改吉林县为永吉县，同时设立吉林市政筹备处。民国20年（1931年）9月21日，日军占领了吉林。1932年3月1日，成立伪吉林省公署。1945年8月，日本投降，国民党成立“吉林地方治安维持会”。10月，在中共吉林市委组织下成立吉林市政府。11月，成立吉林省政府，省会设在吉林市。1946年5月，我军从吉林市撤出，国民党成立吉林省政府和吉林市政府。
1948年3月9日，吉林市解放。3月10日，吉林省政府从延吉市迁至吉林市，3月23日，成立吉林市人民政府。1954年9月，吉林省人民政府由吉林市迁往长春市。1958年将永吉、磐石、舒兰、蛟河、桦甸等县划归吉林市。1968年3月，成立吉林市革命委员会。1980年撤消吉林市革命委员会，改称吉林市人民政府。现辖4个城区（船营区、昌邑区、龙潭区、丰满区）、4个县级市（磐石市、蛟河市、舒兰市、桦甸市）、1个永吉县、1个国家级高新技术产业开发区和1个经济技术开发区。