吉林是满族的发祥地（原为吉林省省会所在地），先秦时期，吉林市附近可称为人烟稠密的地方，明代以前的吉林市，虽然为历朝所领，但并未得到充分开发。直至明永乐年间，辽东都指挥使刘清奉命率军来吉林市建厂造船运粮之后，吉林市成为明朝通往黑龙江地区以至更远地方的一个中转站，其政治、经济、军事上的地位日益显著。

清入关后，为了加强对东北地区的统治，顺治十年（1653年）在宁古塔（今黑龙江安宁）设昂邦章京镇守黑龙江、松花江广大地区，吉林市为其下属。由于军事和经济上的需要，顺治十三年（1656年）宁古塔昂邦章京沙尔虎达在吉林建船厂造船（吉林市又名船厂），后又设水师营训练水师。

康熙元年（1662年）改昂邦章京为镇守宁古塔等处将军。康熙十年（1671年）移副都统一人进驻吉林，管理吉林军政事务，这是清政府在吉林设行政长官之始。

康熙十二年（1673年）又在吉林建城垣。康熙十五年（1676年）宁古塔将军移驻船厂，设将军衙门，当时的政治、军事、经济中心也由宁古塔移到船厂，船厂从此称吉林乌拉，为满语名称。吉林遂成为清政府统治松花江、乌苏里江、黑龙江流域的边疆重镇。康熙指挥对俄的雅克萨战役坐阵吉林督促造船、训练官兵，留下千古绝句《松花江放船歌》。

吉林建城之初尚无孔庙，据《吉林通志卷一•圣训志一》记载，雍正二年（1721年）七月，办理船厂事务的朝廷官员给事中赵殿最上奏皇帝，请求在吉林建文庙，遭到了雍正皇帝的严厉训斥：“我满洲人等，因居汉地，不得已与本习（武备）日以相远，惟赖乌拉（当时的吉林）宁古塔等处兵丁，不改易满洲本习耳……。”由此可见，清王朝对吉林乃至整个关外一直实行封闭政策，反对建庙兴学。

随着满汉文化的不断交融，直至乾隆元年（1736年）,乾隆皇帝钦命修建永吉州文庙（吉林文庙的前身）,再三叮嘱：“务令崇尚朴诚勤修武备之至意，实当永远钦尊”。据《吉林外纪》载，“乾隆七年（1742年），永吉州知州魏士敏建庙宇黉宫，诸制略备。”永吉州文庙建成后，兴办学校之风日盛，为满汉子弟读书求仕铺设了通道，儒家文化得到了迅速传播，推动了关东政治、经济、文化的发展。

永吉州文庙建成之初，在正殿悬有康熙皇帝御书“万世师表”匾额，此匾额应系康熙十九年（1680年）以后，由康熙皇帝书成，存于宫内的。此外，在嘉庆年间，又由嘉庆皇帝赐御书“圣集大成”匾额一块，悬正殿。

光绪三十二年（1906年），升祭孔为国之大祀。光绪三十三年（1907年），吉林改设行省，巡抚朱家宝和提学使吴鲁认为原有文庙简陋，不足崇礼，乃聘江苏训导管尚莹去关内考察文庙，决定在东莱门外（即今址）拓建新庙（即现吉林文庙）。

宣统元年（1909年）新庙落成，其大成门、大成殿、崇圣殿及围墙均以以黄琉璃瓦覆顶。