王世充败回洛阳后，心中猜忌越来越严重。因为他在慈涧阵上，看到了秦琼、程咬金、裴行俨、罗士信等原来降他的一众瓦岗将领，如今基本上都悉数归唐。再加上寻相事件对他的打击（他至今仍然相信寻相投降是为了卧底）。他对手下的将领是越来越不信任，疑心也更重了。
为了加强对手下人员的控制，王世充开始不惜用严刑酷法来加强约束。他规定无论是谁，家里有一个人逃跑，全家不论老少都要受到株连。父子、兄弟、夫妻之间只要告发就可免罪。又命令五家为一保，互相监督，如果有人全家叛逃而邻居没有发觉，四周的邻居都要处死。
可他万万没想到这种恐怖措施却带来了相反的结果。处死的人越来越多，而叛逃的事却接连不断。所以慈涧一战之后，王世充的局面迅速恶化，郑国各地守将竟然纷纷不战而降。七月，张公瑾降；八月，邓州降；九月，田瓒以所部二十五州降，时德睿以所部七州降；十月，大将张镇周降，郭庆以管州降，魏陆以荥阳降，王要汉以汴州降。
随着形势越来越好，李世民一改以前攻打薛仁杲、刘武周时坚守不出的战法，主动出击。及时地分派将领，采用“蚕食”的办法一个一个地清扫洛阳城的外围。李世民对他们说：“你们各人只管大胆地各展才能，只要能攻取一座城，就记你们的功劳一件。”所以众将“八仙过海，各显神通”，像秋风扫落叶一样把洛阳周围清扫的干干净净。
才三个月的时间，洛阳周围郡县已全部落入李世民手中，洛阳成了一座孤城！
九月，李世民率军进驻邙山。
邙山又称芒山，在今河南洛阳市东北。汉魏以来，为王侯公卿归葬之处，所以邙山上及周围苍松翠柏间到处是坟陵。后世唐人沈佺期曾有诗写邙山：“北邙山上列坟茔，万古千秋对洛城。城中日夕歌钟起，山上唯闻松柏声。”。
大军驻下后，李世民召集众将开会，商讨下一步作战计划。李靖对秦王李世民建议道：“殿下，现在王世充困守洛阳，虽然战败，但是其精锐还在。属下探知洛阳的粮草皆自洛口运来，所以属下建议殿下可遣一将奔袭洛口断其粮道。敌军无粮，必不战自溃。”
李世民点头同意，派遣大将王君廓奔袭洛口，半路截击从虎牢关运粮到洛阳的王玄应。王世充的运粮军全部被斩杀，只有王玄应一个人逃回洛阳。
这一日，李世民带五百骑视察阵地，恰巧与王世充的一万人的部队不期而遇。王世充见李世民只有五百骑大喜，命令部下全力冲杀，抓到李世民者封上爵。李世民毫不畏惧，指挥五百骑且战且走，王世充挥师紧紧相随。这批江淮军跟随王世充多年，俱是王世充的忠臣死士，在巨奖面前人人奋勇，个个争先。李世民五百骑也不是弱旅，乃是李靖亲自调教的陌刀手，也是身经多战，作战经验丰富。他们护着李世民，向自己的军营退去。王世充见这么好的机会，哪肯让他们轻易逃脱，指挥军士拼命追杀。
在这关键时刻，秦琼和尉迟敬德率领玄甲军杀到。这批玄甲军突然杀入阵中，就像是决堤的洪水瞬间漫进村庄，霎时墙倒屋塌，势不可挡。王世充的郑军正以为将要得手之时，没料到唐军的重甲骑兵突然杀出。李世民的玄甲军如坦克战车一般在战场上反复冲杀，如入无人之境。郑军士兵肝胆俱丧，四散逃命。王世充见难以获胜，慌忙收军逃回洛阳。
李世民此战歼灭郑军近六千人，顺势挥兵包围洛阳城。李世民还把自己的帅帐安扎在邙山顶上，可以居高临下虎视城中。
王世充见唐军围城，城中的粮草又被断绝，心中开始更加惊慌。他亲自写信给李世民，低声下气地向李世民求和，双方约定阵前对话。
两军在洛阳城外隔着洛水列阵。
王世充移步阵前，单独喊话请李世民出阵说话。他远远地对李世民说道：“世民贤侄，隋室倾复后，唐帝关中，郑帝河南。我王世充向来与你大唐井水不犯河水，也从来未有向西入侵大唐的想法，世民贤侄为何举全国之兵来夺我大郑的领土呢？”
李世民不搭话，只是令宇文士及大声说道：“我大唐乃是天命所归，四海以内，皆奉我大唐为正朔。只有你王世充还执迷不悟，割据害国。为此我大唐特地兴义师前来问罪。”
王世充近乎是哀求地说道：“世民贤侄，自从隋朝杨广暴政，天下英雄四起，已历数年。我们长安洛阳，各有一方。如若我们一起罢兵睦和，这样上顺天意，下安百姓。从而能解黎民于水火，使中原不再生灵涂炭，岂不善哉？”
李世民“嘿嘿”几声冷笑，又让宇文士及回应道：“天下纷争，群雄割据，战乱不断，生灵涂炭。若要民安乐、国平安，最好的办法就是早日统一，消除纷争。若公真是为黎民百姓作想的话，何不解甲归降？这样既可保全自己一生的荣华富贵，又可使苍生安宁，岂不更好？何况皇帝只命我李世民奉诏攻取东都，却没有授权让我与公讲和。公若拒不归降，那双方只有决一胜负，不必多言！”
“世民贤侄，何必如此苦苦相逼呢？我大郑几乎所有周边郡县，基本都已落入你手，你还要待如何？目今我只有这一座洛阳孤城苟延残喘，以渡余生。古人云，得饶人处且饶人。往年我也曾与乃父同朝事隋，关系甚好，今放过我一马如何？”
王世充说了几遍，李世民却只是笑而不答。王世充见苦苦哀求一点效果没有，站在那里长久的沉默不语。两军一直相持到晚上，再无其他的交流。
没有办法，王世充只得黯然退回洛阳城内。
洛阳城乃是当年宇文恺的倾心之作，一直为其引以为傲。现在又是王世充的首都，他毕竟在此已经营多年。王世充也是军事行家，又是作困兽之斗，所以防御之严密，前所未有。可以说是滴水不漏，几乎是找不到什么破绽。加上王世充的主力江淮军本就是隋朝杨广的精锐，要想经易拿下，又谈何容易！
王世充退入城中后，坚守不出，分调诸将，把守各门。深栽鹿角，城上排列踏弩硬弓。还在城头上架设八弓强弩，此弩由八张巨弓制成，箭如车辐，镞如巨斧，射程可达五百步。另外在城墙各处广置礌木砲石。郑军使用的大砲，可以发射五十斤重的石头，射程达两百步。各城墙内的窝铺内埋有上百口大锅，熔煎金汁，女墙边堆垛灰瓶，利箭。
很明显，王世充备好这一切以后准备长久固守城池，以待形势的变化。
李世民指挥大军，昼夜不停地四面围攻。但即使能攻到城墙底下，那也是要付出很大的代价。唐军刚想架云梯攀城，城上金汁灰瓶、滚木礌石倾泄而下，唐军死伤无数。