吉玩的那些事情他没少掺和。所以敢直言进谏的人就只有宇文歆了，但是李元吉根本没把他放在眼里，不管宇文歆说什么，一律当成耳旁风。宇文歆忍无可忍，最后只好上疏向李渊报告，一一指出齐王的劣行，最后说：“百姓怨毒，各怀愤叹，以此守城，安能自保”
武德二年闰二月二十二日，李渊接到奏疏，顿时火冒三丈，当天就下诏解除了李元吉的并州总管之职。可是，被罢官的李元吉并没有从此痛改前非，而是天天在盘算对策。
他很快就想了一个官复原职的办法。你们不是说老百姓都怨声载道吗那我就让你们听听老百姓的心声。
三月初，长安的宫门前忽然聚集了一大群来自并州的士绅父老。他们是来集体请愿的请求皇帝让李元吉继续当他们的父母官。
李渊大喜。看来宇文歆打的小报告都是危言耸听之词，元吉还是颇得民心的嘛，不然这并州的老百姓怎么会千里迢迢地为他入朝请命
三月十五日，李渊下诏恢复了李元吉的官职。
接到诏书的那一刻，李元吉无声地笑了。
民意是这个世界上最容易操纵的东西。别说发动几个父老去长安请愿，就算在并州搞一个全民公投，估计李元吉也能弄出一个100的民众支持率。
民意固然容易操纵，可有一件事情李元吉无论如何也操纵不了。
那就是战局。
从武德二年三月下旬起，刘武周就开始了对并州的进攻。四月初一，刘武周亲率五千突厥骑兵进抵黄蛇岭今山西榆次市北，兵锋甚锐，来势汹汹。李元吉命车骑将军张达率部对刘武周发动试探性攻击。可张达兵力薄弱，一再向李元吉表示无法作战。李元吉不听，强令他发动进攻。
结果可想而知，一接战，张达所部转眼之间就全军覆没。张达愤而投降刘武周，并亲自充当向导，于四月初二引刘武周攻陷了榆次。
随后刘武周迅速向纵深推进，于四月十八日兵临并州城下，李元吉率众出战，击退了刘武周的第一次进攻。四月二十日，李渊急命太常卿李仲文率军增援并州。五月十九日，刘武周转而攻陷了并州南面的平遥。六月十日，刘武周麾下猛将宋金刚率三万人攻陷了介休今山西介休市。随后，唐朝援军李仲文、姜宝谊部与刘武周部将黄子英在雀鼠谷今山西灵石县西南汾水河谷展开会战，唐军大败，李仲文与姜宝谊被俘。
刘武周节节胜利，李渊深感忧虑。右仆射裴寂自告奋勇，愿意出战。六月二十六日，李渊命裴寂为晋州道行军总管出兵御敌，同时让他全权指挥前线战事。
九月，裴寂率军进抵宋金刚占据的介休，于度索原今山西灵石县东驻扎。宋金刚派人切断了唐军的水源，唐兵饥渴难耐，裴寂只好下令拔营，打算重新寻找有水源的地方。可唐军刚刚开始拔营，宋金刚立刻挥师进攻，唐军顿时崩溃，或死或逃，几近全军覆没。裴寂仓皇逃奔晋州今山西临汾市。
至此，唐朝在并州以南、晋州以北的城池全部沦陷，仅余西河浩州州府，即今山西汾阳市一座孤城。
九月中旬，刘武周再次进围并州。李元吉对司马刘德威说：“你和老弱残兵留下来守城，我率领精锐部队出战。”十六日夜，李元吉率兵出城，同行的还有他的一大群妻妾。
出战还带妻妾
还没等守城的刘德威回过神来，李元吉已经马不停蹄地向南疾驰，直奔长安而去了。
李元吉前脚刚刚出城，刘武周后脚就已兵临城下。晋阳并州州府所在地土豪薛深迫不及待地打开城门，迎接刘武周进城。刘德威只能领着剩下的那些老弱残兵乖乖地缴械投降，并州就此陷落。
李元吉带着一副劫后余生的表情逃回长安，满朝文武大为震惊。
这是李渊集团自起兵以来遭遇的最惨重的一次失败。
而且还是不战而败
李渊感到了一种锥心般的疼痛。
整个李唐天下无论丢了哪块地方都不会像并州这样让他心痛不已。
必须有人来为这次惨败承担罪责。
要让谁来承担呢李元吉吗不行，他毕竟是齐王，堂堂大唐王朝的四皇子，治他的罪就是在扇李渊自己的耳光，也无异于是在承认自己用人不当。
窦诞呢也不行，他是外戚兼驸马，拿他治罪势必引发许多皇室成员的反抗情绪，而且政治影响也不好，副作用太大。
既然他们都不行，那就只剩下一个人了。
宇文歆。
李渊对他的心腹大臣、礼部尚书李纲说：“元吉幼弱这一年虚岁十七，缺乏治理政事的经验，所以才派窦诞和宇文歆去辅佐他。没想到晋阳这个强兵数万、食支十年的龙兴之地竟然被他们一朝舍弃听说是宇文歆出的主意，我准备把他斩了”
李纲很清楚，皇帝是想抓宇文歆当替罪羊，可这么做必将寒了满朝文武和天下人的心，实在不是高明的做法。李纲遂据理力争：“齐王年少骄逸，可窦诞不但从未规劝，而且替他遮盖掩饰，导致士民怨愤，今日之败，罪在窦诞。宇文歆屡屡劝谏，齐王概不接受，这些事都有奏疏在案，宇文歆是一个忠臣，岂能杀他”
李渊很无奈。
看来这三个人谁也动不得。
既然不能动，那就大事化小、小事化了吧。第二天的朝会上，李渊亲切地把李纲叫到身边来坐，说：“多亏有您，我才不至于滥用刑罚。元吉自己不学好，不是两个辅臣所能管教的。”随即赦免了宇文歆和窦诞的罪责。
李渊可以不问并州之败的罪责，可他却不能无视并州陷落的后果。
武德二年九月下旬，刘武周占领太原后，即命悍将宋金刚乘胜南下，迅速攻克了晋州，俘虏了唐右骁卫大将军刘弘基。随后，宋金刚又进逼绛州今山西新绛县，攻陷了龙门今山西河津市。