由于义军刚刚起兵，来不及设立各级文武官吏。军士刚召集起来，又是仓促上阵，都未经过严格训练。于是，李建成等人首先草拟军法，宣告上下，三军听到军令，人人自律。
进军路上，李建成与弟弟李世民，身先士卒，与士兵同甘共苦。他们一路上力求不骚扰百姓，路旁菜果，非买不食，如有偷窃，马上进行赔偿，也不追究偷窃者。既争取了民心，又不轻易伤害军心。百姓们在隋统治者的残酷压榨下，对义军寄予新的希望，所以义军到来时，百姓供水供饭，进行慰劳，而义军遇有牛酒馈赠，则好意辞谢，竭力表明李家起兵与隋朝弊政不同。人们久苦隋政，见到这样的军队，自然人人感动，尽力支持。广大士兵见此情景，也更加鼓起了斗志。进至西河城下，李建成、李世民兄弟未披盔甲就察看地形，并下令不要伤害城内百姓，任其进出。
次日，义军率兵攻城，飞梯刚靠城墙，士兵争先恐后，蜂拥而上，城内百姓在郡司法书佐朱知谨带领下，策动内应，引义军入城。这一仗打得干净利落，除杀了高德儒外，未伤一人，西河遂定。李建成、李世民凯旋回太原，往返不过九天。李渊见大军出师迅速告捷，喜形于色，连说： “以此用兵天下，横行可也!”并下令开仓赈贫，增募兵士，定下西入关中之策。