李秀成后来在狱中写"回忆录"，这样反省江南战事的逆转："苏、杭之误事，洋兵作怪，领李抚台之银，攻我城池。洋兵见银，打仗亡命。"
1860年3月，李秀成率军从皖南进入浙江，以迅雷不及掩耳之势攻克杭州，引清军江南大营分兵来救，然后退回皖南，会合陈玉成回师天京，大破江南大营。5月，李秀成领兵东征，连克常州、无锡和苏州，兵锋直指上海。当时清朝上海守军薄弱，上海官绅惊恐万状，谋求自救。他们先乞求上海的英法联军"派兵助剿"，由於英、法两国正和清政府交战，拒绝援手。两江总督何桂清即令江宁布政使薛焕和上海道台吴煦筹饷募勇，保卫上海。
吴煦靠捐纳起家，先任嘉定知县，后署理松江知府，曾联络英、美、法等国，镇压小刀会起义，赢得西方人的信任。现在大难临头，吴煦首先想到的便是洋人。他找到在一艘商船上任大副的美国人华尔FrederickTownsendWard，从上海租界的酒吧里招募了数百西洋盲流，组建了一支"洋枪队"。
华尔曾经效力于法国外籍军团，参加过克里米亚战争，有一定的军事素养。当时各国武器贩子云集上海，出售的武器良莠不齐，华尔慧眼识珠，购买最先进的武器装备洋枪队，比如美制夏普后膛步枪SharpeBreech-loadingRifle、德制德莱塞撞针步枪DreyseNeedleGun和美制寇尔特左轮手枪TheNavyColtRevolver等等。8月，洋枪队协同清军首战青浦，西洋盲流一触即溃，太平军胜利克服松江，进抵徐家汇，离上海县城仅9公里之遥。这时英法联军为了自己的利益武装干涉，出动海军陆战队和军舰夹击太平军，迫使其退回松江。
青浦战败以后，华尔痛定思痛，遣散了西洋盲流，以一批菲律宾雇佣军为骨干，招募了大约三千中国人，组成三个团，着西式军服，以西法操练。此时第二次鸦片战争已经结束，英、法等国开始改变以前的"中立"政策，帮助清政府剿灭太平军。华尔洋枪队得到大批新式榴弹炮和臼炮，战力大增。1862年2月，华尔洋枪队在松江附近两败太平军，被清政府命名为"常胜军"，华尔官封四品，后来又娶了吴煦的女儿为妻，并加入中国籍。4月，李鸿章率领淮军乘英国商船抵达上海，立刻被任命为江苏巡抚。以后常胜军和淮军并肩作战，接连攻占了南翔、嘉定、青浦、南桥、柘林、奉贤等地。青浦被清军攻克以后，李秀成领精兵一万从苏州赶来，连续击败常胜军和淮军，收复青浦，但没有继续前进，而在上海城外30英里和淮军、常胜军对峙。