15和16日，我軍為準備第二次總攻，暫時停止了全線進攻。隻有87師為取得總攻的出發陣地而於16日淩晨1時向油漆公司、愛國女校等地日軍發起攻擊，多處突破日軍防線，日軍調來坦克以及預備隊，才阻止了87師的淩厲攻勢。但87師還是攻占了五州公墓、愛國女校等地。
德國顧問根據幾天來的戰鬥，認為我軍傷亡大戰果小的原因是攻擊敵軍最堅強的據點，以硬對硬，所以難以取得進展。因此必須改變戰術，從敵人脆弱之處突破，割裂敵軍戰線之後再予以各個擊破。遵循這一原則，88師指揮參謀人員和德國顧問一起研究製定了“鐵拳計劃”，挑選較有作戰經驗的精銳官兵組成突擊隊，配屬各種近戰武器，並有強大炮火掩護，力爭一舉突破日軍防線，然後不顧一切持續深入突進，其目的不在於奪取敵據點和殺傷敵人，而是以持續不斷的推進來破壞敵軍陣地的穩定，造成不利於日軍的態勢，為主力部隊大量殲敵創造條件。——這一戰術思想正是日後德國在二戰中大顯神威的“閃擊戰”的精髓！
8月17日清晨5時30分第二次總攻全麵展開，88師的攻擊目標，是日租界虯江路一線，88師先對目標區進行猛烈的炮擊，接著步兵以機關炮和輕重機槍繼續對突破點進行密集射擊，虯江路沿線頓時成為一片火海，幾乎所有建築物均遭摧毀，突擊隊隨即在火力掩護下，開始突擊。同時師主力部隊則對虹口日本海軍司令部周邊展開攻擊，以策應突擊隊的攻擊。87師則是猛攻日軍海軍俱樂部和海軍操場，87師由於61師到達吳淞接替該師261旅的防務，使其能抽調生力軍261旅521團作為突擊的骨幹力量，521團以兩個輕裝步兵營、一個37毫米戰防炮連、一個工兵爆破隊和通信班組成突擊隊（從突擊隊編成看，還是頗具多兵種合成的意味，而且是整個淞滬會戰中惟一的一次使用工兵爆破隊）。87師師部還特別要求突擊隊將攻擊到達的街道門牌號碼拆下，以為憑據。由於採取了新戰術，我軍攻勢淩厲，進展十分順利，連續消滅日軍十餘個地堡，壓迫殘敵集中在較大之據點，當日87師進展最遠的一支隊伍，已打到了黃浦江邊！
在88師對日本墳山、八字橋、法學院、虹口公園等地進攻中，雙方反覆爭奪，傷亡甚重，僅在法學院一處，我軍就付出犧牲一營之眾的巨大代價。87師259旅第7、第8連接連攻占日軍海軍俱樂部、日海軍操場，但對滬江大學、公大紗廠、引翔港鎮的攻擊，苦戰終日也未得手。我軍炮兵射擊，命中率頗高，但因沒有燃燒彈，無法徹底摧毀堅固目標。日軍用堅固障礙物阻塞每一通道，並用裝甲車作為活動碉堡，防禦部署幾乎無懈可擊，導致突貫攻擊最後還是不得不演變成對各點目標施行強攻，原先的意圖沒能得到徹底貫徹，因此雖然獲得了不小戰果，但還是失敗了。這一仗極其慘烈，雙方死傷至為慘重，虹口地區終日槍炮聲不絕，濃煙蔽日！
18日，中國政府接受英美法三國提出的上海作為中立區，中日雙方軍隊撤出上海的建議，因此蔣介石命令張治中暫停攻擊。但是日本拒絕了該建議，於是蔣介石於下午又下令恢復攻擊。
同日，36師已從西安星夜趕來，到達上海北郊的吳家宅地區。日軍也在調兵遣將，從旅順和日本本土緊急調來2400名海軍陸戰隊，使其在上海的總兵力增至7000人。
19日，87師261旅522團因61師接替原防，得以全團抽身而出投入對市區的攻擊，該團作為87師的先鋒，由北向南攻擊日軍楊樹浦陣地，一舉突入日軍楊樹浦防線，激戰至下午17時許攻占唐山路、公平路交叉路口，前鋒已攻入嶽州路，並繼續向百老匯路挺進。36師集中兩個團從楊樹浦北側南下，從522團攻占的地區出發向保定路推進。日軍當晚以坦克支援步兵對87師和36師進行多次反擊，均被擊退。
20日淩晨1時，36師106旅繼續向南攻擊，於天明時分進至沙涇港、嶽州路、昆明路一線，其左翼已與87師打通聯繫。張治中親臨江灣87師師部指揮作戰，決心利用87師和36師突入楊樹浦租界進至嶽州路的有利態勢，以主力向匯山碼頭突擊，實現中央突破，切斷日軍左右兩翼的聯繫，然後向兩翼卷擊。為此將剛從南京趕來的裝甲團戰車營的戰車第1、第2連的六輛英製維克斯6噸輕型坦克配屬生力軍36師，以裝備德製37毫米戰防炮的教導營配屬給87師，進一步加強其突擊力。
下午，張治中下令87師協同36師向當麵之敵猛攻，力求直突匯山碼頭。同時令88師佯攻虹口，98師警戒沙涇港以西。
36師師長宋希濂在新港開設師部，親自指揮211團攻擊沙涇港西岸之敵，215團和216團在戰車第1連的配合下沿鄧脫路和兆豐路向南猛攻，212團則沿舟山路攻擊前進，掩護主攻方向側翼。當夜24時36師開始主攻，作為前導的戰車第1連奮勇衝殺，連破日軍數道防線，但是步兵被日軍密集火力所阻，未能及時跟進，結果坦克因失去步兵支援被日軍擊毀！後續步兵雖然失去坦克支援但依舊毫無躊躇猛攻不止。日軍盤踞在道路兩側的高樓上，居高臨下組成交叉密集火網，並以坦克、裝甲車掩護步兵分隊實施反撲。212團在舟山路華德路口遭到密集火力攔截，傷亡慘重，106旅長陳瑞河也在戰鬥中身負重傷。215團的攻擊也同樣難以前進，第2營營長李增陣亡。部隊見正麵攻擊無法奏效，便迂迴側後的小巷，準備從高樓後麵攀窗而上，結果日軍坦克突然殺出，以炮火封鎖了巷口，再以燃燒彈猛轟，300多官兵葬身火海！216團前赴後繼衝過百老匯路，一直攻到匯山碼頭大門前，但是沒有隨伴炮火摧毀堅固的碼頭大鐵門，而四周日軍彈如雨下，稍有遲誤便有大量傷亡，團長胡家驥身先士卒攀爬鐵門，官兵相繼跟進，但是攻入碼頭的部隊立即遭到日軍猛烈側射火力壓製，死傷枕籍，胡家驥左右隨從死傷殆盡，胡家驥也身中五彈！眼見無法鞏固戰果，死傷又重（216團傷亡高達570人），216團隻好退回引翔港，日軍乘勢反擊，宋希濂緊急投入師預備隊工兵營才穩定戰線。
德國顧問根據幾天來的戰鬥，認為我軍傷亡大戰果小的原因是攻擊敵軍最堅強的據點，以硬對硬，所以難以取得進展。因此必須改變戰術，從敵人脆弱之處突破，割裂敵軍戰線之後再予以各個擊破。遵循這一原則，88師指揮參謀人員和德國顧問一起研究製定了“鐵拳計劃”，挑選較有作戰經驗的精銳官兵組成突擊隊，配屬各種近戰武器，並有強大炮火掩護，力爭一舉突破日軍防線，然後不顧一切持續深入突進，其目的不在於奪取敵據點和殺傷敵人，而是以持續不斷的推進來破壞敵軍陣地的穩定，造成不利於日軍的態勢，為主力部隊大量殲敵創造條件。——這一戰術思想正是日後德國在二戰中大顯神威的“閃擊戰”的精髓！
8月17日清晨5時30分第二次總攻全麵展開，88師的攻擊目標，是日租界虯江路一線，88師先對目標區進行猛烈的炮擊，接著步兵以機關炮和輕重機槍繼續對突破點進行密集射擊，虯江路沿線頓時成為一片火海，幾乎所有建築物均遭摧毀，突擊隊隨即在火力掩護下，開始突擊。同時師主力部隊則對虹口日本海軍司令部周邊展開攻擊，以策應突擊隊的攻擊。87師則是猛攻日軍海軍俱樂部和海軍操場，87師由於61師到達吳淞接替該師261旅的防務，使其能抽調生力軍261旅521團作為突擊的骨幹力量，521團以兩個輕裝步兵營、一個37毫米戰防炮連、一個工兵爆破隊和通信班組成突擊隊（從突擊隊編成看，還是頗具多兵種合成的意味，而且是整個淞滬會戰中惟一的一次使用工兵爆破隊）。87師師部還特別要求突擊隊將攻擊到達的街道門牌號碼拆下，以為憑據。由於採取了新戰術，我軍攻勢淩厲，進展十分順利，連續消滅日軍十餘個地堡，壓迫殘敵集中在較大之據點，當日87師進展最遠的一支隊伍，已打到了黃浦江邊！
在88師對日本墳山、八字橋、法學院、虹口公園等地進攻中，雙方反覆爭奪，傷亡甚重，僅在法學院一處，我軍就付出犧牲一營之眾的巨大代價。87師259旅第7、第8連接連攻占日軍海軍俱樂部、日海軍操場，但對滬江大學、公大紗廠、引翔港鎮的攻擊，苦戰終日也未得手。我軍炮兵射擊，命中率頗高，但因沒有燃燒彈，無法徹底摧毀堅固目標。日軍用堅固障礙物阻塞每一通道，並用裝甲車作為活動碉堡，防禦部署幾乎無懈可擊，導致突貫攻擊最後還是不得不演變成對各點目標施行強攻，原先的意圖沒能得到徹底貫徹，因此雖然獲得了不小戰果，但還是失敗了。這一仗極其慘烈，雙方死傷至為慘重，虹口地區終日槍炮聲不絕，濃煙蔽日！
18日，中國政府接受英美法三國提出的上海作為中立區，中日雙方軍隊撤出上海的建議，因此蔣介石命令張治中暫停攻擊。但是日本拒絕了該建議，於是蔣介石於下午又下令恢復攻擊。
同日，36師已從西安星夜趕來，到達上海北郊的吳家宅地區。日軍也在調兵遣將，從旅順和日本本土緊急調來2400名海軍陸戰隊，使其在上海的總兵力增至7000人。
19日，87師261旅522團因61師接替原防，得以全團抽身而出投入對市區的攻擊，該團作為87師的先鋒，由北向南攻擊日軍楊樹浦陣地，一舉突入日軍楊樹浦防線，激戰至下午17時許攻占唐山路、公平路交叉路口，前鋒已攻入嶽州路，並繼續向百老匯路挺進。36師集中兩個團從楊樹浦北側南下，從522團攻占的地區出發向保定路推進。日軍當晚以坦克支援步兵對87師和36師進行多次反擊，均被擊退。
20日淩晨1時，36師106旅繼續向南攻擊，於天明時分進至沙涇港、嶽州路、昆明路一線，其左翼已與87師打通聯繫。張治中親臨江灣87師師部指揮作戰，決心利用87師和36師突入楊樹浦租界進至嶽州路的有利態勢，以主力向匯山碼頭突擊，實現中央突破，切斷日軍左右兩翼的聯繫，然後向兩翼卷擊。為此將剛從南京趕來的裝甲團戰車營的戰車第1、第2連的六輛英製維克斯6噸輕型坦克配屬生力軍36師，以裝備德製37毫米戰防炮的教導營配屬給87師，進一步加強其突擊力。
下午，張治中下令87師協同36師向當麵之敵猛攻，力求直突匯山碼頭。同時令88師佯攻虹口，98師警戒沙涇港以西。
36師師長宋希濂在新港開設師部，親自指揮211團攻擊沙涇港西岸之敵，215團和216團在戰車第1連的配合下沿鄧脫路和兆豐路向南猛攻，212團則沿舟山路攻擊前進，掩護主攻方向側翼。當夜24時36師開始主攻，作為前導的戰車第1連奮勇衝殺，連破日軍數道防線，但是步兵被日軍密集火力所阻，未能及時跟進，結果坦克因失去步兵支援被日軍擊毀！後續步兵雖然失去坦克支援但依舊毫無躊躇猛攻不止。日軍盤踞在道路兩側的高樓上，居高臨下組成交叉密集火網，並以坦克、裝甲車掩護步兵分隊實施反撲。212團在舟山路華德路口遭到密集火力攔截，傷亡慘重，106旅長陳瑞河也在戰鬥中身負重傷。215團的攻擊也同樣難以前進，第2營營長李增陣亡。部隊見正麵攻擊無法奏效，便迂迴側後的小巷，準備從高樓後麵攀窗而上，結果日軍坦克突然殺出，以炮火封鎖了巷口，再以燃燒彈猛轟，300多官兵葬身火海！216團前赴後繼衝過百老匯路，一直攻到匯山碼頭大門前，但是沒有隨伴炮火摧毀堅固的碼頭大鐵門，而四周日軍彈如雨下，稍有遲誤便有大量傷亡，團長胡家驥身先士卒攀爬鐵門，官兵相繼跟進，但是攻入碼頭的部隊立即遭到日軍猛烈側射火力壓製，死傷枕籍，胡家驥左右隨從死傷殆盡，胡家驥也身中五彈！眼見無法鞏固戰果，死傷又重（216團傷亡高達570人），216團隻好退回引翔港，日軍乘勢反擊，宋希濂緊急投入師預備隊工兵營才穩定戰線。