第二年，元朝的右丞相脫脫統領大軍前來征討張士誠，屢次打敗他們，圍攻高郵，已經攻下高郵的外城，而且毀壞了它。但是，就在高郵城快要被攻破的時候，順帝聽信讒言，撤銷了脫脫的兵權、官爵，另派將軍取代了他。張士誠趁機反擊，元兵潰敗撤軍，於是張士誠再度振興起來。過了年，淮東壹帶發生饑荒，張士誠就派他的弟弟張士德從通州（今屬江蘇）渡過長江進入常熟。
至正十六年二月，張士誠攻陷平江（今江蘇蘇州市），接著又攻陷湖州、松江及常州等路（均屬江蘇）。他把平江（蘇州）改為隆平府，張士誠從高郵遷都到這裏。就以承天寺為辦公場所，盤腿坐在大殿中，在梁上射三箭作為標識。這壹年，朱元璋也攻下集慶（今江蘇南京），派遣楊憲向張士誠傳達友好的意思。在給張士誠的信中，朱元璋寫道：“過去（東漢初年），隗嚚（註意，是隗“嚚”（yín），不是隗“囂”）在（今甘肅）天水稱雄，現在足下也在姑蘇（蘇州）稱王，事勢相等，我十分為足下高興。與鄰邦保持友好，各自安守轄境，這是古人崇尚的美德，我心裏十分仰慕。希望今後我們能夠互通信使，不要被讒言所迷惑，致使產生邊界糾紛。”張士誠收到朱元璋的信，扣住楊憲，也不回信。後來竟然派遣水軍進攻鎮江，結果被徐達在龍潭擊敗。朱元璋隨即派徐達和湯和攻常州。張士誠派兵來援救，大敗，損失了姓張和姓湯的兩員戰將，這才寫信求和，請求每年送給明軍糧食二十萬石，黃金五百兩，白金三百斤。朱元璋回信，限令他放回楊憲，每年只要送五十萬石糧食就行了。張士誠又不搭理了。
早先張士誠攻下平江（蘇州），隨即就派兵攻嘉興（今屬浙江）。結果當地駐軍元朝的守將、苗族大帥楊完者多次打敗張士誠的軍隊。於是他派張士德繞道攻破杭州。楊完者回兵救援，張士德又吃了敗仗，逃了回來。次年，朱元璋派耿炳文攻取長興（屬浙江），徐達攻取常州，吳良等攻取江陰（均屬浙江），張士誠的軍隊西面、南面都被堵住，勢力逐漸衰落。不久，徐達率兵攻下宜興，然後進攻常熟。張士德迎戰失敗，被前鋒趙德勝活捉。張士德，小名叫九六，善於打仗，有謀略，能得將士的喜歡，浙西地區都是他打下來的。張士德被捉住後，張士誠非常郁悶。朱元璋想留在張士德來招降張士誠。張士德派人偷偷地給張士誠送信，叫他投降元朝。於是張士誠就決定請求向元軍投降。江浙行省右丞相達識帖睦邇將此事報告給朝廷，元朝廷封張士誠為太尉，他手下的文武官員都按級別封了官。張士德押送到金陵（南京）以後，拒絕進食，最後餓死。張士誠雖然不再稱王，但是，仍然和以前壹樣擁有武裝和土地。達識帖睦邇在杭州與楊完者有矛盾，私下裏召來了張士誠的軍隊。張士誠派史文炳偷襲殺掉楊完者，就占據了杭州。順帝派人向張士誠要糧，賜給他龍衣和禦酒。張士誠從海上往大都送糧十壹萬石，每年都送這麽多。這樣，張士誠更加驕橫，讓他的部下歌功頌德，要求元朝廷封他為王，元朝廷沒有答應。
至正二十三年（1363）九月，張士誠幹脆又自立為吳王，尊他的母親曹氏為王太妃，按照王的身份地位設置屬官，在城裏另外建造了府第。他讓弟弟張士信為浙江行省左丞相，把勾結他襲擊楊完者的達識帖睦邇囚禁在嘉興。元朝廷再來要糧食就不給了。他手下有個參軍叫俞思齊，字中孚，泰州人，勸諫張士誠說：“過去我們是‘賊’的身份，當然可以不給大都送糧，現在是元朝的臣子，怎麽可以不進貢糧食呢？”張士誠大怒，去推桌案，結果撲到在地。俞思齊看勸不動他，就裝病逃走了。那時，張士誠占據的地盤，南到紹興，北超過徐州，到達濟寧的金溝，西邊占據汝寧府（河南汝南縣）、潁州（安徽阜陽）、濠州（安徽鳳陽東北）、泗州（江蘇盱眙），東邊直到大海，縱橫兩千余裏，帶甲的將士數十萬。以弟弟張士信和女婿潘元紹為心腹，以左丞徐義、李伯升、呂珍為爪牙，以參軍黃敬夫、蔡彥文、葉德新等人為智囊團，以元朝的學士陳基、右丞饒介掌管秘書工作。他還喜歡招攬賓客，所贈送的車馬、居室、家具之類很多。那些僑居在杭州和當地貧窮無依靠的人都爭著來投靠他。
張士誠的為人，表面上寡言少語，好像很有器量，但是內心裏並沒有遠大的誌向。占據吳地（今江蘇南部地區）以後，這壹帶很多年都沒有戰事了，因此人口多，經濟也很繁盛，張士誠就逐漸變得奢侈、驕縱起來，不想過問政務。他的弟弟張士信、女婿潘元紹更是貪婪斂財，金玉珍寶和古代的書法名畫，都是堆滿了屋子，天天唱歌跳舞使自己高興。他手下的將帥們也拖拖拉拉不肯服從命令，每當有戰鬥，都在那兒裝病，索要大量的田宅、封賞高官，然後才肯出兵打仗。剛到軍中，就拉來大量的丫環、小妾、樂器，在前線吹拉彈唱，或者就招攬那些能說會道的遊談之士，賭博、踢球，都不把軍務放在心上，到打了敗仗、失去了地盤，張士誠也壹概不去過問。過後不久，還是讓他們領兵打仗。從上到下都是這樣嘻嘻哈哈，貪圖享樂，直至最後滅亡。
朱元璋的地盤就在張士誠的旁邊。張士誠多次派兵進攻常州、江陰、建德、長興、諸全，都沒有取勝，只好退回；而朱元璋派邵榮攻湖州，胡大海攻紹興，常遇春攻杭州，也沒能攻下。廖永安被張士誠俘虜，謝再興叛變投降張士誠，正趕上朱元璋與陳友諒相持不下，也沒有能力管張士誠的事。陳友諒也派人約張士誠夾攻朱元璋，但是張士誠想當個旁觀者，表面上答應了陳友諒，最後還是沒有行動。等到朱元璋攻下武昌，消滅了陳友諒，率領軍隊回到南京，就命令徐達等人謀劃攻取淮東地區，先後打下泰州、通州（江蘇南通），包圍了高郵。張士誠派水軍從長江逆流而上，救援高郵。朱元璋親自率領軍隊擊退了張士誠的水軍。徐達等人於是拿下高郵，奪取淮安，淮北壹帶都落入明軍的手中。於是到平江（蘇州）發布檄文，羅列了張士誠的八大罪狀。徐達、常遇春帥兵從太湖挺進湖州，張士誠的軍隊迎戰於毘山，又戰於七裏橋，都被打敗，於是就圍攻湖州。張士誠派朱暹、五太子等率領六萬人前來救援，駐紮在舊館，外圍築五座大砦防備敵人。徐達、常遇春在外面築了十座大砦包圍了他們，切斷了敵人的糧道。張士誠知道事情緊急，親自督兵來迎戰，在皂林被打敗。他手下的將軍徐誌堅敗在東遷，潘元紹敗在烏鎮，所有的山水陸寨都被攻破，對舊館的救援道路都被截斷，五太子、朱暹、呂珍都投降了。所謂“五太子”，是張士誠的養子，短小精悍，能平地躍起壹丈有余，又擅長遊泳；呂珍、朱暹都是善戰的老將，這時候都投降了。徐達等把他們投降的消息通報湖州，湖州守將李伯升等投降，獻出城池。嘉興、松江都相繼投降，潘原明也把杭州獻給了朱元璋的將軍李文忠。
至正二十六年十壹月，朱元璋的大軍進攻平江，在城外築起長長的戰壕圍困他。張士誠堅守數月。朱元璋派人送信招降他，信上說：“古代的豪傑，以敬畏天命、順應民心為賢，以保全自身和家族為智，就像漢代的竇融、宋朝的錢俶，都是這類人。妳要好好想壹想，不要自取滅亡，讓天下人笑話妳。”張士誠還是不回信。多次突圍決戰，沒有壹次勝利。李伯升知道張士誠已經非常困窘了，就派手下貼心的說客翻墻進城，說服張士誠說：“當初您所倚仗的，就是湖州、嘉興、杭州這些地方，現在都失去了。您獨力堅守這座孤城，恐怕城裏出現變故，您雖然想死，只怕都死不了。不如順應天命，派使者到金陵去，把您歸順投降以拯救百姓的意思傳達過去，然後打開城門，著便裝等候朱元璋的命令，應該封您個萬戶侯不成問題。再說，您現在的地盤，就好像賭博，得到的是人家的東西，然後再丟掉，於您又有什麽損失呢？”張士誠擡頭看了他很久，說：“讓我想想。”於是辭去來人，但是還是不肯投降。張士誠過去有特種兵號稱“十條龍”的，都是驍猛善鬥，每到打仗的時候，他們就披著銀鎧、穿著錦衣，出入陣中，到這時也都戰敗，掉到萬裏橋下淹死了。最後，丞相張士信被炮彈打中，死了，城裏邊人情洶洶沒有願意固守的。至正二十七年九月，城破，張士誠糾集剩下的將士，與明軍在萬壽寺東街激戰，這些人都四散奔逃，剩下張士誠孤家寡人，心慌意亂地跑回自己的府第，關上門去上吊，他以前的部將趙世雄把他解救了下來。大將軍徐達多次派李伯升、潘元紹等勸諭他，張士誠閉上眼睛不肯講話。眾人把他擡出葑門，送到船上，他就不再進食，到了金陵，到底還是上吊死了。死時四十七歲。朱元璋命人買棺材埋葬了他。
張士誠被包圍的時候，問他的妻子劉氏說：“我馬上就要死了，妳們怎麽辦？”劉氏說：“您不用擔心，我壹定不會辜負妳的。”她在齊雲樓下堆上柴草，城破的時候，把張士誠所有的小妾都趕上樓，命令養子張辰保放火焚燒齊雲樓，自己也上吊死了。張士誠有兩個年幼的兒子藏在民間，後來不知道下落。
先是，黃敬夫等三人在張士誠政權當政，當地人知道他們必然會失敗，有“黃菜葉”的童謠傳唱，最後都應驗了。註：“黃菜葉”—— 張士信為丞相，寵信三個奸臣：黃敬夫、蔡彥文、葉德新，他們專會吃喝玩樂，阿諛逢迎，又會坑害老百姓。吳人都戲謔地稱他們為“黃菜葉”。後來朱元璋誅滅張士誠，抓住這三個壞蛋殺掉，把他們的屍首掛在竹竿上讓風吹幹。當時人編了十七字謠（現在叫“三句半”）：“丞相做事業，專用‘黃菜葉’。壹朝西風起，幹癟。”