公元200年，孙策临终之际，以张昭和周瑜作为托孤大臣，辅佐孙权即位。执掌江东后，孙权南征北战，巩固和发展了江东基业。到了公元222年，孙权接受曹丕的册封，成为大魏吴王。称王之后，孙权可以设立丞相这一官职。彼时，江东的文武百官，大多主张张昭担任第一任丞相。但是，孙权却力排众议，任命孙邵为丞相。
公元225年，孙邵去世后，吴国又出现了张昭担任丞相的呼声。不过，孙权又一次拒绝，而是任命顾雍为丞相。到了公元236年，张昭病逝，也即他终究没有跻身丞相的宝座。究其原因，主要分为以下三点。
一、平衡江东派系的需要
首先，虽然孙坚父子是吴郡富春（今浙江省杭州市富阳区）人，但是，孙氏不是江东本地是世家大族。其中，孙坚曾在徐州等地担任官职，而孙策曾依附于割据淮南的寿春。在此背景下，孙策平定江东的时候，主要依靠的是淮泗流域的人才，比如周瑜是庐江舒县人，张昭是徐州彭城人，鲁肃是临淮郡人。至于避乱江东的中原人士，也受到了重用，比如诸葛瑾、吕岱等。
当然，孙策、孙权这么做，自然引起了江东本地士族的不满，毕竟强龙不压地头蛇。所以，孙策遭到了许贡门客的刺杀，而孙权也不得不考虑江东士族的利益。对于吴国首任丞相孙邵来说，是青州北海国人(今山东潍坊市昌乐县西)，也即不是江东本地人士。
因此，等到孙邵去世后，孙权不能继续任用淮泗集团的人士，比如张昭等人。在此背景下，出自吴郡顾氏的顾雍，成为比较适合的选择。顾氏和张氏、朱氏、陆氏并称为吴郡四大家族，除了吴郡顾氏，其他几大家族也受到了孙权的重用，比如陆逊担任的上大将军，在地位上不输丞相。后来，陆逊也继任了丞相一职。
二、张昭性情刚烈
公元225年，孙邵去世后，大家又提出让张昭担任丞相，孙权这才说出一部分的真实原因：“孤怎么是对子布吝啬呢，只是考虑到丞相的事务繁杂，而他性情刚烈，他的话要是没有被听从采纳，就会产生怨忿诘难，这对他并无益处。”于是，孙权选择性情相对温和的顾雍继任丞相一职。
由此，非常明显的是，因为张昭性情刚烈，孙权不愿意让张昭担任权力更大的丞相。不然，张昭经常在朝堂上顶撞孙权，无疑会削弱孙权的威望。比如孙权在武昌期间，有一次在钓台上饮酒大醉，张昭当面表露出不满的表情，并选择离开。孙权遣人让张昭回来，对他说：“大家一起高兴，您又何必发怒？”张昭回答：“以前纣王作糟丘酒池一夜宴饮，当时也以为只是高兴而已，不认为有什么不对。”孙权默然而感到惭愧，于是罢酒。
三、张昭曾主张投降曹操
公元208年，曹操南下荆州，因为刘表病逝，刘琮投降，曹操很快就夺取了荆州之地，并意图一举消灭江东。在此背景下，张昭等不少大臣主张投降曹操，只有鲁肃、周瑜等少部分人力主和曹操决战。最后，孙权和刘备的联军击败了强大的曹操，所以，主张投降曹操几乎成为了张昭一生的“污点”。
黄龙元年（229年），孙权在武昌登基称帝，大会百官，归功于周瑜。张昭举杯想要褒赞功德，不过，张昭还没有说法，孙权打断了他，并说道：“如果听从张公您的话，现在已经要乞讨食物了。”张昭听完非常惭愧，伏在地上流汗。直到孙权称帝时，都不忘张昭的这一污点，自然很难将百官之首的丞相授予他了。
最后，在被孙权嘲讽一番后，张昭以年老多病为由，辞让官位及所统领部属，改拜辅吴将军、班亚三司，改封娄侯。退隐后，张昭几乎不问朝政，在家编写《春秋左氏传解》及《论语注》，今皆佚失。嘉禾五年（236年），张昭去世，享年八十一岁，谥号“文”。
