晋文公身边“有士五人”，其中以赵衰最为低调，但赵衰得到的信任又是最重。当年晋文公还是公子重耳，带领赵衰等随臣流落狄国的时候，狄国人把叔隗、季隗两姐妹分别嫁给了重耳和赵衰，后来重耳归国又把女儿嫁给了赵衰。
即便在流亡路上，重耳身边的臣子们也能看清这种关系。秦穆公设宴款待重耳，狐偃就说“吾不如衰之文也，请使衰从”，让赵衰跟随重耳参加秦国重要宴会，正是在这场宴会上，秦穆公与重耳达成默契，愿意派兵支持重耳归国即位。
可是，赵衰虽然在重耳流亡途中掌管着重耳的伙食，而且又得到众多随臣的支持，但实际上赵衰在军事和政治上，其实并没有为重耳做出过很多具有决定性的功劳。就是在重耳成为晋文公和成为霸主的八年之中，赵衰也少有突出的表演。赵衰究竟有何本领，让晋文公如此重视呢？
在晋文公的身边，文有狐偃及其家族，武有先轸及其家族，狐偃家族属晋文公的母舅族，而先轸家族则在城濮之战中建立大功，赵衰虽是在年少时就“卜事公子重耳”，跟晋文公是年少好友，后来又跟随流亡十九年，可是在功劳上明显低于狐氏和先氏。为什么晋文公还会不断的信任和提拔赵衰呢？
尽管与晋文公之间既是翁婿关系、又是连襟关系，可是赵衰依然懂得为臣之道，从来没有表现出恃宠而骄的表现。晋文公甚至以赵衰为理由说“赵衰三让。其所让，皆社稷之卫也。废让，是废德也”，就是把赵衰作为典型，训导晋国群臣。
赵衰很懂得让，这跟那个纷争之世似有不合。《国语》载：“文公问元帅于赵衰，对曰：郤縠可，行年五十矣，守学弥惇。夫先王之法志，德义之府也。夫德义，生民之本也。能惇笃者，不忘百姓也。请使郤縠。”这是推荐郤縠做了中军主将。
“公使赵衰为卿，辞曰：栾枝贞慎，先轸有谋，胥臣多闻，皆可以为辅佐，臣弗若也。乃使栾枝将下军，先轸佐之”，赵衰又一次拒绝了晋文公的提拔，而让栾氏和先轸家族入了六卿。“公使原季为卿，辞曰：夫三德者，偃之出也”，赵衰推荐狐氏掌了军权。
赵衰简直就是晋国权卿家族中的特例，而且因为多次让位和推荐，可说是与众多权卿家族都建立了友好关系，这些权卿家族们至少在赵衰时代，都是相当认可赵氏家族的。更重要的是赵衰所推荐给晋文公的那些人，都在晋文公的霸业中功成名就，即可见赵衰并非是盲目推荐臣子。
赵衰擅长于处理朝臣关系，这是毋庸置疑的。即便是到后来晋襄公时代了，朝中的臣子们依然不忘赵氏，晋襄公的老师阳处父就是赵氏家族的鼎力支持者。更重要的是晋献公身边的宦官勃醍，后来成为晋文公的近臣的时候，还主动向晋文公推荐过赵衰，让赵衰担任原地的负责人。赵衰的关系竟可到深宫之中，可谓细思极恐。
