这是孔子唯一的绯闻，连他最喜爱的弟子都误解了他！有些人说，孔子就是看中了南子的美貌，简直是一派胡言！
孔子是儒家思想的大师，儒家在社会伦理上，最重视礼，所谓礼，就是一种社会的规范，是介于法律和道德之间的一种价值观。
所谓礼，就是来而不往非礼也。南子作为卫国的国君夫人，很崇拜孔子，写帖子邀请孔子前往，孔子怎么可能不去？虽然南子在卫国人的心中，形象不好。但是对于孔子来说，这是最起码的礼貌。
这一切其实都源于南子的在婚前的感情生活。
南子是宋国人，按理说是孔子的老乡。她是宋国的“国花”，长得倾国倾城。年轻时和宋国公子宋朝，谈了一场惊心动魄的恋爱。这人是大帅哥，其帅不在宋文公和齐景公之下。孔子曾经感慨地说，“不有祝鮀（tuó）之佞而有宋朝之美，难乎免于今之世矣”！意思是，“你要没有祝鮀的能言善辩，也没有宋朝的风流潇洒，在这个世界上混，很难啊”，可见宋朝是个国际知名的大帅哥。
后来南子嫁给了卫灵公，但她与前任宋朝的恋爱经历给她留下了不好的名声。南子一心想见见孔子这个国际知名学者，派人来下了请帖。孔子曾经在和老婆吵架的时候，说了一句气话，“唯小人与女子难养也”（此处纯属玩笑，但说不定是真的呢），从此不喜欢和女孩子打交道。但孔子又是个讲“礼”的人，南子虽然名声不好，但人家是国君夫人，又亲自下了请帖，所以孔子就去了。
南子坐在重重帷帐之中接见了孔子。他们互相行礼，孔子没看见南子是怎么行礼的，只听到南子身上佩戴的玉饰发出悦耳的碰撞声。孔子对这次拜见比较满意，他认为南子是个懂礼之人，就兴冲冲地将经过告诉了学生们。
“刺头”子路立马站起来指责老师，怎么能去见南子呢？难道不怕辱没了名声吗？性格耿直的子路想必说出了“谁知道你们都干了些什么”之类的混帐话。孔子为了证明自己的清白，指着天发誓说，若是我做错了事，让老天来惩罚我！孔子的神态，像个天真的孩子。
有一天，卫灵公邀请孔子出去走走。卫灵公和南子坐在第一辆车上，由太监雍渠驾车，而让孔子坐在第二辆车上，声势浩荡地招摇过市。
卫灵公觉得这是倍有面子的“显摆”，孔子认为这是大失颜面的“游街”。所以，孔子一生气，又走了！
