据史料记载，纪晓岚并不是一点女色都不沾。事实上他有一位正室的妻子，在这之后，他还有六房妾室。他的这些老婆都有一个共同点，她们都是有文采，在诗词歌赋上有造诣的女文人。纪晓岚不会像其他男人一样为美色心动不已，他只追求心灵上的沟通。
纪晓岚的这些老婆给他生了四个儿子，可这四个儿子并没有像他的父亲一样有出息。纪晓岚对于诗书很是感兴趣，以至于他对于自己的家事并不是很关心，对儿孙的教育也没有得到相应的重视。或许这就是他的儿子都没成器的原因。
虽然纪晓岚的儿子不争气，但他的十一个孙子中却有很是厉害的人。
这些孙子中的一位典型代表就是纪树馨，他从小就熟读四书五经，而且做人很是礼让，同时他在文字和文学方面有很深的造诣。现在我们看到的有关于纪晓岚警醒世人的言论，都是这个孙子整理出来的。
到了第六代第七代，这些纪家的孙子一个比一个出色。我国历史上的第一位女律师就出自纪家，是纪晓岚的后代之一。在这之后纪家还出现了不少有名气的画家、书法家，纪家的后代把纪家发展的极其风光，做足了光宗耀祖的事情。
纪晓岚的后代很多，不仅在地域上分布很广，而且他们在各个职场领域都有涉足，而且做的很出色。
