姜夔家谱中有姜夔之妻丁氏、张氏的记载，其它流传和有待考证的妻室有如下记载
姜夔一生情归多处，第一站就是脍炙人口的合肥爱情故事，接着是南宋四大诗人萧德藻介绍侄女嫁与他为妻。忘年之交范成大特地将自己家中的色艺双绝的青衣小红相赠。在他出游的那些年月，还经常回归故里。1176年后他离开湖北汉阳在鄱阳生活了一段时间，结婚生子，姜氏家谱中就有姜夔之妻丁氏、张氏的记载。据姜氏后人分析和推论，姜在外地生育的子女都有可能回到鄱阳生活。
1175年姜夔20岁时，客居合肥赤栏桥时，与附近擅于操琴弹琵琶的柳氏姐妹不期而遇，与她们建立了真挚的情爱关系。一个精于吟词作曲，一方能歌善舞，才艺出众。他（她）们的爱恋可以说是“高山流水”，一触即碰出火花的那种。这段与异性的浪漫和情爱，姜夔铭心刻骨，常在他的词中流露出一鳞半爪。在他现有的诗作中，与此有关的就有22首，占他现存诗词的四分之一，足见他的萦心不忘和对真爱的追求。他在《淡黄柳》和《凄凉犯》中都写了合肥的柳色，一是春柳，一是秋柳，却都一样的凄凉，一样的依依苦涩，牵动人的离别思念和思乡之情。他在《送范仲讷往合肥诗三首》中写道：“我家曾住赤栏桥，邻里相过不寂寥。君若到时秋已半，西风门巷柳萧萧。”文中的柳萧萧指的就是与姜夔爱恋的柳氏姐妹，并明确道出，姜曾在那成“家”定居过，邻里之间的关系也处理不错。18年以后，姜夔又回到了合肥，在赤栏桥流连忘返，满腹惆怅。
1183年，姜夔28岁，他出游途中特意拜访父亲故友萧德藻（南宋著名的诗人），深得萧德藻的赏识，说：“学诗数十年，始得一友”，并把哥哥的女儿嫁给他，让他住在湖州的别墅，萧氏对姜夔温柔、体贴，善解人意。当她得知姜夔的合肥之恋时，她千里迢迢只身来到合肥，探访了这令自己丈夫魂不守舍的风尘姐妹。她被柳萧萧的美貌和才艺折服。夸奖道：“果然是冰清玉洁，果然是风格超凡，果然是技艺精湛，果然是才貌双全。”萧氏夫人主动为姜纳柳萧萧为妾。谁知柳萧萧非同寻常，是个奇特女子，她泪涟涟，意彷徨，竟在赤栏桥伤心感慨，纵身跳入桥下水中自尽。
1189年秋天，34岁的姜夔在吴兴苕西渡口，如风絮般飘来一位风尘女子——京洛风流绝代人，姜心头一震，惊若天人，姜望着她，凝视她，视线始终没有离开。对方似有察觉，只是嫣然一笑，匆匆离去。姜灵感顿生：“京洛风流绝代人，因何风絮落溪津，笼鞋潜出鸦头袜，知是凌波飘渺身，红乍笑，缘长颦，与谁同度可怜春。鸳鸯独宿何曾惯，化作西楼一缕云。”萍水相逢，姜都要填词，足见他的风流骚雅。可84首词中却没有一首咏叹夫妻感情。这说明，当年娶萧氏，一半是盛情难却，一半是生活没有着落，饥不择食。
1191年冬，姜夔36岁，他冒雪拜访苏州范成大，范索要辞章，姜填写了二首，为《疏影》、《暗香》，范赞叹不已，命两个歌妓演唱，音调节律和婉。范击节赞赏之后，以青衣小红相赠，并留姜夔在家中住了一个多月。在与小红相处的日子里，他怜香惜玉，写出了自己一贯风格的诗句：“自作新词韵最娇，小红低唱我吹箫，曲终过尽松陵路，回首烟波十四桥。”作为第二个红颜知己的小红与姜一唱一和，使姜沉浸在幸福和快活之中。
然而，在他心中永远忘不了的仍然是合肥柳氏姐妹，咏梅《疏影》、《暗香》永远是柳氏姐妹的影子，和小红在一起只不过是对失恋之苦的慰聊。从此之后，小红再也没有出现在他的词中，他的真正的爱情永驻在“暗香疏影赤栏桥”。
1204年，姜夔49岁，一场大火烧了他的房子，当时他的儿女不知去向，很有可能被烧死，包括1197年当年元旦曾经骑在姜夔颈上前去观灯的小女儿。1221年姜夔因病逝世，在场的遗属“孺人、侍妾相持泣”、“儿年17未更事”，可见送葬的有夫人萧氏和17岁的儿子，还有侍妾阿鬓。
靠年轻的词友吴潜等人的资助，姜夔葬于杭州钱唐门外西马塍。范成大当年赠与姜的小红早已嫁人，据当时前去哭灵的苏泂记载，“赖是小红渠已嫁，不然啼碎马塍花。”没有提到柳氏姐妹。
