张伯驹出生于1898年，他是民国四公子之一，张家在清朝是豪门，他的伯伯是封疆大吏，而袁世凯是他的表叔。
作为豪门贵公子，张伯驹的第一次婚姻肯定是包办婚姻，他的结发妻子李月娥是官宦人家的千金。李月娥相貌不漂亮，张伯驹不喜欢她，从婚后就一直冷落她，据说连同房都没有。
家里的妻子令张伯驹不满意，张伯驹就在外面寻找爱情。他爱上了一个美貌如花的大鼓艺人邓韵绮，就纳邓韵琦为妾。
张伯驹和邓韵琪十分恩爱，可是邓韵琪却生不出孩子，所以张伯驹的父母十分着急，就帮他纳了一个漂亮小妾王韵缃。
王韵缃虽然是穷人家的姑娘，和张伯驹又没有自由恋爱，但是她容貌长得十分俊俏，张伯驹是相貌控，就喜欢上了王韵缃，愿意跟王韵缃同房。没过多长时间，王韵缃就怀孕了，生了一个白胖儿子。
大户人家往往妻妾不和，但是小妾王韵缃和张伯驹的结发妻子李月娥相处融洽，李月娥很喜欢小妾王韵缃生的儿子。
可惜李月娥一直想不开，因丈夫冷落她而郁郁不欢，所以她在很年轻的时候就病故了。
李月娥病故后，张伯驹爱上了青楼女子潘素。潘素是苏州人，出生于书香门第，家道小康，她从小熟读诗书，她母亲看到她天生丽质，就决定对她大加栽培，聘请名师教她学习琴棋书画。
聪明伶俐的潘素擅长画画，弹琵琶更是一绝。但是后来潘素家道中落，母亲病故，父亲再婚，继母对潘素非常不好。后来坏心眼的继母把潘素卖到了上海的青楼，幸亏是只是卖艺不卖身的清倌人。
潘素美貌出众，才艺双绝，简直是国色天香的大美人，所以她声名大振，成为青楼的头牌，人送外号“潘妃”。潘素门前若市，王孙公子争相一睹潘妃的风采。
张伯驹跟朋友到青楼寻欢作乐，遇到了潘素，他对潘素一见倾心，拜倒在潘素的石榴裙下，还写了首诗赞美她：“潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶”。
这时潘素芳龄20，青春貌美，而张伯驹37岁，相貌堂堂。张伯驹和潘素身份悬殊，可是张伯驹真心地爱上潘素，不顾亲友的反对，娶潘素为妻。
婚后，潘素和张伯驹十分恩爱，夫唱妇随。潘素不但美貌如花，而且和张伯驹志同道合，一起研究书画，十分对脾气。后来在1949年后，他干脆和两房小妾离婚，和潘素一夫一妻过日子。
虽然一生结过四次婚，可是张伯驹一生只爱过一个女人，就是外号“潘妃”的潘素，结发妻子一生没有得到过他的半点爱情，而他对两房小妾只是贪图美貌，并非爱过她们。
