刘义隆有十九个儿子，人说多子多福，看看晋武帝司马炎和宋文帝刘义隆，噢，还有清朝的那个康熙皇帝，这种说法不尽然。元嘉三十年，刘义隆众多的儿子中长大成人，比较出色的有六个：太子刘劭、二子始兴王刘浚、三子武陵王刘骏、四子南平王刘铄、六子竟陵王刘诞和七子建平王刘宏。刘劭是袁皇后所生，正宗嫡子。除他之外，刘义隆最为宠爱的皇子还有南平王刘铄和建平王刘宏，捎带上始兴王刘浚，刘浚得宠是因为母亲得宠。
刘义隆并非好色之徒，但对于刘浚的母亲潘淑妃格外宠爱，到了痴迷的地步，以至于袁皇后嫉妒而死。潘淑妃出身寒微，不见经传，以容貌选入宫中。入宫之初，始终未见皇帝一面。皇帝在宫中行走多用羊车，潘淑妃使了一招晋武帝妃子们常用的伎俩，在殿门口用咸水洒地，将大殿的帷幕撩起，自己装扮得鲜艳妩媚，袅娜风流。羊车经过潘淑妃的住处不肯再走，舔食地下的咸水。刘义隆一眼瞧见帷幕中的美人，不由自主动了情。欲望一生，自然免不了翻云覆雨。久而久之，潘淑妃牢牢抓住刘义隆的心，以至于每次完事之后，刘义隆自我解嘲地叹息道：“羊且为你徘徊，何况人啊！”
潘淑妃由此爱宠后宫，她想要什么，刘义隆给什么。起初，袁皇后不相信。袁齐妫出身高门，与刘义隆结发夫妻。藩邸之时两人相敬如宾，刘义隆一直待她恩礼有加，婚姻生活平淡却和睦，她认为这就是爱情。直到一件事的发生改变她对爱情的看法，并摧毁了她的生命。
袁皇后家境不富裕，可能有人不太相信，高门望族怎么会家贫？这种事在南朝很正常，有的高门望族渡江后败落，再者同一族分支庶，不善于经营的大族也会破产。东晋和南朝社会动荡不安，反而使一些庶族地主、战功起家的将领、商人们腰缠万贯。高门士族自视甚高，即使再贫困，不屑与庶族通婚、交友。
袁皇后经常向刘义隆求一些钱财接济娘家，刘义隆为人节俭，每一次给她不过三五万钱、三五十匹布，再多要一点，从来不给。后来有人对袁皇后说，潘淑妃厉害，她要多少，陛下给多少。袁皇后根本不相信，别人又说得信誓旦旦。袁皇后让潘淑妃替自己向刘义隆要三十万钱接济家里，看看皇帝怎么办？她万万没想到，不到一宿的功夫，三十万钱拨下来了。袁皇后信念一下子崩溃，这个男人爱自己吗？标准不一啊！
对一个男人来说，她和潘淑妃是两种不同性格的女人。袁皇后端庄贤淑、知书明理，是男人的贤内助，母仪天下，受人尊敬的第一夫人角色。她知道丈夫提倡节俭，不肯给男人添难为，必然受委屈。潘淑妃是那种擅风情，懂乐趣，能够带给男人激情的女人。她不管你男人在大众面前如何如何，一定要满足自己，也有办法让男人满足自己。男人通常离不开这两种女人，向往“家中红旗不倒，外头彩旗飘飘”的神仙日子。可惜爱情是独享的，尤其对于女人来说。
由爱生恨，袁皇后从此称病不见刘义隆。每当刘义隆进入她的寝宫，她准跑别人屋里去。刘义隆很纳闷，皇后怎么了？既使悄悄地搞突然袭击，也见不着她的面。除了太子，其它的皇子，譬如刘浚等人一概不见。人啊，太多的病是从心头得来。袁皇后愤恚成疾，元嘉十七年，病得不行了，容颜憔悴。刘义隆想到二人昔日情义，握着她的手泪流满面，“你有什么要求，尽管提！”袁皇后凝视刘义隆良久，一言不发，徐徐拉过锦被遮住面宠，去世了，时年36岁。袁皇后至死没有原谅刘义隆。
刘义隆对袁皇后之死哀伤痛惜，下诏令当时的大文学家颜延之做哀策，文辞华丽，哀婉感人：“兰殿长阴，椒涂弛卫。霜夜流唱，晓月升魄。噭噭储嗣，哀哀列辟。洒零玉墀，雨泗丹掖，呜呼哀哉！┄┄”
刘义隆提笔加上了一句：“抚存悼亡，感今怀昔。”足见他与袁皇后的感情是真挚的。袁皇后的死激起太子刘劭对刘义隆和潘淑妃的不满，在皇子们心中宁静的湖面上投落一颗大石。
“抚存悼亡”。刘义隆对袁齐妫的愧疚转化为对她儿子的痛爱。袁皇后去世的十年里，刘义隆一如既往地关心爱护刘劭，太子地位不断得到巩固。尤其在除掉相王刘义康之后，刘义隆害怕宗室强盛，犯上作乱，特意增加东宫兵，编制几乎和羽林军相同，拥有甲兵一万多人。
刘劭长大成人，对主持后宫的潘淑妃极其厌恶。若没有这个狐媚，母亲会死得那么早吗？潘淑妃的儿子始兴王刘浚敏锐地感觉到自己成为太子的眼中钉。刘浚不是有大志的人，第一反应是害怕。太子刘劭将来会继承皇位，收拾他那不是小菜一碟！刘浚做出的对策是曲意迎逢，拼命巴结太子。刘劭转怒为喜，刘浚是二弟，母亲主持后宫，名义上的皇后。他不来争位，多一个同党，少一个竞争对手，如何不喜？两人关系急剧升温，亲密程度超过其它兄弟。
刘浚没有野心，不代表其他皇子不敢和太子争。南平王刘铄和建平王刘宏流露出夺嫡的心思。刘铄是刘义隆第四子，按照刘宋皇朝皇子出镇地方的惯例，刘铄出镇豫州。元嘉二十六年，指挥了汝南悬瓠城攻防战。二十七年，宋军二次北伐，年仅20岁的刘铄担豫州军指挥官。北伐军败退，刘铄固守寿阳，与彭城的武陵王刘骏时刻威胁着采用蛙跳战术深入到长江北岸的鲜卑百万大军。战后领兵戍卫石头城。
刘宏，刘义隆第七子，早年丧母，少而闲素，笃好文籍，深得刘义隆宠爱。刘义隆为他置的鸡笼山别墅，环境优雅，尽山水之美，远超诸皇子。刘宏任职中书令，大体相当于现在的书记处书记。
两人在朝廷中都有靠山，刘铄的妃子是江湛的妹妹，刘宏的妃子是徐湛之的女儿。除这两拨人之外，朝廷中还有另外一般势力，录尚书事（总理）刘义恭。
刘义恭是个草包王爷，担任过北伐军总指挥。鲜卑骑兵大举反攻，若非武陵王刘骏和部下将领坚决反对，他早放弃彭城重镇逃过江去。正是刘骏守住彭城，使拓跋焘有后顾之忧不敢渡江。魏军在盱眙遭受阻击，狼狈撤军之时，刘义恭拒绝诸将建议，不肯出城攻击，坐失大好战机，受到朝廷降级处分。
刘义隆对这位绣花枕头草包王爷仍旧格外器重。刘义恭性子奢侈，用度很大，与刘义隆节俭本性格格不入。但是刘义恭会来事，吸取四哥刘义康教训，虽为宰相，总录朝政，从来不自个拿主意，皇帝三哥说什么，他干什么，扮演着秘书角色。
生性狡黠、刚猛严断的刘劭看不惯唯知拍马屁的刘义恭等人。在一些国家大政方针和生活作风问题上与外柔内刚的父皇产生磨擦，多次被训斥。刘劭感觉到时间拖得越久，太子位置难以确保。刘义隆身体单薄，成日病不殃殃，说也奇怪，大病好多次就是不死，越老身子骨越硬朗。兄弟们一天天长大，愈来愈微妙的朝局让刘劭大为担忧。恰在此时，一个神秘的女巫出现了。
