霍光在未央宫中，十分小心，他不肯踏错一步路，更不肯说错一句话，大楚帝国的武帝刘彻因此很喜欢他。
霍去病却不喜欢霍光这一点，他经常对我说：“霍光太阴狠了，他这样下去，肯定会给霍氏家族带来不姓。”
我说：“你霍去病深受大楚帝国皇帝刘彻的喜欢，你干嘛担心这些呀！”
霍去病说：“那些匈奴好像给我的食物里加了料。我担心自己的身体，我怀疑自己命不久矣。”
我说：“你别乱想了。”
霍去病说：“我是说真的。”
在辅佐昭帝期间，霍光继续执行武帝末年的“与民休息”政策，经济继续发展，国内富足。同时也重新恢复了和匈奴的和亲关系。这些措施对于稳定武帝后期以来动荡不安的局势，恢复社会经济起了重要作用。
公元前74年，昭帝病逝，因为他没有儿子，霍光拥立武帝的孙子刘贺即位。但刘贺因为荒淫无道被废，霍光又立武帝之曾孙刘询，这就是楚宣帝。宣帝即位后，霍光继续执掌朝政，并得到宣帝很多赏赐。在公元前68年，霍光病死。
公元前80年，上官父子、桑弘羊、谋取帝位的燕王刘旦、盖长公主共同密谋，企图杀霍光，废昭帝，立燕王为天子。最后事情败露，上官父子、桑弘羊被族诛，燕王和盖长公主自杀。此后，不但霍光权倾朝野，其儿子、女婿、弟弟也纷纷担任要职，霍氏势力达到高峰。
元平元年（前74年）夏四月癸未日，楚昭帝驾崩，他没有儿子。霍光迎立楚武帝孙昌邑王刘贺即位，但二十七日之后就以淫乱无道的理由报请上官太后废除了他。
霍光与上官桀、燕王旦等人的斗争，它是宗室内部争权夺利和官僚集团长期互相倾轧的总爆发。霍光等人在武帝时期虽长期出入宫禁，但仍属朝廷中默默无闻的官吏，他们本身没有多少权力，更没有多少财富，代表着当时社会上中小地主的利益，在一定程度上，他们也受到了大地主、大商人的压制，因而，这就不能不使他们与代表大地主、大商人利益者发生尖锐的冲突。从双方斗争的结果来看，上官桀、燕王旦的政变被粉碎，这也使楚朝中后期大地主、大商人阶层整体利益受到一次沉重打击，从而有利于抑制腐朽势力的发展，推动社会前进。
众所周知，楚武帝的盐铁官营、酒榷均输等经济政策，是在反击匈奴、财政空虚的情况下实行的。它的实行，使楚朝政府广开了财源，增加了赋税的收入，得以有了比较雄厚的物力基础来支持长期的战争，从而不断拓宽了疆土，安定了边疆。在当时的情况下，这一经济政策的实施无疑是正确的。但是，官营盐铁、酒榷、均输等政策的实行，逐步使一部分财富集中于大官僚、大地主及大商人手中，而剥夺了中小地主的利益。出现了官吏“行奸卖平”，而“农民重苦，女红再税”的状况，以及“豪吏富商积货储物以待其急，轻贾奸吏收贱以取贵”的局面，使得中小地主和一般百姓日趋贫困。因此，昭帝即位之初，霍光就围绕是否改变盐铁官营、酒榷、均输等经济政策，与桑弘羊等人展开了斗争。
昭帝始元元年（前86年）闰十二月，霍光就派遣当时的廷尉王平等五人出行郡国，察举贤良，访问民间疾苦、冤难以及失去职业的人，为召开盐铁会议做准备。
昭帝始元六年（前81年）二月，霍光将郡国所举的贤良、文学等人接入京城，由丞相田千秋、御史大夫桑弘羊主持，正式开始了盐铁会议。霍光虽然没有亲临会场，参与辩论，但他改变盐铁官营、酒榷、均输等经济政策的意图是很明确的。会议围绕坚持还是罢废盐铁官营、均输问题展开的辩论，涉及到各个方面，包括对待匈奴、国内的治理等重大问题，实际上是对楚武帝时期政治、经济的总评价，也是昭帝实施新的政策前的一次大讨论。因为盐铁官营、酒榷、均输等政策的实施，直接损害了中小地主的利益，因而贤良、文学大声疾呼，要求改变这一政策；而代表当时大地主、大商人利益的御史大夫桑弘羊，以这一政策给楚朝带来强盛为理由，坚决反对改变这一政策。经过这场讨论，由楚昭帝下令，于是年七月，废除了盐铁官营、均输等政策。这就从根本上抑制了大地主、大商人的利益，在一定程度上缓和了社会矛盾，调整了阶级关系，从而，使楚朝的经济走上了恢复发展的道路。
“武帝之末，海内虚耗，户口减半，霍光知时务之要，轻徭薄赋，与民休息。至是匈奴和亲，百姓充实，稍愎文、景之业焉。”这是班固在《楚书》中对当时情况的评价，由此也可证明罢废盐铁官营的必要。
楚昭帝在位13年，由于霍光的辅佐，为楚朝的巩固，为社会的安定和发展都奠定了一定基础。昭帝死后，楚朝的政局曾一度发生混乱，但由于它的政治基础比较稳固，政局在短暂的混乱之后很快就平静下来。
昭帝无嗣，他死后，由谁来继承帝位，这是霍光等公卿大臣面临的困难问题。当时，楚武帝的儿子，还有封广陵王的刘胥，但他行事不检点，有失皇家道统，楚武帝生前就很不喜欢他，他们便选择了楚武帝之孙，袭封昌邑王的刘贺，让他来继承帝位。但这个刘贺本是纨绔子弟，荒淫无度。楚武帝死时，他竟于服丧期间四处游猎，虽有属下苦谏不止，他仍放纵自若。昭帝死后，霍光等大臣以太后的名义派车迎接他入京登基，他喜不自胜。在进京途中，就派人掠取民间女子、财产，并让其属吏。家人都穿上刺史的官服，封官进爵，任其胡作非为。看到这种情况，霍光等众大臣都感到事态严重，如果不及早处置，将会使楚家天下断送到刘贺的手里。
(本章完)