汉武帝留下遗诏，要霍光、金日、上官桀三人辅佐幼帝。霍光是霍去病的异母弟，金日是匈奴出身的谨直人物，上官桀是廷卫军官，孔武有力。上官桀的儿子和霍光的女儿结婚，他们俩所生的女儿，嫁给即位为汉昭帝的弗陵当皇后，叫上官皇后，并未生子。昭帝费陵在二十一岁便去世，共在位13年，这段时期可以说是大司马大将军霍光确立独裁的时期。金日死得比较早，所以霍光和上官桀的对立也就逐渐表面化。
燕王刘旦是昭帝的异母兄，自己年逾40未能坐上皇帝宝座，却让年仅八岁的弟弟弗陵抢去，心有未甘。上官桀为了对付霍光，联络燕王刘旦起兵政变，结果失败被杀。从此，霍光的独裁政权便建立起来。
昭帝弗陵无子，而武帝的儿子也只剩广陵王刘胥一人，但他是政变被杀的燕王旦的胞兄，霍光当然不允许他来继位，便挑选比武帝先死的昌邑王刘髆的儿子刘贺来继承昭帝亡后的帝位。刘贺被召进长安，主持昭帝的丧仪。
刘贺这个人，据《资治通鉴·汉纪》记载：“性素纵，动作无节，武帝之丧，游猎不止。”因其淫戏无度，大将军霍光忧懑不已，问计于大司农田延年，田说：“伊尹相殷，废太甲以安宗庙，后世称其忠。将军若能行此，亦汉之伊尹也。”霍光便与张安世商议后，一同见皇太后，召刘贺到未央宫承明殿听诏，夺其玉玺。刘贺即位才27天，就被废位送到汤沐邑为山阳郡侯，是历代在位时间最短的皇帝。
不折不扣的老百姓皇帝
刘贺既被皇太后废立，皇太子刘据的孙子、武帝的曾孙刘病已便被召入宫即位，为汉宣帝。宣帝尊皇太后为太皇太后，时年十八岁，这一年是元平元年（前74）。即位之前，刘病已虽因祖父皇太子刘据案已平反，在宗正那里也登记为皇族，实际上却是不折不扣的老百姓。
原来病已出狱后，便被收养在祖母（皇太子妃史良娣）的娘家。廷尉监丙吉既心知太子政变无事实，又哀怜皇曾孙无辜，便选择一位谨厚的保姆，送到长安的尚冠里，去乳养病已。这个廷尉监早先也曾救了病已一命：病已仍在狱中时，望气者说长安狱中有天子气。武帝就派人到牢狱，要将系狱的囚犯，不分轻重，一律杀死。但丙吉不接纳，说：“他人无辜死者犹不可，何况亲曾孙乎！”禁止使者进入，病已因而得救。
有一位暴室啬夫（属掖庭令，主宫中妇人疾病者）名叫许广汉，他把女儿嫁给病已，并请来东海澓中翁给病已讲授《诗经》、《论语》、《孝经》。病已高材好学，学习得很快，但也喜欢游侠、斗鸡、走马，走遍了上下诸陵和三辅等地方。所以，从小就知道闾里奸邪、吏治得失。
病已年届十八岁，已生一子。丙吉就奏请霍光说：“今社稷、宗庙、群生之命，在将军之一举。而武帝曾孙病已在外家，今十八九矣，通经术，有美材，行安而节和，愿将军决定大策。”
霍光心想：这个武帝的曾孙，依倚在祖母的娘家史氏、母亲的娘家王氏和妻子的娘家许氏，这三个外家都是没落的士人，让病已即位不会影响他掌权，便奏请皇太后，迎病已入未央宫，稽首归政。