不過，劉賀確實(shí)不怎么讓人省心。據(jù)說，他在進(jìn)京的路上，就做出了一系列奇奇怪怪、令人難以理解的舉動：到濟(jì)陽，就尋求鳴叫聲很長的雞；經(jīng)過弘農(nóng)，又讓一名身材高大的仆人搶來路邊美貌女子，把她們放進(jìn)裝載衣物的車輛中。

圖為西漢?；韬顒①R墓出土的五銖錢。劉占昆 攝

　　按理說，劉賀繼承了劉弗陵的皇位，又值大喪期間，起碼表面上應(yīng)該有哀痛之色。但在前往京城登基的途中，龔遂告訴他奔喪望見國都就要哭，“這已是長安的東郭門。”劉賀卻借口喉嚨痛，表示不能哭。

　　看見他如此不著調(diào)，霍光留了個心眼，在形式上沒有“告廟”，即沒到漢高祖劉邦的廟前宣告劉賀正式登基。這本是必須有的程序，但劉賀一直到被廢都沒有履行過。

　　元平元年六月，劉賀繼承帝位，尊上官氏為皇太后。他也并沒有把自己當(dāng)一個傀儡皇帝，而是真的發(fā)號施令起來。

　　在27天的時間里，劉賀的使者往來不斷，下命令給各官署征調(diào)并索取物資，共一千一百二十次。文學(xué)光祿大夫夏侯勝、侍中傅嘉等多次規(guī)勸無果，劉賀倒派人按簿冊責(zé)問夏侯勝，又把傅嘉捆起來關(guān)進(jìn)監(jiān)獄。

　　史料記載，霍光擔(dān)心劉賀的所作所為會危及朝政，于是和群臣商議，稟告上官氏，最終以皇太后的名義宣布廢掉劉賀，歷數(shù)其做過的1127件荒唐事，將劉賀逐出未央宮。

　　“劉賀確實(shí)有時處事不合規(guī)矩，但從他發(fā)布的詔令來看，并沒有特別的荒唐。”辛德勇認(rèn)為，導(dǎo)致劉賀被廢的原因主要是他想真的當(dāng)皇帝、處理政務(wù)，但卻沒有看清時局，威脅到霍光的權(quán)力。

　　就這樣，劉賀又回到了不久前他發(fā)跡的地方——昌邑國，慢慢地待遇也不如從前。被趕回來后，他的日子過得很不如意。漢宣帝曾十分忌憚劉賀的存在，特意派張敞看著他的行為舉止。

　　那時的劉賀，住在從前的宮殿里，臉色很黑，雖然身材高大，但卻得了風(fēng)濕病，行走不太方便。張敞曾去觀察劉賀的情況，幾番交談后認(rèn)為他還是處事稀里糊涂的一個人，天性喜好敗亂傷亡，看不到一點(diǎn)仁義。

　　元康三年(前63年)三月，漢宣帝下詔封劉賀為?；韬?，食邑四千戶。就此，劉賀前往封國豫章。