張伯駒后半生頗為坎坷。新中國成立后，他歷任燕京大學國文系中國藝術史名譽導師、北京書法研究社副主席、第一屆北京市政協委員和國有文物局鑒定委員會委員等職。
1956年，張伯駒將其30年所收藏的珍品，包括陸機的《平復貼》、杜牧的《張好好詩》、范仲淹的《道服贊》以及黃庭堅《草書》等8幅書法孤品，無償捐給國家。這8件作品件件都是宋元以前的書畫，至今仍是故宮博物院最頂尖的國寶。
《平復帖》是西晉大文人陸機手書真跡，距今已有1700年，比王羲之的手跡還早七八十年，是中國已見最古老的紙本法書，又是漢隸到草書間過渡階段的佳作，被收藏界尊為“中華第一帖”。
讓張伯駒想不到的是，第二年他卻被打成右派。張柱堂說，這與康生有關。
當時，在中央主抓意識形態的康生也是一個書畫愛好者。一天，康生造訪張家，說自己也愛好收藏，提出想看看張伯駒的藏品，開開眼界。張伯駒拿出12幅藏品，康生看后贊不絕口�？瞪杩谄淦抟蚕矚g古字畫，問能否拿回去借看3天。張伯駒同意，但是直到半年后，康生也沒有歸還。
后來，陳毅約張伯駒下棋時知道了此事，便在向周總理匯報工作之余談及此事。周總理讓鄧穎超去康家，向康生夫人婉轉談起此事。當晚，康生就派人將古字畫送回。
1957年，張伯駒被打成右派下放到吉林，任吉林省博物館副研究員、副館長。但文化大革命開始后，張伯駒又被打成“現行反革命”，關了8個月后又被勒令退職，發配吉林舒蘭插隊落戶。舒蘭縣不愿接收兩個沒有勞動能力的老人，張伯駒夫婦只好無奈地回了北京。
1972年陳毅逝世后，和陳毅交情頗深的張伯駒寫的90字挽聯引起了參加追悼會的毛主席的注意。在毛主席的過問下，經周總理親自辦理，張伯駒才正式落戶于北京，被中央文史館聘為館員。
