1955年初，臺美共同防御條約簽定后，3月8日，蔣介石立即派人到當(dāng)時尚在臺北南昌街陸軍總司令孫立人官邸，要求他搬出官邸移往臺北近郊新店——一個既偏僻又易監(jiān)視的地方，從此孫立人失去了自由。
那個房子孫立人要自付租金，山中濕氣又重，孫立人便呈報說，既然是軟禁，可不可以住到自己原在臺中買的房子。情治單位研究之后，覺得臺中的孫宅也很獨立，適合監(jiān)視與隔絕，便同意孫立人一家都搬到臺中去住。彼時孫立人不僅失去軍職，也失去了國家賦予軍人一切應(yīng)有的待遇。失去千軍萬馬的指揮權(quán)后，孫立人這位抗日英雄面對的是普通人的現(xiàn)實困境。一開始，他連軍人的基本待遇都失去了。沒有錢，沒有軍人退休的奉給。他的地位很尷尬，被軟禁的他，沒有退伍交接，沒有光榮儀式，連退伍軍人都不算，一夕之間從陸軍總司令成了國家的囚徒。他是因為美國試圖扶植第三勢力，將他當(dāng)作對象，此種威脅使蔣介石對他產(chǎn)生了猜忌，為杜絕后患最后把他拉下馬，永遠(yuǎn)軟禁起來。他就像是張學(xué)良、像是李彌一樣，成了蔣介石“政權(quán)維穩(wěn)”下的囚徒。
孫夫人一開始還變賣手飾維持家用，幾年后實在沒有錢了，連吃飯都有問題，軟禁中的孫立人請老秘書寫信給蔣介石，希望撥補(bǔ)一些費用給他生活。蔣總統(tǒng)也很絕，硬是不以退伍軍人的待遇給孫立人，而是以總統(tǒng)的“特支費”，像是恩施一樣給孫立人一家作為生活之用。為了讓妻兒能生活寬裕，孫立人像張學(xué)良、陳立夫的晚年一樣開始自已種菜養(yǎng)雞營生。作為養(yǎng)雞農(nóng)，孫立人努力研讀許多畜牧業(yè)的專業(yè)資料，但孫立人不能到市場上了解行情，行動往往比市場慢了一步，最后賠了老本。后來孫立人還養(yǎng)鳥（金絲鵲）、種玫瑰，培植蘭花，最后種果樹，成了一名果農(nóng)。半生戎馬的孫立人以為這樣可以自謀生活，貼補(bǔ)家用。
1960年代，臺灣青果及香蕉大王陳查某買下了孫立人在陽明山的一塊地，孫立人請人辦妥這件事后，拿了錢在臺中近郊一個叫大坑的地方買了一塊地當(dāng)果園種果樹。
