杨廷和在武宗驾崩、世宗未至时，曾总揽朝政共三十七日，他裁撤许多冒滥军功的官员。

至杨慎被贬后，被裁撤的挟怨者招募了一些亡命之徒在路上埋伏，要伺机杀害杨慎。

杨慎知道后，一路小心防备，到临清县时这些人才散去。

他扶病上路，骑马走了近万里，非常疲惫，等抵达永昌卫时，险些无法病愈。

杨慎在放逐滇南漫长的三十多年流放生活中，并未因环境恶劣而消极颓废。

他不仅寄情山水，而且悉心着述，为白族修史。

每到一处，往往借咏边塞奇花异草，抒发政治热情。

他在《南枝曲》中，以生在“穷山绝域”而“绝世独立”、自放清香的老梅自喻。

在《山茶花》中，盛赞山茶花不畏严寒，“绿叶红英斗雪开”的傲然风骨。

在咏物之中，寄寓着自己正直的人格和理想。

杨慎在放逐期间，仍然关心人民疾苦，不忘国事。

如当他发现昆明一带豪绅以修治海口为名，勾结地方官吏强占民田，化公为私，敛财肥己，坑害百姓时，不仅正义凛然地写了《海门行》《后海门行》等诗痛加抨击，还专门写信给云南巡抚赵剑门，力言此役是两三个投闲置散的武官想要谋取利益而倡导的，请求制止如此劳民伤财的所谓水利工程。

嘉靖五年杨慎又返回永昌。

听说寻甸的安铨、武定的凤朝文作乱，便率领家僮和步兵一百多人，快速赶到木密所，与副使张峩用计平凤朝文起事。

嘉靖八年，杨廷和在新都去世，享年七十一岁。

杨慎请求巡抚欧阳重替他请命回乡葬父，获准后赶回新都治丧。

此后，或暂回四川，或在云南省城，或停留于永昌，在各地均得到地方官员善待。

嘉靖十七年十一月，礼科给事中顾存仁上疏，请求赦免杨慎等因议礼被贬谪戍边的大臣。

世宗厌恶他，下令将他廷杖六十下，并贬其为庶民。

冬天，杨慎与安磐、余承勋、杨仲琼游峨眉、嘉州、洪雅、夹江诸处，杨慎有《归云阁》等诗记录，又在峨眉山撰书《峨眉山寺联》、在洪雅瓦屋山题书“与造物游”四个大字。

世宗因大礼议的缘故，对杨廷和、杨慎父子极其愤恨，常常问及杨慎近况，大臣则回答杨慎“老病”，世宗才稍觉宽慰。

杨慎听闻此事，更加放浪形骸。

常纵酒自娱，游历名胜。

整个世宗朝一共有六次大赦，杨慎最终还是没能回到家乡，按明律年满六十岁可以赎身返家，但无人敢受理。

嘉靖三十二年，杨慎在黔国公沐朝弼的帮助下，举家迁往四川，寄寓江阳。

但因被人检举揭发，杨慎又于嘉靖三十七年十月被巡抚派四名指挥押回永昌。

嘉靖三十八年七月六日，杨慎在昆明病逝，时年七十二岁。

临终时，他还以“临利不敢先人，见义不敢后身”勉励后人。

杨慎去世后，沐朝弼等人前往吊祭，当时巡抚云南的右副都御史游居敬命人为其殡殓入棺，还葬故乡新都。

嘉靖四十年冬，杨慎附葬于杨廷和墓旁。

隆庆元年，明穆宗追赠杨慎为光禄寺少卿。

明熹宗天启年间，杨慎被追谥文宪。