Klášterní zahrady leží u bývalého piaristického kláštera, mezi dvěma litomyšlskými chrámy. Nedaleko zámku, na vyvýšenině nad městem. Při nedávné rekonstrukci byly upraveny do podoby reprezentativní městské zahrady.
Prostor dnešních Klášterních zahrad patří historicky k proboštskému chrámu Povýšení sv. Kříže, piaristickému klášteru s kostelem Nalezení sv. Kříže a k Augustově tiskárně. Klášterní zahrada sloužila vždy jako užitková a okrasná. V době před vystavěním barokního piaristického chrámu měla renesanční úpravu. Pozdější úpravy byly barokní, i tehdy tu byla zelinářská i ovocná zahrada, v části byla štěpnice. V části zahrad u proboštského kostela se nacházel jak katolický, tak protestantský hřbitov. Dnes jsou zahrady uzavřeny starými i nově postavenými opukovými zdmi, které částečně probíhají v místě původního městského opevnění. Ještě ve 30. letech 20. století byly zahrady používány a udržovány. Po odchodu piaristů z Litomyšle v roce 1948 zcela zpustly a nebyly od té doby používané ani přístupné.
V květnu 1999 byla zahájena rekonstrukce, která trvala déle než rok. Po jejím dokončení byly Klášterní zahrady slavnostně otevřeny 2. září 2000 v rámci oslav Dnů evropského dědictví netradičním svatebním ceremoniálem za přítomnosti několika desítek starostů historických měst a téměř tří tisíc dalších návštěvníků a hostů.
Areál zahrad má rozlohu přes jeden hektar. Návštěvník tu najde altán s výhledem na město, "šachovnici" s trvalkami i květinové záhony. Plochy trávníků jsou určeny k volnému pohybu i odpočinku. V centru zahrad se nachází bazén s mlhovištěm a sousoší, které městu daroval sochař Olbram Zoubek. Součástí zahrad je také sociální zařízení, v budově bývalé kočárovny je prostor, kde se budou moci návštěvníci občerstvit a posedět v příjemně upraveném suterénu. Nezbytností je celoplošné automatické zavlažování a osvětlení celého prostoru (několik variant - úsporné celonoční, večerní a slavnostní osvětlení).
Klášterní zahrady jsou přístupné od dubna do října od 8,00 do 22,00 hodin, od listopadu do března od 8,00 do 19,00 hodin.
Keš je uložena mimo areál a je odlovitelná kdykoliv. Při odlovu buďte nenápadní, pohybuje se zde hodně lidí, hlavně dětí z nedaleké základní školy.