V 1. polovině 14. století byl v severovýchodním koutu jádra vybudován věžovitý druhý palác a kolem jádra vznikla vnější hradba, vymezující vnitřní (třetí) předhradí. V 1. čtvrtině 15. století za
Viléma (I.) z Pernštejna začala výstavba „pláště“, tedy budov obklopujících hradbu a budovy jádra z vnější strany. Vnější hradba v severozápadním cípu, kudy vedl jediný přístup do vnitřního hradu, byla zesílena hranolovou „věží čtyř ročních období” s hladomornou a zbrojnicí a severovýchodní cíp dispozice zajistila „hodinová věž“ s břitem. Vnitřní hrad i nové severozápadní předpolí – střední (druhé) předhradí – obklopil obezděný příkop. Vstup na toto předhradí zajistila třetí brána a mohutný barbakán. Na plochém sedle v předpolí hradu pak vzniklo vnější (první) předhradí.
Za husitských válek a v době vlády Jiřího z Poděbrad byl Pernštejn oporou husitství. Před rokem 1460 byl postižen velkým požárem, pak (v určité míře i předtím) probíhala rozsáhlá pozdně gotická stavební činnost Jana (I.) z Pernštejna. Před rokem 1470 byly postaveny čtvrtá brána (při věži čtyř ročních období) a věž v jižním cípu hradní ostrožny. Kolem poloviny 15. století byla obestavěna severní strana jádra vnitřního hradu a zčásti i západní strany, často s užitím arkýřů. Výstavba probíhala i v nádvoří jádra (jižně od válcové věže). Východně vně jádra, nad průjezdem Černé brány, byl postaven nový palác. Koncem 15. století byla zvýšena věž čtyř ročních období a vybavena arkýři, které se staly charakteristických prvkem celé pozdně gotické etapy vývoje hradu. Ve 2. polovině 15. století dále vyrostlo na prvním předhradí předsunuté opevnění. Intenzivní stavební činnost pokračovala až do poloviny 16. století, kdy se stavělo také na nádvoří kolem hradního jádra i ve vlastním jádru. Od druhého desetiletí 16. století do roku 1522 byl v patře starého paláce zřízen Rytířský sál, přístupný mohutným Přijímacím sálem, a v přízemí vstupní hala, kterou pernštejnští stavitelé zaklenuli pozoruhodnou sklípkovou klenbou. V polovině 16. století bylo budováno čtvrté patro vnitřního hradu, které však již nebylo dokončeno. Tím vývoj hradu v podstatě skončil, jeho podoba je tedy převážně pozdně gotická.
Za posledních Pernštejnů již na další stavební činnost chyběly prostředky a roku 1596 Jan z Pernštejna hrad prodal. Řada prostor si zachovala gotickou, pozdně gotickou či renesanční podobu. Stěny některých místností byly v polovině 16. století pokryty nápisy a rudkovými kresbami s citáty z bible či antické literatury, různými záznamy nebo žertovnými a neslušnými poznámkami v češtině, němčině i latině. Později již byly prováděny jen dílčí úpravy, například po neúspěšném švédském obléhání z roku 1645. Tehdy snad vznikl i bastion pod jižní válcovou věží. Roku 1655 byl Pernštejn prohlášen moravskou zemskou pevností. Na počátku 18. století vytvořil Giacomo Corbellini štukovou dekoraci staré křížové klenby Rytířského sálu, do níž jsou vsazena plátna s motivy krajin, vedutami a portréty. V téže době vznikla nová kaple, kterou vymaloval František Řehoř Eckstein výjevy ze života proroka Eliáše. Rokoková výzdoba s ornamenty, vedutami a galantními scénami doplnila ve 2. polovině
18. století interiér renesanční ložnice s dochovanými původními kachlovými kamny. Od Stockhammerů získali v roce 1798 hrad Schröfflové z Mannsbergu, kteří dali na počátku 19. století snést některé ochozy a vybudovali nové střechy, které nahradily dosavadní strmé krovy s ochozy. Část majetku pak přešla jako majetkový podíl Josefiny Schröfflové na Mitrovské roku 1818 při sňatku s Vilémem Mitrovským, který zbývající podíl dokoupil až v roce 1828. V 19. století byla gotická Síň spiklenců ve druhém patře hranolové věže vyzdobena erby a romantickým nábytkem. Romanticky byly upraveny i některé pokoje. Mitrovští vytvořili na hradě bohatou knihovnu, do které zakoupili fondy ze zrušených klášterů, a sbírku rytin a kreseb. Po požáru z roku
1886 byla upravena věž čtyř ročních období. Roku 1888 publikoval August Prokop projekt romantické přestavby hradu, který se naštěstí neuskutečnil. V roce 2005 vyhořela sýpka (depozitář) na třetím nádvoří, která byla do roku 2009 rekonstruována. Pernštejn postavený s použitím bílého nedvědického mramoru patří mezi nejlépe dochované hrady v České republice. Na jižním svahu hradní ostrožny byla za Stockhammerů v 18. století budována terasová zahrada. Po východní straně ji lemuje krajinářský park, který na přelomu 18. a 19. století založili Schröfflové z Mannsbergu, kteří přebudovali i dosavadní zahradu. V parku se zachovaly obelisk Ignaze Schröffla a kenotaf Franze Schröffla z roku 1807. Dole navazuje rovinná část, založená již před rokem 1720 ve francouzském stylu a navazující na terasovou osu. Dochovaly se zde bazén a čínský pavilon, původní parter však nahradila štěpnice.