Grad Olimje je simetrično zasnovana renesančna stavba s štirimi trakti in poudarjenimi okroglimi stolpi. V gradu je kasneje našel zavetje red pavlincev, zato so stavbi prizidali še
enoladijsko cerkev Marijinega vnebovzetja in kapelo sv. Frančiška. Menihi so spodnje prostore zahodnega grajskega stolpa preuredili v lekarno, ki je bila med prvimi v tem delu Evrope. Pavlinska lekarna, ki je na ogled še danes, je poslikana s prizori, ki so povezani z zdravilstvom. Od leta 1990 v samostanu prebivajo patri minoriti. Poleg cerkve in lekarne si je v prostorih gradu mogoče ogledati še stalno razstavo o škofu A. M. Slomšku in dobiti zdravilne pripravke iz stare lekarne.
