Gia' dall'anno 1215, sopra di Škofja Loka, tra Selška e Poljanska Sora, c'e una fortificazione. Il castello primario, che era costruito dai conti Freising, era stato molto danneggiato dal terremoto del 1511. E' stato poi completamente ricostruito, hanno aggiunto la capella del castello e, successivamente, hanno costruito anche una nuova ala con la sala che e' satta connessa con il monastero attraverso edifici della scalinata. Il castello era la casa delle suore Orsoline e una volta li c'era una scuola femminile, oggi nel castello si trova il museo di Loka e museo postale. Le raccolte del museo di Loka presentano storia, arte, coltura, etnologia e eredita' naturali dell'area di Škofja Loka.
