Sodobna zgodovina, ki izhaja iz najdenih virov, postavlja njegov začetek približno v 12. ali 13. stoletje, saj je prvi znani pisni vir šele iz leta 1255, ko je ogrski kralj Bela IV. izstavil Frideriku Ptujskemu fevdno pismo za gradove Središče, stolp Tra in Anchenstein (Borl).
Anchensteini so bili prvi znani lastniki, ki so živeli na Borlu in so nosili njegov grb. Izumrli so leta 1323. Posest so podedovali gospodje Ptujski, ki so prav tako kmalu izumrli (leta 1438)....
Znano je, da je bil grad Borl v času srednjega veka in tudi kasneje na pomembnem križišču, kjer je v časovnem toku potekalo mnogo različnih mej. Grad je imel pomembno strateško vlogo zaradi naravne lege, ki mu jo daje skalni pomol, na katerem je sezidan, reka Drava, kjer se je odvijal raznovrsten promet in kjer je bilo potrebno vršiti nadzor nad prometom in nad prehodom preko reke.
Pomembnost njegove lege pa je pomenila tudi večji nemir in boje za prevlado.
Do leta 1620 je bil grad v lasti Herbersteinov in do leta 1639 Thurnov. V tem času so ga najbrž prilagodili sodobnim bivalnim razmeram in zgradili arkadne hodnike.
Leta 1901 je prešlo lastništvo na Adelberto von Kuebeck, roj. Wurmbrand, ki je borlsko posestvo leta 1922 za 4.219.750 kron prodala delničarski družbi za vinogradništvo in pivovarstvo Borlin. Do druge svetovne vojne je bila lastnica Zora Weiss. Aprila 1941 pa so Nemci tam ustanovili zbirno taborišče, od koder so do marca 1943 pošiljali ljudi v izgnanstvo. Grad je bil po vojni podržavljen in ostal do leta 1948 nenaseljen. Potem so ga preuredili v begunsko taborišče, ki pa zaradi neustreznih razmer na gradu ni obstalo dolgo. Leta 1952 so ga obnovili in v njem se je pričela gostinska dejavnost, ki je leta 1972 z večjo preureditvijo prerasla v bolj sodoben hotel. Prenovitvena dela so bila večkrat zelo neustrezno izvedena in sredstev za celovito prenovo ni bilo nikoli dovolj, zato je grad počasi propadal. Leta 1981 je odneslo most preko Drave in takrat so hotel enostavno zaprli.
Danes nekoč mogočni in pomemben grad sameva in propada ter čaka rešitelja v obliki novega lastnika, kajti država kot njegov lastnik ne najde denarja za njegovo rešitev. Zaradi nevarnosti je zaprt za obiskovalce, možno pa si je ogledati njegovo zunanjost, ter okolico, katero vzdržujejo prostovoljci iz društva za rešitev gradu Borl. Je zlahka dostopen z avtomobilom, kolesom ali peš. Grad je lahko ena izmed večih postaj, če se odločite narediti pohod ali kolesarsko turo po tem čudovitem delu Haloz, kjer ob naravnih lepotah pozabite na napore pri premagovanju hribovite okolice.