A Balaton-felvidéken, a Bakony délnyugati részén, Sáska községtől nem messze, a mai Felső-Szarvasvölgyben fekszenek a Szent Jakab kolostor romjai.

Egyes feltételezések szerint a kolostort még a 13. század elején alapították. A tatárjárás során az épület romba dőlt, lakói elhagyták, majd 1250 körül a pálos remeték vették birtokukba. A források először 1263-ban említik a Szent Jakabról nevezett bakonyi remetetelepet.

A 13-14. század fordulója körül a Rátót (Rathold) nembeli Gyulaffy család a kolostort újjáépíttette, a pálos történetírás őket tekinti a rendház alapítóinak. Fennállása során számos adományban részesült.

1563 előtt elnéptelenedett, köveiből az 1800-as években erdei tanyák és vadászházak épültek a közelben. A kolostort 1861-ben Rómer Flóris kereste fel zalai útja során, majd 1888-ban Ádám Iván adott részletes leírást maradványairól. Akkoriban még látható volt a templomhajó és félköríves szentélyének romja, valamint a diadalív felett emelkedő tagozatlan szentélytorony.

A helyszínen bányászott bazaltból épült, repedésekkel tarkított, helyenként eredeti magasságukig álló templomfalak, melyeket Rómer rajzban örökített meg, a 20. század elején többségében leomlottak.

1945 után egy páncélos gyakorló- és lőterep működött a közelben, melynek közvetlen hatásai jelentősen hozzájárultak a romterület további pusztulásához.

A meredek hegyoldalból kiugró, széles, vízszintes platóra épült kolostor maradványait 1996 őszén Nováki Gyula mérte fel. A szétbontott falak omladékhalmainak kanyargós sorai a felmérés nyomán világosan megmutatják a téglalap alakú épület alaprajzát.
Jól kivehetők a középső, szögletes udvar körül sorakozó helyiségek, ezek rendeltetését azonban csak ásatással lehetne megállapítani.

Az északkeleti oldalon egy nagyméretű helyiséget csatoltak a kolostorszárny síkjához. Ennek délkeleti sarkától egy kősor vonul kelet felé, majd kettéágazik és vége a meredek hegyoldalig tart. E falhoz valószínűleg nem tartozott helyiség, alighanem kerítés maradványa.
A kolostor kőomladékából manapság csupán a templom sarokfalának 1,5 méter magas, 2 méter hosszú csonkja emelkedik ki, alapfala 4 méter hosszan követhető a felszínen. Ezen kívül egyetlen álló falat sem látni.

A kolostortól északra egy többosztatú ház csekély falsíkja látszik, melyet 1973 májusában Müller Róbert tárt fel. Véleménye szerint a feltehetően nyeregtetős, tűzfalas építmény eredetileg istálló lehetett, és a 14. század vége körül emelték. A kolostor délnyugati sarka közelében kis, négyzetes alaprajzú épület alapjai bukkannak ki a felszín alól. Ettől délre, 30-40 méterre egy patkó alakú, valamint egy téglalap alaprajzú, két helyiségből álló épület nyomai figyelhetők meg.

A faluból vezető piros jelzésű turistaúton juthatunk el maradványaihoz.