Roedd Castell Holt yn adfail erbyn yr 17g; y cwbl a erys heddiw yw rhannau isel muriau'r gorthwr mewnol, porth a grisiau, ac mae'n gofyn cryn dychymyg i ailgreu'r castell mawreddog a safai yma yn y 14g. Cafodd gweddill yr adfeilion, yn gerrig hen dywodfaen coch gwerthfawr, ei symud ar gychod i lawr afon Dyfrdwy ar ôl gwarchae yn ystod Rhyfel Cartref Lloegr a'u defnyddio at adeiladau Neuadd Eaton, ger Caer.