江戸時代・宝暦4年に上棟された建物。飯田城唯一の遺構となっています。全体がベニカラで赤く塗られているため、赤門と呼ばれています。
天竜小渋水系県立公園の中にあり本丸跡にある数十本の桜と周辺一帯に植えられた数千株のツツジが咲き競い、周辺の眺望も見事な景観であり訪れる人に好評です。
関ケ原の戦いの翌年、慶長6年(1601)旧領のうち阿島・田村・河野・南原及び虎岩の一部3,000石の旗本として復帰した知久則直は、3年ががりでここに館を築きました。
この道路は、戦国時代には中仙道の間道であり、重要道路で武田信玄が関所を設け厳しい検問を行った伊那谷最古の関所跡です。今の飯田市山本から、梨子野峠を越え、木曽谷へ通じる街道で、後に飯田城主が管理しました。この街道に纏わる物語は、戦国時代よりたくさん伝わっております。
吉岡城は、陽皐の中心を流れる南の沢川、牛ヶ爪川の渓谷に挟まれた吉岡の台地上にあって、周囲は深い谷と急崖が取り巻く天然の要害を利用して築かれた城です。