قلعه رستم خوسف در جنوب‌شرقی شهر خوسف  و در غرب روستای کوچکی به نام گنج قرار دارد. این قلعه در محلی قرار گرفته که به راحتی در دسترس نبوده است به همین دلیل آسیب کمی دیده است. در داخل قلعه شش تالار وجود دارد که با طاق­های جناغی پوشش یافته­اند. ارگ چه ورودی این تالارها به دلیل انباشت خاک و آوار مسدود شده است، ولی تالارها تا حدودی سالم مانده­اند.

در مرکز قلعه چاهی وجود دارد که عمق آن حدود هفت­ متر است و در جبهه جنوبی قلعه آب‌انباری قرار دارد که از سنگ و ملات ساروج ساخته شده است. در جبهه شمال شرقی قلعه پنج برج دیده­بانی وجود داشته که قابل تشخیص است. در محوطه این قلعه قطعات سفال های لعابداری با رنگ های فیروزه­ای و ساده وجود دارند که به دوران پیش و پس از اسلام مربوط می­شوند. آثار بجا مانده در قلعه رستم به پیش از اسلام باز می­گردد، ولی در دوره­های بعد از اسلام به خصوص در زمانی که فرقه اسماعیلیه بر این منطقه سلطه داشتند آن را بازسازی کرده­اند.