در زمان سلجوقیان، اسماعیلیان به طبس دست یافته و قلعه‌های محکمی در کوه‌های آن ساختند. سبک بنای قلعه طبس آشکار می‌کرد که در یکی از دوره‌های گذشته بنا شده، قلعه در میان کوه به طوری قرار گرفته بود که وقتی کسی از قلعه خارج می‌شد و به آن نگاه می‌کرد، متوجه می‌شد که کوه با یک سر بالایی خیلی ملایم به طرف بالا می‌رود. شیب کوه از خارج به سوی قلعه به گونه‌ای‌ست که در موقع راه رفتن شخص شیب را احساس نمی‌کند، در چهار طرف قلعه وضع کوه همین‌طور بود و در چهار سمت، زمین با یک شیب ملایم به سوی قلعه می‌رفت و در هر سمت مجراهای مخصوص از خارج منتهی به قلعه می‌شد.
سازندگان قلعه، زمین را نسبت به قلعه دارای شیب کرده بودند تا آب باران و برف از چهار سمت به سوی قلعه برود و از ورودی‌های مخصوص وارد مخازن آب شود، آنها به طریق دیگری نمی‌توانستند برای ساکنین قلعه آب فراهم کنند. هم‌چنین وضعیت فیزیکی قلعه به گونه‌ای بوده که دروازه قلعه احتیاج به نگهبان نداشته است. از هیچ طرف امکان صعود برای دیگران وجود نداشته و اگر هم کسی وارد قلعه می‌شده راه خروجی نداشته‌اند. در سمت شرق و غرب و شمال قلعه فقط کوه بود و جز قله‌های کوه چیز دیگری به چشم نمی‌خورد. اما در قسمت جنوب یک دشت وجود داشت که آنجا جلگه‌ای بود بنام طبس و چون قلعه مزبور نزدیک به این جلگه بود، اسماعیلیان آنرا «قلعه طبس» نامیدند. این قلعه در ارتفاعات کوه شتری و در بین روستای خروان سفلی و علیا قرار دارد، روستاهای خروان در ۴۰کیلومتری طبس هستند. جاده ارتباطی همچنان خاکی است. آنچه بعد از زلزله طبس باقی ماند، آثاری از دیواره و یک آب‌انبار است.