سایت ها و مقالات مخفی اینترنت را چگونه بیابیم؟!

یافتن مطالب مخفی در اینترنت

در بسیاری از وب سایت ها،میتوان صفحاتی را یافت که به هر دلیلی از دید کاربران مخفی شده اند وکاربران امکان دسترسی به این صفحات را به صورت معمول ندارند.در حقیقت بسیاری از این صفحات،توسط Robots.txt از دید موتورهای جستجو پنهان میشوند و ما توانایی یافتن این صفحات را که بعضا حاوی مطالب جالب و مهمی هستند را نداریم.
برهمین اساس،در این نوشتار در قالب 4 مرحله، به شما آموزش میدهیم که چگونه این صفحات را به آسانی جستجو کرده وبیابید.
امروزه دراینترنت،مدیران سایت های زیادی وجود دارند که به دلایل گوناگون،تعدادی از صفحات سایت خود را از دید موتورهای جستجو پنهان میکنند.اما حالا به وسیله Robots.txt شما توانایی این را دارید که اینگونه صفحه ها را به سادگی پیدا کنید.Robots.txt همانطور که از پسوند آن پیداست،فایلی است متنی که در ریشه اصلی سایت قرار میگیرد و به وسیله آن میتوان فهرست شدن صفحات را توسط روبوت های جستجو،کنترل کرد.ضمن اینکه اگردر این فایل از خاصیت Disallow استفاده شود،صفحات مورد اشاره از دید موتورهای جستجو مخفی می مانند.

[ ادامه مطلب ... ]