پوشه Robots . txt و دستگاه لیزر هر چیزی که نیاز است درخصوص آن بدانیم

همانطور که می‌دانید دستگاه لیزر پوشه Robots . txt به خزندگان ( یا این که همان کراولرهای ) موتورهای جستجو و سایر کراولرها می‌گوید کدام کاغذ از تارنما برای کپی کردن گشوده است و کدام کاغذ را نمی‌توانند بازنگری کنند . این پوشه امروزه بوسیله اکثر وبسایت ها آیتم استفاده قرار می‌گیرد و بیشتر کراولرهای وب به آن احترام دستگاه لیزر می‌گذارند . این پروتکل اکثر وقت ها بر روی وب سایت هایی سود می گردد که در حال توسعه هستند یا این که بر روی صفحاتی مورد استفاده قرار می گیرد که دوست ندارند در چنگ عموم باشند . در فرآیند بهینه سازی سایت برای موتورهای جستجو یا این که همان دستگاه لیزر , فولدر Robots . txt دستگاه لیزر نقش مهمی در با صرفه سازی خزش و ایندکس موتورهای جستجو بازی می کند .
تاریخچه فولدر Robots . txt

پروتکل Robots . txt اصولا توسط یکی‌از پیشگامان فضای اینترنت و تولید کننده Allweb یعنی Martijn Koster پیشنهاد شد . وی در اوایل سال 1994 این توصیه را داد که درین روزگار برای کمپانی Nexor فعالیت میکرد . تالیف کننده انگلیسی به نام Charlie Stross داعیه می کند این سفارش را وقتی که وی خزنده بدخواهی را ایجاد کرد که سبب ساز بروز مشکلاتی بر روی سرورها شد به Koster بخشید . به لطف سادگی و مفید بودن این پروتکل , بیشتر سایت ها و موتورهای جستجوی نخستین نیز خود را با این فایل سازگار کردند . تا به امروز , موتورهای جستجویی همچون گوگل , بینگ , یاهو و بقیه موتورهای کاوش به این پروتکل احترام میگذارند و خود را از صفحاتی که بوسیله کاربر محدود شده‌است به دور نگه می‌دارند .

برای فرآیند سئوی وب سایت هم فایل robots . txt به بخش یکدست روند با صرفه سازی تبدیل شده است . زیرا جامعه آگاهی بیشتری در زمینه‌ی مفاهیمی همچون جریان تساوی لینک و پیوند و میزان دارایی خزش به دست آورده اند . امروزه سئوکاران متخصص و با تجربه بر روی این پروتکل توکل می کنند تا بتوانند ربات ها را از خرش صفحات پویا , صفحه ها مختص ادمین , صفحات پرداخت و سایر اوراق شبیه باز دارا هستند . با اینحال همه خزندگان از این استاندارد پیروی نمیکنند . ربات های اسپم , اسکن کنندگان محتوا , نرم افزاری های هک و بدخواه کلیه راهبرد های دستگاه لیزر مو جود درین پوشه را نادیده میگیرند .


در بعضا از مورد ها , خزندگان بدخواه حتی خزش این صفحات را در حق تقدم کاری خویش قرار می دهند . تارنما های دستگاه لیزر آرشیوی همچون Archive Team و Internet Archive چنین استانداردهایی دستگاه لیزر را نادیده می‌گیرند و آن را به عنوان یک پروتکل منسوخ می‌شناسند که بیشتر برای موتورهای جستجو تاسیس شده است . مجموعه های آرشیوی معمولا داعیه می نمایند اطلاعاتی را ذخیره می‌سازند که تکامل وب و بقیه بنیانگذاران دستگاه لیزر را صفحه نمایش می کند .