ไฟล์ robots.txt ที่เก็บอยู่ในรากของเว็บไซต์ของคุณจะบอกให้หุ่นยนต์เว็บเช่นสไปเดอร์ของเครื่องมือค้นหาว่าไดเรกทอรีและไฟล์ใดที่พวกเขาได้รับอนุญาตให้รวบรวมข้อมูล ใช้ไฟล์ robots.txt ได้ง่าย แต่มีบางสิ่งที่คุณควรจำ:
- หุ่นยนต์เว็บ Blackhat จะไม่สนใจไฟล์ robots.txt ของคุณ ประเภทที่พบมากที่สุดคือบอทมัลแวร์และโรบ็อตที่กำลังมองหาที่อยู่อีเมลที่จะเก็บเกี่ยว
- โปรแกรมเมอร์ใหม่บางโปรแกรมจะเขียนหุ่นยนต์ที่ไม่สนใจไฟล์ robots.txt นี้มักจะทำโดยไม่ได้ตั้งใจ
- ทุกคนสามารถดูไฟล์ robots.txt ของคุณได้ มักถูกเรียกว่า robots.txt และเก็บไว้ที่รากของเว็บไซต์เสมอ
- สุดท้ายหากมีผู้เชื่อมโยงไปยังไฟล์หรือไดเรกทอรีที่ไฟล์ robots.txt ยกเว้นจากหน้าเว็บที่ไฟล์ robots.txt ไม่ได้รับการยกเว้นเครื่องมือค้นหาอาจค้นพบไฟล์นี้อยู่ดี
อย่าใช้ไฟล์ robots.txt เพื่อซ่อนสิ่งที่สำคัญ คุณควรใส่ข้อมูลสำคัญที่อยู่เบื้องหลังรหัสผ่านที่ปลอดภัยหรือออกจากเว็บทั้งหมด
วิธีใช้ตัวอย่างไฟล์เหล่านี้
คัดลอกข้อความจากตัวอย่างที่ใกล้เคียงที่สุดกับสิ่งที่คุณต้องการทำและวางลงในไฟล์ robots.txt ของคุณ เปลี่ยนหุ่นยนต์ไดเรกทอรีและชื่อไฟล์เพื่อให้ตรงกับการกำหนดค่าที่คุณต้องการ
ไฟล์ Basic Robots.txt สองไฟล์
User-agent: *Disallow: / ไฟล์นี้บอกว่ามีหุ่นยนต์ ( User-agent: *) ที่เข้าถึงควรละเว้นทุกหน้าในเว็บไซต์ ( Disallow: /). User-agent: *ไม่อนุญาตให้ใช้: ไฟล์นี้บอกว่ามีหุ่นยนต์ ( User-agent: *) ที่เข้าถึงจะได้รับอนุญาตให้ดูทุกหน้าในเว็บไซต์ ( ไม่อนุญาตให้ใช้:). นอกจากนี้คุณยังสามารถทำได้โดยปล่อยไฟล์ robots.txt ไว้ว่างหรือไม่มีเลยในเว็บไซต์ของคุณ User-agent: *Disallow: / cgi-bin /Disallow: / temp / ไฟล์นี้บอกว่ามีหุ่นยนต์ ( User-agent: *) ที่เข้าถึงควรละเว้นไดเร็กทอรี / cgi-bin / และ / temp / ( Disallow: / cgi-bin / Disallow: / temp /). User-agent: *Disallow: /jenns-stuff.htmไม่อนุญาต: /private.php ไฟล์นี้บอกว่ามีหุ่นยนต์ ( User-agent: *) ที่เข้าถึงควรละเว้นไฟล์ /jenns-stuff.htm และ /private.php ( Disallow: /jenns-stuff.htm Disallow: /private.php). User-agent: Lycos / x.xDisallow: / ไฟล์นี้กล่าวว่า Lycos bot ( User-agent: Lycos / x.x) ไม่ได้รับอนุญาตให้เข้าถึงได้จากทุกที่ในเว็บไซต์ ( User-agent: *Disallow: /User-agent: Googlebotไม่อนุญาตให้ใช้: ไฟล์นี้จะไม่อนุญาตให้หุ่นยนต์ทั้งหมดเหมือนกับที่เราทำไว้ข้างต้นและอนุญาตให้ Googlebot ( User-agent: Googlebot) มีสิทธิ์เข้าถึงทุกอย่าง ( แม้ว่าจะใช้สาย User-agent ที่มีความครอบคลุมมากเช่น User-agent: * คุณสามารถระบุได้ตามที่คุณต้องการ โปรดจำไว้ว่าหุ่นยนต์อ่านไฟล์ตามลำดับ ดังนั้นถ้าบรรทัดแรกกล่าวว่าหุ่นยนต์ทั้งหมดถูกบล็อกจากทุกอย่างและจากนั้นในภายหลังในไฟล์จะมีข้อความว่าหุ่นยนต์ทั้งหมดได้รับอนุญาตให้เข้าถึงทุกอย่างหุ่นยนต์จะสามารถเข้าถึงทุกอย่างได้ หากคุณไม่แน่ใจว่าคุณได้เขียนไฟล์ robots.txt อย่างถูกต้องหรือไม่คุณสามารถใช้ Search Console ของ Google เพื่อตรวจสอบไฟล์ robots.txt หรือเขียนใหม่ได้ ป้องกันไดเรกทอรีเฉพาะจาก Robots
ปกป้องหน้าเว็บเฉพาะจาก Robots
ป้องกันหุ่นยนต์เฉพาะจากการเข้าถึงเว็บไซต์ของคุณ
อนุญาตให้มีการเข้าใช้งานหุ่นยนต์เฉพาะอย่างเฉพาะหนึ่งแบบเท่านั้น
รวมหลายบรรทัดเพื่อให้ได้รับการยกเว้นที่คุณต้องการ
