มาทำความรู้จัก Robots.txt กันดีกว่า 1

มาทำความรู้จัก Robots.txt กันดีกว่า

วันนี้เรามารู้จักไฟล์ robots.txt กันหน่อยดีกว่านะครับ ไฟล์นี้จะทำหน้าที่ในการอนุญาต หรือไม่อนุญาตให้ บอทหรือโปรแกรมเก็บข้อมูลของ Search Engine เช่น Google, Yahoo เข้ามาเก็บข้อมูลในเว็บไซต์ของเรา โดยเราสามารถที่จะทำการระบุประเภทของบอทที่เราต้องการให้เข้ามาหรือไม่เข้ามา และสามารถระบุได้ว่า ไฟล์หรือหน้าไหนจะให้บอทเก็บออกไป

ยกตัวอย่างเช่น

คำสั่งด้านบนนี้จะเป็นการไม่อนุญาติให้บอททุกประเภททำการเก็บข้อมูลในหน้าเว็บไซต์ของเราเลย
และถ้าเราต้องการให้อนุญาตทุกหน้าละจะทำอย่างไร ทำแบบนี้ครับ

และหากเราไม่ต้องการให้เก็บเพียงบางหน้าก็ใช้วิธีนี้ครับ

บอทก็จะไม่ทำการเก็บในหน้า cgi-bin, tmp และ joe ครับ

หากเราไม่ต้องการให้บอทบางตัวมาเก็บเช่น Badbot มาเก็บข้อมูลในเว็บเราก็ใช้วิธีแบบนี้

และถ้าต้องการให้ Google เท่านั้นที่เก็บข้อมูล ส่วนบอทอื่นไม่ต้องการก็ให้เขียนแบบนี้ครับ

สุดท้ายในกรณีที่เราไม่ต้องการอนุญาติให้เฉพาะบางไฟล์ก็ให้เขียนแบบด้านล่างนี้

ที่มา About /robots.txt

บทความนี้มีประโยชน์สำหรับคุณหรือไม่?

ให้คะแนนบทความนี้

คะแนนเฉลี่ย 0 / 5. จำนวนโหวต: 0

ยังไม่มีการให้คะแนนบทความนี้ ลงคะแนนได้เลย!

As you found this post useful...

Follow us on social media!

avatar

นายปิ๊ก


ผู้ก่อตั้งเว็บไซต์ Themevilles.com เป็นอาจารย์สอน WordPress และ WooCommerce ในเว็บคอร์สออนไลน์ Skilllane และรับทำเว็บไซต์ ทำการตลาดออนไลน์ เช่น SEO, Facebook และ LINE

Line QR Code
สมัครสมาชิกเพื่อรับข้อมูลข่าวสาร
Get the latest content first.
Read about Privacy Policy.

เราใช้คุกกี้เพื่อพัฒนาประสิทธิภาพ และประสบการณ์ที่ดีในการใช้เว็บไซต์ของคุณ คุณสามารถศึกษารายละเอียดได้ที่ นโยบายความเป็นส่วนตัว และสามารถจัดการความเป็นส่วนตัวเองได้ของคุณได้เองโดยคลิกที่ ตั้งค่า

ตั้งค่าความเป็นส่วนตัว

คุณสามารถเลือกการตั้งค่าคุกกี้โดยเปิด/ปิด คุกกี้ในแต่ละประเภทได้ตามความต้องการ ยกเว้น คุกกี้ที่จำเป็น

ยอมรับทั้งหมด
จัดการความเป็นส่วนตัว
  • เปิดใช้งานตลอด

บันทึกการตั้งค่า