robots.txt คืออะไร? วิธีตั้งค่าไฟล์ robots.txt ให้ Google เข้าใจเว็บคุณ [อัปเดต 2026]

หลายคนที่ทำเว็บไซต์หรือใช้ WordPress อาจเคยได้ยินคำว่า robots.txt ผ่านหูมาบ้าง แต่ยังไม่แน่ใจว่าไฟล์นี้สำคัญแค่ไหน และจำเป็นต้องตั้งค่าหรือไม่
ความจริงแล้ว robots.txt เป็นไฟล์ขนาดเล็กมาก แต่ มีผลโดยตรงต่อการทำ SEO และการจัดอันดับบน Google หากตั้งค่าผิดพลาด อาจทำให้เว็บไซต์ทั้งเว็บหายจากผลการค้นหาได้ทันที

บทความนี้จะพาคุณมาทำความเข้าใจว่า robots.txt คืออะไร ใช้งานอย่างไร พร้อมตัวอย่างการตั้งค่าที่พบบ่อย และข้อควรระวังที่คนทำเว็บไม่ควรมองข้าม

robots.txt คืออะไร

robots.txt คือไฟล์ข้อความ (Text File) ที่อยู่ในโฟลเดอร์หลักของเว็บไซต์ เช่น

https://yourdomain.com/robots.txt

หน้าที่ของไฟล์นี้คือ ใช้สื่อสารกับ Search Engine Bot เช่น

• Googlebot (Google)
• Bingbot (Bing)
• Yahoo Bot

เพื่อบอกว่า

หน้าไหนหรือโฟลเดอร์ใด “อนุญาต” หรือ “ไม่อนุญาต” ให้บอทเข้ามาเก็บข้อมูล (Crawl)

robots.txt ทำหน้าที่อะไรบ้าง

หน้าที่หลักของไฟล์ robots.txt ได้แก่

• ควบคุมการเข้าถึงของ Search Engine Bot
• ป้องกันหน้าที่ไม่จำเป็นถูกเก็บข้อมูล
• ช่วยจัดการ Crawl Budget ของ Google
• ลดปัญหาเนื้อหาซ้ำ (Duplicate Content)
• ป้องกันหน้าระบบ เช่น backend หรือไฟล์ชั่วคราว

⚠️ หมายเหตุ: robots.txt ไม่ได้ใช้เพื่อปิดบังข้อมูลลับ แต่ใช้เพื่อ “แนะนำ” บอทเท่านั้น

โครงสร้างพื้นฐานของไฟล์ robots.txt

ไฟล์ robots.txt มีโครงสร้างเรียบง่าย ประกอบด้วย 2 คำสั่งหลัก

User-agent คืออะไร

User-agent ใช้ระบุว่า บอทตัวใด ที่คำสั่งด้านล่างจะมีผล

ตัวอย่าง:

User-agent: *

เครื่องหมาย * หมายถึง “บอททุกตัว”

Disallow คืออะไร

Disallow ใช้ระบุว่า ไม่อนุญาตให้บอทเข้าไปเก็บข้อมูล ใน path ที่กำหนด

ตัวอย่าง:

Disallow: /admin/

ตัวอย่างการตั้งค่า robots.txt ที่พบบ่อย

❌ ไม่อนุญาตให้บอททุกตัวเข้าเว็บไซต์

User-agent: *
Disallow: /

ใช้ในกรณีเว็บกำลังพัฒนา หรือเว็บทดสอบ
ห้ามใช้กับเว็บจริงโดยเด็ดขาด

✅ อนุญาตให้บอทเข้าเก็บข้อมูลทุกหน้า

User-agent: *
Disallow:

เป็นรูปแบบพื้นฐานที่ปลอดภัยสำหรับเว็บทั่วไป

🚫 ไม่ให้บอทเก็บข้อมูลบางโฟลเดอร์

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

เหมาะสำหรับโฟลเดอร์ที่ไม่เกี่ยวกับ SEO

🚫 บล็อกบอทที่ไม่ต้องการ (เช่น BadBot)

User-agent: BadBot
Disallow: /

✅ อนุญาตเฉพาะ Google Bot

User-agent: Google
Disallow:

User-agent: *
Disallow: /

ใช้ในกรณีเฉพาะ เช่น เว็บภายในหรือเว็บทดสอบ SEO

🚫 ไม่อนุญาตเฉพาะบางไฟล์

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

robots.txt ส่งผลต่อ SEO อย่างไร

การตั้งค่า robots.txt อย่างถูกต้องช่วยให้ Google เข้าใจโครงสร้างเว็บได้ดีขึ้น แต่หากตั้งค่าผิดอาจเกิดปัญหา เช่น

• เว็บหายจาก Google ทั้งเว็บ
• หน้า SEO สำคัญไม่ถูก Index
• Google มองไม่เห็น CSS / JavaScript
• คะแนน Core Web Vitals ลดลง

❗ robots.txt ไม่ใช่ noindex
หากต้องการไม่ให้หน้าแสดงใน Google ควรใช้ meta noindex แทน

ข้อผิดพลาดที่พบบ่อยในการใช้ robots.txt

• บล็อก /wp-content/ ทั้งหมดใน WordPress
• ลืมเปิดเว็บหลังย้ายจาก staging
• ใช้ Disallow แทน noindex
• ไม่ตรวจสอบหลังแก้ไขไฟล์

ตรวจสอบ robots.txt อย่างไรให้ปลอดภัย

คุณสามารถตรวจสอบได้ด้วยเครื่องมือเหล่านี้

• Google Search Console (robots.txt Tester)
• URL Inspection
• เปิดไฟล์ผ่านเบราว์เซอร์โดยตรง

ควรตรวจสอบทุกครั้งหลังแก้ไข เพื่อป้องกันความผิดพลาดที่อาจกระทบ SEO

robots.txt กับ WordPress ควรตั้งค่าอย่างไร

สำหรับเว็บไซต์ WordPress แนะนำอย่างน้อยให้มีการตั้งค่า robots.txt ที่เหมาะสม และหลีกเลี่ยงการบล็อกไฟล์ระบบที่ Google จำเป็นต้องใช้ เช่น CSS และ JS

การตั้งค่า robots.txt ที่ดี จะช่วยให้ Google เก็บข้อมูลเว็บคุณได้ครบถ้วน และเพิ่มโอกาสติดอันดับที่ดีขึ้น

สรุป

robots.txt คือไฟล์เล็ก ๆ ที่มีผลต่อเว็บไซต์อย่างมาก
หากใช้อย่างถูกต้อง จะช่วยให้ Search Engine เข้าใจเว็บไซต์คุณดีขึ้น แต่หากตั้งค่าผิด อาจทำให้เว็บทั้งเว็บหายจาก Google ได้ทันที

หากคุณกำลังทำ SEO หรือใช้ WordPress การเข้าใจและตั้งค่า robots.txt ให้ถูกต้อง ถือเป็นพื้นฐานสำคัญที่ไม่ควรมองข้าม