การทำ SEO ไม่เพียงแต่เป็นการเขียนบทความโดยมี Keyword หลัก หรือแค่ปรับ Page Speed ของเว็บไซต์เพียงเท่านั้น แต่ยังมีอีกหนึ่งเรื่องที่หลายคนมองข้ามก็คือ เรื่องของการทำ Robots.txt ที่ช่วยทำให้การทำ SEO มีประสิทธิภาพและได้ผลลัพธ์ที่ดีขึ้น แม้ว่าจะเป็นเรื่องทางเทคนิค แต่ก็ทำได้ไม่ยาก แถมยังเป็นเรื่องที่คนทำ SEO ต้องให้ความสำคัญอีกด้วย
Robots.txt คืออะไร
Robots.txt เป็นไฟล์สคริปต์ไฟล์หนึ่ง ที่อยู่ใน Root Directory ของเว็บไซต์ เป็นการสร้างเพื่อให้ Bot ของ Search Engine รู้ว่าเว็บไซต์หน้าไหนคือ Indexing (อนุญาตให้เก็บข้อมูล) และหน้าไหนคือ Crawling (ไม่อนุญาตให้เก็บข้อมูล) เป็นเหมือนการทำเครื่องหมายเพื่อไม่ให้ Bot เข้าไปเก็บข้อมูลทุกอย่างบนเว็บไซต์ ลดการเข้าไปเจอหน้าเว็บไซต์ที่ไม่ส่งผลดีต่อการทำ SEO
แล้ว Robots.txt สำคัญอย่างไรต่อการทำ SEO
เวลาที่เราจะทำ SEO ให้กับเว็บไซต์ ก็จะมีทั้งหน้าที่เราต้องการให้แสดงบน Search Engine และหน้าที่เราไม่ต้องให้แสดง การทำ Robots.txt ก็เป็นอีกวิธีหนึ่งที่ไม่ให้ Bot เข้าไปทำ Index หน้าเว็บไซต์นั้นได้
ป้องการไม่ให้ Bot เข้าถึงหน้าที่ไม่ต้องการแสดง
Robots.txt จะช่วยป้องกันไม่ให้ Bot เข้ามาในหน้าหน้าที่ซ้ำซ้อน หน้าที่ไม่ได้เผยแพร่ และหน้าที่ไม่อยากแสดงบนหน้าการค้นหา ยกตัวอย่าเช่น หน้าเข้าสู่ระบบ หน้าคำสั่งซื้อ โดยรวมก็คือหน้าที่ไม่ต้องการให้ Bot นำไปจัดอันดับนั่นเอง เพราะอันดับในแต่ละหน้าเว็บไซต์ ก็มีส่วนที่จะส่งผลต่อการแสดงผลของหน้าอื่น ๆ บนเว็บไซต์ได้ด้วย
ป้องกันไฟล์ที่มีข้อมูลที่เป็นความลับ
บางไฟล์บนเว็บไซต์ มีข้อมูลที่เป็นความลับที่ไม่ควรเปิดเผย เป็นข้อมูลภายในเว็บไซต์ เช่น ข้อมูลสมาชิก ข้อมูลไฟล์เอกสารของสมาชิกบนเว็บไซต์ เป็นต้น
ลดการใช้ CRAWL
ช่วยลดภาระการ Crawl เว็บไซต์ของ Bot ทั้งยังช่วยให้ Bot เก็บข้อมูลได้ดีมากขึ้น เจาะจงไปยังข้อมูลที่ต้องการแสดงมากขึ้น และทำให้อันดับในการค้นหาดีขึ้นด้วย
Bot เข้าถึง Sitemap ง่ายขึ้น
นั่นเป็นเพราะ Robots.txt เป็นสคริปต์แรกที่ Bot จะเข้ามาอ่าน ทำให้ Bot สามารถรู้ Sitemap ของเว็บไซต์ได้ทันที
ไขข้อสงสัย เว็บไซต์ไม่มี Robots.txt ได้หรือไม่
ถ้าถามว่า เว็บไซต์ไม่มี Robots.txt ได้หรือไม่ ก็ต้องตอบว่าได้ เพราะไฟล์นี้ใช้เพื่อบ่งบอกว่าหน้าเว็บไซต์ไหน ควรเข้าถึงหรือไม่ควรเข้าถึง แต่ถ้าเว็บไซต์ไหน ไม่มี Robots.txt ไว้ Bot ก็จะสามารถเข้าถึงเว็บไซต์ และข้อมูลได้ทุกประเภทบนเว็บไซต์ จะมีการเก็บข้อมูลที่ไม่ต้องการไป และแน่นอนว่าอาจส่งผลเสียต่อการทำเว็บไซต์ รวมถึง SEO
4 คำสั่งในไฟล์ Robots.txt ที่สำคัญ
คำสั่งต่าง ๆ ในไฟล์ Robots.txt ที่คนทำ SEO ควรรู้ มีดังนี้
User-agent:
User-agent: คือ คำสั่งแรกที่ต้องเขียนในไฟล์ Robots.txt เป็นคำสั่งที่จะหมายถึงชื่อของ Search Engine ที่ต้องการให้เข้ามาเก็บข้อมูลบนเว็บไซต์ได้ เช่น Googlebot Bingbot Yahoobot เป็นต้น และถ้าต้องการให้ Crwaler ตัวไหนก็ได้เข้ามาเก็บข้อมูล ก็ใช้เป็นสัญลักษณ์ * แทน
ตัวอย่างการเขียน
# Example 1: ใช้กับ Search Engine ตัวเดียว
User-agent: Googlebot
Disallow: /
# Example 2: ใช้กับ Search Engine หลายตัว
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /
# Example 3: ใช้กับ Search Engine ทุกตัว
User-agent: *
Allow: /
Disallow:
Disallow: คือ คำสั่งที่ไม่อนุญาตให้ Crawler ของ Search Engine มาเก็บข้อมูลในไฟล์ หรือเข้าถึงโฟลเดอร์ต่าง ๆ บนเว็บไซต์ได้
ตัวอย่างการเขียน
Disallow: /file.asp
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /?comments=*
Disallow: /search?
Disallow: /wp-admin/
Disallow: /wp-admin/*
Disallow: /wp-login/
Disallow: /wp-login/*
Allow:
Allow: คือ คำสั่งที่อนุญาตให้ Crawler ของ Search Engine เข้ามาเก็บข้อมูลได้ ใช้สำหรับไฟล์ โฟลเดอร์ หรือ URL ที่โดนคำสั่ง Disallow ก่อนหน้านี้ โดยจะเขียน / แล้วตามด้วยชื่อไฟล์หรือ URL
ตัวอย่างการเขียน
Allow: /public/
Allow: /
Sitemap:
Sitemap: คือคำสั่งงที่บอก Crawl ว่า Url ไหนคือที่อยู่ของ Sitemap เป็นการชี้ให้ Bot สามารถเข้าถึง และหาเจอได้ง่ายขึ้น
ตัวอย่างการเขียน
# Example 1:
Sitemap: https://example.com/sitemap.xml
# Example 2:
Sitemap: https://www.example.com/sitemap.xml
ตัวอย่างการเขียนคำสั่ง Script ในไฟล์ Robots.txt
หลายคนอาจมีคำถาม หรือข้อสงสัยว่า ต้องเขียนคำสั่งอย่างไรให้สามารถนำไปใช้งานได้ มาลองดูตัวอย่างการใช้ Robots.txt ที่ถูกต้องกัน
ตัวอย่างที่ 1 : คำสั่งไม่อนุญาตให้ Search Engine ตัวไหนก็ตามเข้ามาเก็บข้อมูลบนเว็บไซต์
User-agent: *
Disallow: /
ตัวอย่างที่ 2 : คำสั่งไม่อนุญาตให้ Search Engine เข้าถึงโฟลเดอร์ชื่อ private
User-agent: Googlebot
Disallow: /private/
ตัวอย่างที่ 3 : คำสั่งไม่อนุญาตให้เก็บข้อมูลหน้าเพจ Directory และคอนเทนต์ในหน้าเหล่านั้น
User-agent: *
Disallow: /calendar/Disallow: /junk/
Disallow: /books/fiction/contemporary/
ตัวอย่างที่ 4 : คำสั่งอนุญาตให้ Search Engine ทั้งหมดเก็บข้อมูลบนเว็บไซต์ได้
User-agent:*
Allow: /
ตัวอย่างที่ 5 : คำสั่งบล็อกรูปภาพบางภาพไม่ให้แสดงใน Google Image
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
ตัวอย่างที่ 6 : คำสั่งไม่อนุญาตให้เข้ามาเก็บข้อมูล URLs ใดๆ ที่มีนามสกุลไฟล์ หรือ String ที่ระบุอย่างเจาะจง
User-agent: Googlebot
Disallow: /*.xls$
และยังมีคำสั่งอีกมากมาย สามารถดูตัวอย่างการเขียนคำสั่ง Robots.txt ได้เพิ่มเติมที่ Google Search Central
รวมวิธีสร้างไฟล์ Robots.txt
การสร้างไฟล์ Robots.txt สามารถทำได้ด้วยตัวเอง หรือการใช้ Plugin สำหรับผู้ใช้งาน WordPress โดยวิธีการสร้างไฟล์ทำได้ดังนี้
สร้างด้วยตัวเอง
- สร้างไฟล์ Robots.txt โดยใชโปรแกรมอะไรก็ได้ที่เราถนัด ยกตัวอย่าง notepad
- เปิด Control Panel หรือ หน้า Dashboard ของ Hosting ที่เราใช้บริการ
- ไปที่ File และเลือก File Manager
- เลือกเว็บ Domain ที่ต้องการนำไฟล์ไปติดตั้ง
- สร้างโฟลเดอร์ ชื่อ Robots.txt และสร้างไว้ในโฟลเดอร์ /public_html/
- เมื่อสร้างเสร็จแล้ว ให้คลิกขวาที่โฟลเดอร์ที่เราพึ่งสร้าง และเลือก Edit
- จะมีหน้าต่างสีขาวขึ้นมา ให้ Copy ไฟล์ที่เขียนมาวาง และกด Save ถือว่าดำเนินการเสร็จเรียบร้อย
สร้างด้วย Plugin
- เลือกเมนู Plugin และค้นหาปลั๊กอินชื่อว่า All In One SEO ติดตั้งและ Activate ให้เรียบร้อย
- เข้าไปที่ Plugin และเลือก Tools
- หาช่องที่เขียนว่า Enable Custo Robots.txt และ Activate จะมีช่องสำหรับเขียนไฟล์ขึ้นมา
- ใส่ User Agent, Rule และ Directory Path หรือ URL ที่ต้องการ
- เสร็จแล้ว ให้กด Save Change
นอกจากนี้ ยังมีปลั๊กอิน SEO อื่น ๆ ที่สามารถสร้างไฟล์ Robots.txt ได้เหมือนกัน
สรุป
Robots.txt ถือว่าเป็นเครื่องมือสำคัญสำหรับการทำ SEO เพราะจะช่วยให้คะแนนอันดับของเว็บไซต์เพิ่มขึ้น ช่วยให้ประสิทธิภาพของเว็บไซต์ดีขึ้นอีกด้วย หากเรานำมาใช้ให้ถูกวิธี รับรองว่าอันดับของเว็บไซต์จะขึ้นไปอันดับ 1 แน่นอน แต่ทั้งนี้ ต้องระวังเรื่องของการเขียนสคริปต์คำสั่งให้ดี เพราะถ้าเขียนผิด จะส่งผลต่อการทำ Index บนเว็บไซต์ได้ด้วย
