noindex, robots.txt และ canonical ต่างกันอย่างไร? เลือกให้ตรงกับปัญหาเว็บไซต์

noindex, robots.txt และ canonical ทำหน้าที่ต่างกัน: noindex ใช้บอกไม่ให้นำหน้าเข้าดัชนี, robots.txt ใช้ควบคุมว่า crawler เข้าถึง URL ใดได้ และ canonical ใช้ระบุ URL ที่ต้องการให้เป็นตัวแทนของหน้าซ้ำหรือใกล้เคียงกัน ก่อนเลือกใช้ต้องรู้ว่าปัญหาคือไม่อยากแสดงหน้า ไม่อยากให้ crawl หรือมีหลาย URL สำหรับข้อมูลเดียวกัน

บทความนี้อธิบายหลักการสำหรับ Google Search ไม่ใช่คำสั่งให้เปลี่ยนการตั้งค่าทั้งเว็บไซต์ทันที การแก้ควรตรวจ URL และผลกระทบรายกลุ่มก่อน หากยังไม่รู้ว่าหน้ามีปัญหาตรงไหน เริ่มจาก เช็กลิสต์ตรวจเว็บไซต์ก่อนทำ SEO และ AEO

ภาพประกอบพื้นฐานเว็บไซต์และ SEO ของ Webinwsure

ตารางเปรียบเทียบหน้าที่และข้อจำกัด

เครื่องมือ	คำถามที่ตอบ	สิ่งที่ไม่ควรเข้าใจผิด
noindex	ต้องการให้หน้านี้ปรากฏในดัชนีหรือไม่?	crawler ต้องเข้าถึงหน้าเพื่อเห็นคำสั่ง
robots.txt	crawler ที่ปฏิบัติตามกฎเข้าถึง URL ใดได้?	การห้าม crawl ไม่ใช่การรับประกันว่า URL จะหายจากผลค้นหา
canonical	URL ใดควรเป็นตัวแทนของกลุ่มหน้าซ้ำ?	เป็นสัญญาณสำหรับการเลือก URL ไม่ใช่การส่งผู้ใช้ไปอีกหน้า

noindex: ใช้เมื่อไม่ต้องการให้นำหน้าเข้าดัชนี

Google รองรับ noindex ผ่าน meta tag หรือ HTTP response header โดย Googlebot ต้องเข้าถึงหน้าและอ่านคำสั่งได้ หากห้าม crawl หน้านั้นด้วย robots.txt พร้อมกัน crawler อาจไม่เห็น noindex จึงไม่ควรคาดหวังว่าการใส่สองอย่างพร้อมกันจะทำให้หน้านั้นหายจากผลค้นหาเร็วขึ้น

กรณีสมมติ: หน้าขอบคุณหลังส่งฟอร์มเป็นหน้าสาธารณะที่ไม่มีจุดประสงค์ให้คนค้นหา อาจพิจารณา noindex หลังตรวจเงื่อนไขและระบบติดตามของเว็บไซต์ ส่วนหน้าบริการหลักที่ต้องการให้ลูกค้าพบ ไม่ควรติด noindex โดยไม่ตั้งใจ ดู เอกสาร noindex ของ Google สำหรับวิธีทำงานและการตรวจคำสั่ง

robots.txt: ควบคุมการ crawl ไม่ใช่ระบบล็อกข้อมูล

robots.txt ระบุกฎสำหรับ crawler ที่ปฏิบัติตาม แต่ไม่ได้เป็นระบบจำกัดสิทธิ์ของผู้ใช้ และไม่ใช่วิธีป้องกันข้อมูลลับ Google อาจรู้จัก URL ที่ถูกห้าม crawl จากลิงก์อื่นและแสดง URL นั้นได้แม้ไม่ได้อ่านเนื้อหาหน้า

หากเป็นข้อมูลที่ต้องให้เฉพาะผู้มีสิทธิ์อ่าน ควรใช้ระบบยืนยันตัวตนและการควบคุมสิทธิ์ที่เหมาะสม ไม่พึ่ง robots.txt หรือ noindex เป็นการป้องกันการเข้าถึง สำหรับเว็บไซต์ที่ใช้สคริปต์หรือไฟล์รูปแบบร่วมกัน ต้องตรวจว่าการบล็อกทรัพยากรไม่ได้ทำให้ crawler เข้าใจหน้าสำคัญได้ยากขึ้น อ่าน ข้อจำกัดของ robots.txt จาก Google

ภาพประกอบการทบทวนข้อมูลและวางแผนงานเว็บไซต์ · ภาพโดย Scott Graham / Unsplash

canonical: เลือก URL ที่ต้องการในกลุ่มหน้าซ้ำ

เมื่อหลาย URL แสดงข้อมูลเหมือนหรือใกล้เคียงกัน canonical ช่วยส่งสัญญาณว่าอยากให้ URL ใดเป็นตัวแทน Google เป็นผู้เลือก canonical ตามสัญญาณที่ประเมิน จึงไม่ควรอธิบายว่าการตั้งค่าหนึ่งช่องบังคับการเลือกได้เสมอ

ตัวอย่างสมมติ: หน้าบริการเปิดได้ทั้ง URL ปกติและ URL ที่มีพารามิเตอร์ติดตาม หากเนื้อหาเดียวกันจริง อาจกำหนด URL หลักและใช้ลิงก์ภายในไป URL นั้นให้สอดคล้องกัน แต่ไม่ควรชี้ canonical ของบริการที่ต่างกันทั้งหมดไปหน้าแรกเพียงเพราะต้องการลดจำนวนหน้า

canonical ไม่ใช่ redirect ผู้ใช้ที่เปิด URL เดิมยังอาจอยู่หน้านั้นตามปกติ ส่วน redirect มีหน้าที่ส่งไป URL ปลายทาง การใช้ noindex แทน canonical เพื่อจัดหน้าซ้ำภายในเว็บไซต์ไม่ใช่แนวทางที่ Google แนะนำ ดู แนวทางการระบุ canonical ของ Google

ตัวอย่างเลือกตรวจตามปัญหาที่พบ

สถานการณ์สมมติ	สิ่งที่ควรตรวจเป็นอันดับแรก	สิ่งที่ไม่ควรรีบทำ
หน้าบริการไม่ปรากฏในผลค้นหา	การเข้าถึง สถานะดัชนี noindex และ canonical	เปิดหรือปิดกฎทั้งเว็บไซต์โดยยังไม่รู้สาเหตุ
หลาย URL แสดงเนื้อหาเดียวกัน	ความซ้ำ URL หลัก และลิงก์ที่ชี้ไป	ตั้ง noindex ให้ทุกหน้าโดยไม่มีแผน
ต้องการกันข้อมูลเฉพาะผู้มีสิทธิ์	ระบบยืนยันตัวตนและการควบคุมสิทธิ์	ใช้ robots.txt เป็นระบบรักษาความลับ
ตั้ง noindex แล้ว แต่หน้าสาธารณะยังพบได้	crawler เห็นคำสั่งจริงหรือยัง และข้อมูลที่ตรวจเป็นปัจจุบันหรือไม่	เพิ่มการบล็อก crawl โดยไม่ตรวจข้อขัดแย้ง

ตัวอย่างข้างต้นเป็นลำดับตั้งคำถามสำหรับทีม ไม่ใช่คำตอบสำเร็จรูปให้ทุกเว็บไซต์ เพราะระบบ CMS ปลั๊กอิน CDN และการตั้งค่าของเซิร์ฟเวอร์อาจส่งคำสั่งคนละชั้น ต้องตรวจสิ่งที่ส่งออกจริง ไม่ดูเพียงสวิตช์ในหลังบ้าน

ข้อมูลที่ควรบันทึกก่อนส่งงานแก้

URL ที่ตรวจและจุดประสงค์ของหน้า
วันที่ตรวจ สถานะการตอบกลับ และอาการที่ทำซ้ำได้
กฎ robots.txt ที่เกี่ยวข้องกับ crawler และ URL นั้น
คำสั่ง robots จากหน้าและ HTTP header ที่พบจริง
canonical ที่เว็บไซต์ระบุ และข้อมูลการเลือก URL จากเครื่องมือตรวจที่มี
ผู้รับผิดชอบ วิธีตรวจหลังแก้ และแผนย้อนกลับหากกระทบหน้าสำคัญ

เมื่อเปลี่ยน URL หลัก ให้ตรวจลิงก์ภายในที่เกี่ยวข้องด้วย อ่าน วิธีวางลิงก์ภายในเว็บไซต์บริการ เพื่อให้ทางเดินของผู้ใช้สอดคล้องกับโครงสร้างที่ตั้งใจ การตรวจผ่านเครื่องมือหรือส่งคำขอให้ crawl ใหม่ไม่ได้เป็นคำรับประกันว่าผลค้นหาจะเปลี่ยนทันที

คำถามที่พบบ่อย

ใส่ noindex ใน robots.txt ได้ไหม?

Google ไม่รองรับ noindex ที่เขียนเป็นคำสั่งใน robots.txt วิธีที่รองรับคือ meta tag หรือ HTTP response header และต้องให้ crawler เข้าถึงคำสั่งได้

canonical ทำให้หน้าเดิมเปิดไม่ได้หรือไม่?

ไม่ใช่หน้าที่ของ canonical หากต้องการส่งผู้ใช้จาก URL เดิมไป URL ใหม่ ต้องประเมินการใช้ redirect ตามสถานการณ์ ไม่ใช้สองคำนี้แทนกัน

ตั้งค่าถูกแล้วเว็บไซต์จะถูก AI อ้างอิงหรือไม่?

ไม่สามารถรับประกันได้ การเข้าถึงและการทำดัชนีเป็นเพียงส่วนหนึ่งของความพร้อม เนื้อหาและความเกี่ยวข้องยังต้องตรวจ และระบบค้นหาแต่ละแพลตฟอร์มอาจทำงานต่างกัน

ตรวจพื้นฐานก่อนขยาย SEO และ AEO

เตรียม URL และหลักฐานอาการเพื่อคุยกับ บริการตรวจเว็บไซต์ของ Webinwsure หากต้องวางแผนเนื้อหาหลังแก้โครงสร้าง ดู บริการ SEO และแนวทาง AEO ของ Journey D ส่วนการเชื่อมเว็บไซต์กับหน้าบริการและเป้าหมายธุรกิจ ดู บริการการตลาดออนไลน์ของ InwSure สองลิงก์หลังเป็นเว็บไซต์อื่น ควรสอบถามขอบเขตงานกับแต่ละทีมโดยตรง