Cloudflare เปิดสวิตช์ Disallow AI Training — ปฏิเสธการเทรนได้โดยไม่หลุดจากผลค้นหา แต่ความหมายของปุ่ม Block เปลี่ยนไปแล้ว และ Bing ยังไม่รับคำสั่งนี้จนถึงต้นปี 2027

Cloudflare ประกาศเมื่อ 15 ก.ย. 2026 เพิ่มการตั้งค่าใหม่ชื่อ Disallow AI Training ซึ่งแก้ปัญหาที่เจ้าของเว็บติดกับมานาน — crawler แบบ mixed-use คือ crawler ตัวเดียวที่ทำทั้งงานค้นหาและงานเก็บข้อมูลไปเทรนโมเดล ปฏิเสธอย่างหนึ่งก็เท่ากับปฏิเสธอีกอย่าง ตัวใหญ่ที่สุดสามตัวบนอินเทอร์เน็ตคือ Applebot, Bingbot และ Googlebot ทำงานแบบนี้ ก่อนหน้านี้ปุ่ม Block ของ Cloudflare จึงจงใจไม่แตะพวกมัน เพราะบล็อกเมื่อไหร่คือหายจากผลค้นหาเมื่อนั้น

ตัวเลขที่ Cloudflare เปิดออกมาอธิบายว่าทำไมเรื่องนี้สำคัญ: เว็บบน Cloudflare น้อยกว่า 1% เลือกบล็อกบอตค้นหา แต่ 17% เปิดกลไกบล็อกการเทรนบางอย่างไว้ — คนส่วนใหญ่อยากถูกค้นเจอ แต่ไม่ได้อยากเป็นวัตถุดิบเทรนโมเดล ซึ่งเป็นสองความต้องการที่เครื่องมือเดิมแยกออกจากกันไม่ได้

Disallow AI Training ทำอะไร

การตั้งค่าใหม่ถูกตั้งชื่อตาม Disallow: ที่มันไปเขียนไว้ใน robots.txt ของคุณผ่านระบบชื่อ Bot Preference Sync ผลที่ได้คือ

• crawler แบบ mixed-use ที่ได้สถานะ Accountable ยังเข้ามาได้ เพื่องานค้นหา
• crawler ที่มาเทรนโดยเฉพาะตัวอื่นถูกบล็อกทั้งหมด รวมถึง crawler สายเทรนล้วนของ Amazon, Anthropic, Meta และ OpenAI (บล็อกพวกนี้ไม่กระทบผลค้นหา เพราะแต่ละเจ้าแยก crawler ค้นหากับ crawler เทรนออกจากกันอยู่แล้ว)
• ตัวเลือกนี้มีให้ เฉพาะหมวด Training เท่านั้น ไม่มีใน Search และ Agent

Cloudflare ยังอธิบายตรง ๆ ว่าทำไมลำพัง robots.txt แก้ปัญหานี้ไม่ได้ — “ใครก็เขียนมันได้ แต่มันระบุไม่ได้ว่าใครกำลังเก็บข้อมูล, ตัดสินไม่ได้ว่าเก็บไปทำไม และหยุด crawler ที่ไม่สนใจมันไม่ได้” สิ่งที่เครือข่ายทำได้เพิ่มคือประกาศความต้องการ, ระบุตัวผู้เก็บ, จำแนกว่าเก็บไปทำอะไร, บล็อกตัวที่เมินคำสั่ง แล้วรายงานว่าผู้ให้บริการแต่ละรายทำอะไรจริง

เกณฑ์ Accountable สี่ข้อ

“Accountable” เป็นสถานะที่ Cloudflare ตั้งขึ้นเองหลังคุยกับผู้ให้บริการ crawler ตั้งแต่เดือน ก.ค. โดยนับทั้งความสามารถที่มีแล้ววันนี้และคำมั่นที่มีกรอบเวลา ผู้ให้บริการต้องมีหรือรับปากว่าจะมี

1. กลไกให้เจ้าของเว็บ ปฏิเสธการนำไปเทรน ผ่าน robots.txt หรือมาตรฐานคล้ายกัน
2. กลไก ปฏิเสธ AI Summaries ที่ตั้งกับผู้ให้บริการได้โดยตรง และปีหน้าตั้งผ่าน Cloudflare ได้
3. ความโปร่งใสระดับ URL ว่าหน้าไหนบ้างถูกส่งเข้าไปให้เทรน พร้อมตัวเลขว่าคอนเทนต์ปรากฏในผลค้นหาอย่างไร
4. หลักประกันว่าการปฏิเสธการเทรนจะไม่กระทบอันดับในผลค้นหาแบบดั้งเดิม

Apple, Google และ Microsoft ผ่านเกณฑ์นี้ ส่วน crawler ที่เกี่ยวข้องของ Amazon, Anthropic, Meta และ OpenAI ก็ถูกจัดเป็น Accountable เช่นกัน

แต่รายละเอียดรายเจ้ามีช่องว่างที่ควรอ่าน:

• Google — ปฏิเสธการเทรนด้วย Disallow สำหรับ Google-Extended มีสวิตช์ในพอร์ทัล webmaster สำหรับตัดคอนเทนต์ออกจากผลค้นหาเชิงสร้างสรรค์ และมีรายงานตัวเลขให้แล้ว ส่วนเครื่องมือโปร่งใสระดับ URL สำหรับ Google-Extended Google บอกว่าจะออก “ในอีกไม่กี่สัปดาห์ข้างหน้า”
• Apple — ใช้ Disallow สำหรับ Applebot-Extended และใช้ nosnippet ใน HTML เพื่อกัน AI Summaries แต่ ยังไม่มีเครื่องมือตรวจระดับ URL มีเพียงแผนที่แชร์กับ Cloudflare ว่าจะทำปีหน้า
• Microsoft / Bing — ยังไม่รับคำสั่งห้ามเทรนระดับโดเมนผ่าน robots.txt กำลังสร้างอยู่ ตั้งเป้าต้นปี 2027 จนกว่าจะถึงตอนนั้น การเลือก Disallow AI Training จะไม่ส่งคำสั่งห้ามเทรนไปถึง Bing ผ่าน robots.txt (ซึ่งเป็นพฤติกรรมเดียวกับการตั้งค่า Training Block เดิมที่ไม่เคยมีผลกับ mixed-use crawler อยู่แล้ว) คนที่อยากปฏิเสธการเทรนกับ Bing วันนี้ต้องไปตั้งกับเครื่องมือของ Bing โดยตรง

สิ่งที่เปลี่ยนใต้เท้าคุณ — ปุ่ม Block ไม่เหมือนเดิม

จุดที่เจ้าของเว็บต้องอ่านให้ครบคือ ความหมายของการตั้งค่าเดิมเปลี่ยนไปแล้ว

• Block และ “Block on pages with ads” ตอนนี้มีผลกับ mixed-use crawler ด้วย รวมถึง Applebot, Bingbot และ Googlebot — แปลว่าใครกด Block ตั้งแต่วันนี้คือหยุดพวกมันทั้งหมด ผลค้นหาด้วย
• “Block AI Bots” จะถูกเลิกใช้ แทนที่ด้วยการควบคุมแยก Search / Training / Agent
• Managed Robots.txt จะถูกเลิกใช้ ย้ายไปใช้ Bot Preference Sync ลูกค้าที่เปิดไว้จะถูกย้ายให้
• ลูกค้าเดิมถูกย้ายค่าอัตโนมัติ Cloudflare ระบุว่า “แทบทุกกรณีไม่ต้องทำอะไร” — โดเมนที่เคยตั้ง Training เป็น Block หรือ Block on pages with ads จะถูกย้ายไปเป็น Disallow AI Training
• ตั้งแต่ 15 ก.ย. โดเมนใหม่ที่ onboard จะได้รับ preset สองแบบให้เลือกตามว่าเว็บหารายได้จากโฆษณาหรือไม่ โดยฝั่งที่มีโฆษณาจะเข้มกว่า เพราะรายได้โฆษณาขึ้นกับการที่มีคนเข้ามาเห็นหน้าจริง ๆ

มีสองอย่างที่จงใจไม่ทำ: ไม่มี Disallow AI Training เฉพาะหน้าที่มีโฆษณา เพราะความต้องการแบบนั้นเขียนใน robots.txt ไม่ได้ (Cloudflare ตรวจได้ว่าหน้าไหนมีโฆษณา แต่รายการยาวเกินและเปลี่ยนเร็วเกินกว่าจะไล่ลงไฟล์) และ ไม่มีตัวเลือก Disallow สำหรับ Agent เพราะอินเทอร์เน็ตยังไม่มี directive ที่ยอมรับกันสำหรับบอกความต้องการกับเอเจนต์ที่ทำงานแทนคน

Cloudflare บอกว่าก้าวถัดไปคือให้เจ้าของเว็บคุมได้ว่า ปริมาณ คอนเทนต์แค่ไหนที่ถูกใช้ใน AI Summaries ตั้งครั้งเดียวที่ Cloudflare แทนที่จะไปตั้งทีละราย ตั้งเป้าต้นปีหน้า

มุมมอง AI Curator

เรื่องนี้น่าสนใจตรงที่มันไม่ใช่ฟีเจอร์ แต่เป็น การใช้ตำแหน่งบนเส้นทางทราฟฟิกต่อรองแทนเจ้าของเว็บ Cloudflare ทำสิ่งที่ robots.txt ทำไม่ได้มาสิบกว่าปี คือแปลง “ความต้องการที่บังคับไม่ได้” ให้เป็น “เงื่อนไขที่มีคนคอยตรวจ” และที่สำคัญกว่าคือมันเปลี่ยนโจทย์จาก “บล็อกหรือไม่บล็อก” เป็น “ผู้ให้บริการรายไหนยอมให้คุณเลือกได้บ้าง” — ซึ่งเป็นแรงกดดันที่ตรงจุดกว่า เพราะการบล็อกแค่ทำให้ crawler ตัวหนึ่งหายไป ไม่ได้เปลี่ยนพฤติกรรมของใคร

สำหรับคนทำเว็บในไทย ผมคิดว่าสิ่งที่ต้องทำสัปดาห์นี้มีข้อเดียว: เข้าไปดูว่าโดเมนของคุณถูกย้ายไปอยู่ค่าไหน เพราะการเปลี่ยนความหมายของปุ่ม Block เป็นการเปลี่ยนที่อันตรายเงียบ ๆ ใครเคยกด Block ไว้ด้วยความเข้าใจว่า “มันไม่แตะ Googlebot อยู่แล้ว” แล้วไม่ได้กลับไปดู อาจพบว่าตัวเองหลุดจากดัชนีค้นหาโดยไม่ได้ตั้งใจ — นี่คือความเสี่ยงที่จับต้องได้กว่าเรื่องปรัชญาของการเทรนโมเดลมาก และสำหรับเว็บไทยที่พึ่งทราฟฟิกจาก Google เป็นหลัก ความผิดพลาดหนึ่งคลิกมีราคาแพงกว่าคุณค่าของคอนเทนต์ที่ถูกเอาไปเทรนหลายเท่า

อีกจุดที่ควรเก็บไว้ในใจคือช่องว่างของ Bing: การตั้ง Disallow AI Training วันนี้ ไม่ได้ ห้าม Microsoft เทรนผ่าน robots.txt จนกว่าจะถึงต้นปี 2027 ซึ่งเป็นตัวอย่างที่ดีว่าสถานะ “Accountable” นับ คำมั่นสัญญา ด้วย ไม่ใช่เฉพาะสิ่งที่ทำได้จริงแล้ว เจ้าของเว็บที่ตั้งค่าแล้วคิดว่าจบ ควรเข้าใจว่าปุ่มหนึ่งปุ่มให้ผลไม่เท่ากันกับทุกผู้ให้บริการ และ Cloudflare ก็เขียนไว้ตรง ๆ แล้วว่ามันจะติดตามรายงานให้ว่าใครทำอะไรจริง — ซึ่งแปลว่าหน้าที่ตรวจสอบก็ยังอยู่กับเราอยู่ดี

แหล่งข่าว

• Have it both ways: stay discoverable in search while disallowing AI training — Cloudflare Blog (15 ก.ย. 2026)
• Cloudflare AI Crawl Control — เอกสารทางการ
• Google Search Central — รายการ crawler ของ Google รวมถึง Google-Extended