แพทย์ผิวหนังทดสอบ: CNN รุ่นปี 2015 ที่ fine-tune 20 นาที วินิจฉัยรอยโรคผิวหนังถูก 62% ส่วน GPT-6 Astra กับ Claude Fable 5.1 ได้ 42% แต่ถ้าใช้ threshold ที่ตั้งมา CNN ปล่อยเมลาโนมาไป 18 จาก 30 ราย

Dr Magnus Lynch แพทย์ผิวหนังและศัลยแพทย์ Mohs ที่ Guy’s Hospital ซึ่งเป็น Honorary Reader ที่ King’s College London ด้วย เผยแพร่ผลทดสอบ A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis เมื่อ 25 ต.ค. 2026 และขึ้นหน้าแรก Hacker News ได้กว่า 560 คะแนน เขาส่งภาพรอยโรคผิวหนังให้ GPT-6 Astra และ Claude Fable 5.1 วินิจฉัย แล้วเทียบกับ Inception v3 ซึ่งเป็น CNN ที่ Google เผยแพร่ตั้งแต่ปี 2015 โดยเขาเอามา fine-tune เองบน H100 ตัวเดียวประมาณ 20 นาที

ผลคือ CNN วินิจฉัยถูก 125 จาก 200 ราย (62%) ส่วน LLM ทั้งสองตัวถูก 84 และ 85 ราย (42%) แต่ถ้าดูตารางผลเต็มจะเห็นว่าข้อสรุปมีมากกว่าพาดหัว เพราะในคำถามที่สำคัญที่สุดทางคลินิก คือ “ปล่อยคนไข้กลับบ้านได้หรือไม่” ผลออกมาไม่ได้เข้าข้าง CNN ไปทั้งหมด

วิธีทดสอบ

• ข้อมูล: สุ่มรอยโรค 200 รายจาก MILK10k ชุดข้อมูลสาธารณะของ International Skin Imaging Collaboration (2025) ทุกรายยืนยันผลด้วยชิ้นเนื้อ และมีภาพสองแบบคือภาพถ่ายทางคลินิกกับภาพ dermoscopy
• แบ่งกลุ่ม: กลุ่มที่ไม่ควรปล่อยกลับ 100 ราย (เมลาโนมา 30, BCC 25, SCC 25, actinic keratosis 20) และกลุ่มที่ปล่อยกลับได้ 100 ราย (ไฝ 50, seborrhoeic keratosis 50)
• LLM: ได้รับภาพทั้งสองแบบพร้อม prompt เดียวกัน ใช้ค่าตั้งต้น ให้เลือกหนึ่งในหกโรค (หรือตอบว่า “ไม่แน่ใจ”) พร้อมระดับความมั่นใจ คำตอบลำดับสอง และตัดสินว่าปล่อยกลับได้หรือไม่ ไม่มีโมเดลใดปฏิเสธที่จะตอบ
• CNN: Inception v3 ที่ pretrain บนภาพทั่วไป แล้ว fine-tune ทุกชั้นบนภาพ dermoscopy และภาพคลินิก 68,011 ภาพ จาก ISIC Archive ผู้ทดสอบตัดภาพของรอยโรคและผู้ป่วยทั้ง 200 รายออกจากข้อมูลฝึกและ validation ทั้งหมด

ผล: วินิจฉัยแม่นกว่า แต่การปล่อยกลับบ้านขึ้นกับ threshold

	GPT-6 Astra	Claude Fable 5.1	CNN (Inception v3)
วินิจฉัยถูก (จาก 200)	84 (42%)	85 (42%)	125 (62%)
ถูกในคำตอบที่ 1 หรือ 2	134	138	173
เมลาโนมาถูกเป็นคำตอบแรก (จาก 30)	8	11	13
เก็บรายที่ไม่ควรปล่อยไว้ได้ (จาก 100)	97	96	77 ที่ threshold ที่ตั้งไว้ / 98–99 เมื่อปรับให้เท่ากับ LLM
ปล่อยรายที่ปลอดภัยกลับได้ (จาก 100)	32	22	76 ที่ threshold ที่ตั้งไว้
ปล่อยเมลาโนมากลับบ้าน (จาก 30)	3	4	18 ที่ threshold ที่ตั้งไว้ / 2 หรือ 1 เมื่อปรับให้เท่ากับ LLM

แถวสุดท้ายเป็นตัวเลขที่ควรดูมากที่สุด ที่ threshold ที่ตั้งไว้ CNN ปล่อยรายที่ปลอดภัยกลับบ้านได้มาก (76 ราย) แต่ก็ปล่อยเมลาโนมากลับไปด้วยถึง 18 จาก 30 ราย เมื่อปรับ threshold ให้เก็บรายเสี่ยงไว้ได้เท่ากับ LLM ตัวเลขนี้ลดเหลือ 1–2 ราย ซึ่งดีกว่า LLM อย่างไรก็ตาม บทความไม่ได้บอกว่าหลังปรับ threshold แล้ว CNN ยังปล่อยรายที่ปลอดภัยกลับได้กี่ราย

LLM แต่ละตัวผิดพลาดในแบบของตัวเอง GPT-6 Astra ตอบว่าเป็น BCC ถึง 75 ราย จากที่เป็น BCC จริงแค่ 25 ราย และในนั้นมีเมลาโนมา 14 จาก 30 ราย ส่วน Claude Fable 5.1 ตอบว่าเป็น actinic keratosis 53 ราย จากที่เป็นจริง 20 ราย และถูกเพียง 6 จาก 50 ราย ในกลุ่ม seborrhoeic keratosis ด้าน CNN เมื่อพลาดเมลาโนมามักทายว่าเป็นไฝหรือ seborrhoeic keratosis ซึ่งเป็นรอยโรคไม่อันตราย ข้อผิดพลาดแบบนี้จึงเสี่ยงกว่า เพราะทำให้คนไข้ถูกปล่อยกลับบ้าน ในอีกการทดสอบหนึ่งที่ถามแบบคนไข้ว่า “ต้องไปหาหมอไหม” โดยให้แค่ภาพคลินิก LLM ทั้งสองตัวแนะนำให้ไปหาหมอเกือบทุกราย รวมทั้งเมลาโนมาอีก 100 รายในชุดเพิ่มเติม ซึ่งแนะนำให้ไปหาหมอ 99 และ 98 ราย

ข้อจำกัดที่ผู้ทดสอบระบุเอง

• ตัวอย่างน้อย: 200 รายพอเห็นแนวโน้ม แต่ไม่พอจัดอันดับผลที่ใกล้กัน และเมลาโนมา 30 รายมีความไม่แน่นอนสูง LLM รันแต่ละเคสครั้งเดียว ถ้ารันซ้ำคำตอบอาจไม่เหมือนเดิม
• เคสยาก: ทุกรายผ่านการตัดชิ้นเนื้อ บนภาพทั่วไปจาก archive CNN ได้ AUC 0.96 แต่บนชุดนี้ได้ 0.86
• ข้อมูลอาจรั่ว: MILK10k เป็นข้อมูลสาธารณะตั้งแต่ปี 2025 LLM อาจเคยเห็นในข้อมูลฝึก ซึ่งถ้าเป็นเช่นนั้นจะทำให้ LLM ได้เปรียบ
• ไม่ใช่ SOTA: Inception v3 เป็นแค่ baseline ระบบที่เป็นผลิตภัณฑ์ที่ผ่านการรับรองแล้วทำได้ดีกว่านี้มาก
• ไม่ใช่งานที่ผ่าน peer review และผู้เขียนเปิดเผยว่าใช้ Claude Code ช่วยวิเคราะห์และร่างบทความ (การให้คะแนนใช้สคริปต์เทียบกับผลชิ้นเนื้อ) เคส, prompt, คำตอบทุกข้อของ LLM และโค้ดให้คะแนนเปิดให้ดาวน์โหลด ส่วน CNN ลองใช้ได้บนเบราว์เซอร์มือถือผ่าน WebGPU โดยไม่ต้องอัปโหลดภาพ

มุมมอง AI Curator

ข้อสรุปที่นักพัฒนาควรได้จากการทดสอบนี้ไม่ใช่ “LLM แย่” แต่คือ โมเดลเฉพาะทางขนาดเล็กที่ฝึกบนข้อมูลที่มีป้ายกำกับดี ยังชนะโมเดลทั่วไปที่ใหญ่กว่าหลายพันเท่าในงานที่ขอบเขตแคบและวัดผลได้ Inception v3 มีพารามิเตอร์ประมาณ 24 ล้านตัว รันในเบราว์เซอร์มือถือได้ และ fine-tune เสร็จใน 20 นาที ทีมที่กำลังจะเรียก API ของ frontier model สำหรับงานจำแนกภาพในโรงงาน การเกษตร หรือการแพทย์ ควรลองเทียบกับ baseline แบบนี้ก่อน เพราะต้นทุนต่อครั้งต่างกันมาก และ CNN ยังรันบนเครื่องได้โดยไม่ต้องส่งภาพคนไข้ออกนอกโรงพยาบาล ซึ่งเป็นเรื่องสำคัญภายใต้ PDPA ของไทย

แต่ตารางผลก็เตือนอีกเรื่องหนึ่งด้วย ความแม่นยำโดยรวมไม่ใช่ตัวเลขที่ใช้ตัดสินในงานแพทย์ CNN ที่ “ชนะ 62% ต่อ 42%” แต่ใช้ threshold ที่ไม่ได้ปรับ ปล่อยเมลาโนมากลับบ้านมากกว่า LLM ถึงสี่เท่า ระบบที่ใช้งานจริงต้องเลือก threshold จากต้นทุนของความผิดพลาดแต่ละแบบ และต้องวัดบนข้อมูลของประชากรที่จะใช้งานจริง MILK10k และ ISIC เป็นภาพผิวขาวเป็นส่วนใหญ่ ผลบนผิวคนไทยและคนในภูมิภาคนี้อาจต่างออกไปมาก

การทดสอบแบบถามในฐานะคนไข้ก็ชี้ให้เห็นอีกด้านหนึ่ง LLM เลือกตอบแบบปลอดภัยไว้ก่อน คือแนะนำให้ไปหาหมอเกือบทุกราย ซึ่งไม่ทำร้ายใครโดยตรง แต่ถ้าคนจำนวนมากใช้ chatbot คัดกรองตัวเองในระบบที่แพทย์ผิวหนังมีน้อยอย่างประเทศไทย ภาระก็จะตกไปที่คลินิกอยู่ดี ถ้าจะใช้ AI คัดกรองจริง สิ่งที่ต้องมีคือโมเดลเฉพาะทางที่ผ่านการรับรองและตั้ง threshold อย่างระมัดระวัง ไม่ใช่ chatbot ทั่วไปที่ตอบไปตามที่เห็นในภาพ

แหล่งข่าว

• Lynch Lab — A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis (25 ต.ค. 2026)
• Hacker News — การพูดคุยเรื่องผลทดสอบ
• MILK10k dataset (ISIC, DOI 10.34970/648456)