FineBooks: Hugging Face + EleutherAI วัด OCR โอเพนซอร์ส 14 ตัวกับหนังสือเก่า — รุ่น 0.9B ทำได้ 96.9% ไล่บี้รุ่น 8.3B

เมื่อ 10 สิงหาคม 2026 Hugging Face ร่วมกับ EleutherAI เผยแพร่ FineBooks — โครงการที่ตั้งคำถามตรงไปตรงมาว่า โมเดล OCR โอเพนซอร์สทุกวันนี้ดีพอจะปลดล็อกความรู้จากหนังสือเก่าในระดับสเกลใหญ่แล้วหรือยัง เพราะถ้าคำตอบคือใช่ ก็แปลว่าคลังหนังสือสาธารณสมบัติทั้งโลกที่เคยถูกสแกนด้วย OCR ยุคเก่า สามารถนำมาประมวลผลใหม่ให้ได้ข้อความสะอาดพอสำหรับใช้เทรนโมเดลภาษาได้

ปัญหานี้สำคัญกว่าที่เห็น และทีมวิจัยวัดออกมาเป็นตัวเลขได้: โมเดลภาษาที่เทรนด้วยข้อความจาก OCR เรียนรู้ได้เพียง 30% ของประสิทธิภาพ เมื่อเทียบกับโมเดลตัวเดียวกันที่เทรนด้วยข้อความที่มนุษย์ถอดจากหนังสือเล่มเดียวกัน — ข้อความ OCR คุณภาพต่ำไม่ได้แค่ “มีสัญญาณรบกวนนิดหน่อย” แต่ทำให้โทเคนเกือบสามในสี่ส่วนแทบไม่สร้างมูลค่าในการเทรนเลย

ชุดข้อมูลที่ใช้วัด

จุดแข็งของงานนี้อยู่ที่ ground truth ไม่ใช่ที่โมเดล:

รายการ	รายละเอียด
ชื่อชุดข้อมูล	finebooks/bhl-impact-gt
ขนาด	2,165 หน้า พร้อมคำตอบอ้างอิง
ที่มา	Biodiversity Heritage Library
ผู้ถอดข้อความ	โครงการ IMPACT ระหว่างปี 2011–2012
ความแม่นยำของ ground truth	ผิดราว 1 อักขระต่อ 2,000 อักขระ
ภาษา	อังกฤษ ฝรั่งเศส เยอรมัน ละติน
เนื้อหา	หนังสือประวัติศาสตร์ธรรมชาติ 6 เล่ม พิมพ์ระหว่างปี 1708–1913
ใบอนุญาต	CC-BY 3.0

การวัดใช้ CER (Character Error Rate) และรันการประเมินทั้งหมดผ่านโครงสร้าง Hugging Face Jobs ซึ่งหมายความว่าใครก็ทำซ้ำได้ ไม่ใช่ตัวเลขที่มาจากเครื่องภายในของทีมใดทีมหนึ่ง

ผลลัพธ์: ขนาดไม่ใช่ตัวชี้ขาดอีกต่อไป

จากโมเดล open-weight ทั้ง 14 ตัว ที่ทดสอบ อันดับต้น ๆ เป็นดังนี้ (ความแม่นยำระดับอักขระ):

โมเดล	ขนาด	ความแม่นยำ
dots.mocr	3B	97.6%
OvisOCR2	0.9B	96.9%
PaddleOCR-VL-1.6	1B	96.1%
olmOCR-2	8.3B	95.7%
LightOnOCR-2	1B	95.1%
Qwen3.5-9B	9B	94.9%
DeepSeek-OCR	3.3B	93.8%

ตัวเลขที่สะดุดตาที่สุดคือ OvisOCR2 ขนาดเพียง 0.9B ทำได้ 96.9% แซง olmOCR-2 ที่ใหญ่กว่าเกือบสิบเท่า และแซง Qwen3.5-9B ด้วย ส่วนผู้ชนะอย่าง dots.mocr ก็มีแค่ 3B

นี่คือรูปแบบที่ตรงข้ามกับสัญชาตญาณที่เราคุ้นเคยจากโมเดลภาษา — ในงาน OCR ซึ่งเป็นงานที่นิยามขอบเขตชัดเจน โมเดลเล็กที่ฝึกมาเฉพาะทางเอาชนะโมเดลใหญ่ที่ทำได้หลายอย่างได้สบาย และช่องว่างระหว่างอันดับ 1 กับอันดับ 7 ทั้งตารางอยู่ที่ไม่ถึง 4 จุดเท่านั้น

ต้นทุนก็ต่ำกว่าที่หลายคนคิด รายงานระบุค่าประมวลผลอยู่ระหว่าง 0.34–1.94 ดอลลาร์ต่อ 1,000 หน้า โดยส่วนใหญ่เกาะกลุ่มกันที่ราว 0.37–0.46 ดอลลาร์ — แปลว่าการแปลงคลังเอกสารระดับล้านหน้าเป็นงบหลักร้อยดอลลาร์ ไม่ใช่หลักแสน

แต่ยัง “ยังไม่พอ” สำหรับงานวิชาการ

ทีมวิจัยตอบคำถามว่าใช้แทนการถอดข้อความเชิงวิชาการได้หรือยังด้วยคำว่า “ยังไม่ถึงตรงนั้น” และเหตุผลน่าสนใจมาก — ปัญหาไม่ใช่ว่าโมเดลอ่านหน้ากระดาษผิด แต่คือมัน “ปรับข้อความให้ทันสมัยโดยเงียบ ๆ” เช่นแปลงอักษร long-s (ſ) ให้เป็น s ธรรมดา และคลี่ ligature ออก ซึ่งเป็นรายละเอียดที่การถอดข้อความเชิงวิชาการต้องรักษาไว้

นี่คือความผิดพลาดประเภทที่อันตรายที่สุด เพราะมันไม่ทิ้งร่องรอย ข้อความที่ออกมาอ่านลื่นไหลถูกต้องทุกประการ จนไม่มีใครรู้ว่าข้อมูลทางอักขรวิทยาหายไปแล้ว ต่างจาก OCR ยุคเก่าที่พังแบบเห็นชัดจนตรวจจับได้ง่าย

มุมมอง AI Curator

สิ่งที่มีค่าที่สุดในงานนี้ไม่ใช่ตารางอันดับ แต่คือ ชุดข้อมูล ground truth ที่ปล่อยออกมาแบบ CC-BY งานถอดข้อความของโครงการ IMPACT เมื่อปี 2011–2012 ใช้แรงมนุษย์ล้วน ๆ จนได้ความแม่นยำระดับผิด 1 ใน 2,000 อักขระ — ต้นทุนแบบนั้นไม่มีใครจ่ายซ้ำได้อีกแล้ว การที่มันถูกขุดกลับมาใช้เป็นไม้บรรทัดวัดโมเดลยุคนี้ คือบทเรียนว่าการลงทุนกับข้อมูลคุณภาพสูงมีอายุยืนกว่าโมเดลทุกตัวที่มันวัด

สำหรับบริบทไทย นี่เป็นแม่แบบที่ควรลอกทันที เรามีเอกสารที่ยังอ่านด้วยเครื่องไม่ได้กองมหาศาล — หนังสือราชการเก่า ใบลาน จารึก หนังสือพิมพ์ยุคก่อนดิจิทัล เอกสารศาล — และปัญหาที่แท้จริงไม่ใช่ “ไม่มีโมเดล OCR ภาษาไทย” แต่คือ ไม่มีชุด ground truth ภาษาไทยที่เปิดสาธารณะและใหญ่พอจะใช้วัดกันได้จริง ตราบใดที่แต่ละทีมยังวัดกันเองด้วยชุดทดสอบของตัวเอง เราจะไม่มีวันรู้ว่าโมเดลไหนดีกว่ากันจริง 2,165 หน้าไม่ใช่จำนวนที่มหาศาล — เป็นสเกลที่ทุนวิจัยไทยระดับกลางทำได้ ถ้ามีใครสักคนเริ่ม

ในทางปฏิบัติ ผลลัพธ์นี้เปลี่ยนการคำนวณต้นทุนของงาน digitization ไปพอสมควร ถ้าโมเดลระดับ 1B ทำได้ 96% แปลว่าการแปลงคลังเอกสารทั้งกองรันบนเครื่องธรรมดาได้ ไม่ต้องยิง API ทีละหน้า ไม่ต้องส่งเอกสารออกนอกองค์กร — เป็นเงื่อนไขที่สำคัญมากกับหอจดหมายเหตุและห้องสมุดที่มีทั้งข้อจำกัดงบและข้อจำกัดด้านลิขสิทธิ์กับความเป็นส่วนตัว

ข้อควรระวัง: ชุดทดสอบนี้เป็นภาษาอังกฤษ ฝรั่งเศส เยอรมัน และละติน ซึ่งล้วนเป็นอักษรละติน อย่าเผลอเอาตัวเลข 97.6% ไปคาดหวังกับอักษรไทยที่มีสระบนล่างและวรรณยุกต์ซ้อนกัน — ระบบเขียนคนละแบบ ความยากคนละระดับ ตัวเลขจาก FineBooks ใช้เป็นวิธีการที่ควรลอก ไม่ใช่ผลลัพธ์ที่ควรยืมมาอ้าง

แหล่งข่าว

• FineBooks: are open OCR models good enough to unlock historical knowledge? — Hugging Face
• Old OCR text cripples language model training, and FineBooks wants to fix that at scale — The Decoder
• ชุดข้อมูล finebooks/bhl-impact-gt — Hugging Face