Case study · Digital signatures / Testing

ลายเซ็นผ่าน ไม่ได้แปลว่าเอกสารเชื่อถือได้

"ลายเซ็นตรวจผ่าน" กับ "เอกสารนี้เชื่อถือได้" เป็นคนละคำถาม ชุดทดสอบนี้สร้าง PDF ที่ลงนามแบบสังเคราะห์ กำหนดผลที่คาดหวังของแต่ละไฟล์ไว้ก่อนรันเครื่องมือใด ๆ แล้วให้เครื่องมือตรวจลายเซ็น 3 ตัวตรวจไฟล์ชุดเดียวกันใน CI เพื่อดูว่าแต่ละตัวรายงานสถานการณ์เหล่านี้อย่างไร

บทบาท
เจ้าของงาน: ออกแบบเคสทดสอบ กำหนดผลที่คาดหวังและเกณฑ์ของ CI อ่านผลและตรวจรับทุกการแก้
ช่วงเวลา
ต.ค.–พ.ย. 2026 · 27 commits
เครื่องมือ
Python, pyHanko, poppler pdfsig, EU DSS (Java), veraPDF, GitHub Actions, Claude Code

โค้ดเขียนร่วมกับ Claude Code (Claude Opus) ภายใต้ requirement และการตรวจรับของผม · ไฟล์ทั้งหมดเป็นข้อมูลสังเคราะห์ ใช้ใบรับรองทดสอบที่สร้างตอนรันแล้วลบทิ้ง · โค้ดเปิดเป็น open source (MIT)

คลิป demo

ประมาณ 2 นาที ไม่มีเสียง อธิบายด้วยกล่องข้อความภาษาไทย · คลิปถ่ายจากหน้าทดสอบที่รันบน Mac เวอร์ชันของเครื่องมือในคลิปจึงอาจต่างจากเวอร์ชันที่ CI ใช้

ปัญหา

เครื่องมือตรวจลายเซ็นตอบคำถามแรกได้ถูกต้อง แต่คำถามที่สองยังค้างอยู่ได้ เช่น มีการแก้ไขต่อท้ายไฟล์หลังลงนามโดยที่ลายเซ็นเดิมยังผ่าน หรือเอกสารเขียนข้อมูลผิดตั้งแต่ก่อนลงนาม ถ้าคนอ่านดูแค่ผลบรรทัดบนสุด ก็อาจพลาดได้

งานนี้จึงเป็นชุดทดสอบ regression ที่บันทึกว่าเครื่องมือแต่ละตัวรายงานอะไร ที่เวอร์ชันไหน และตั้งค่าอย่างไร ไม่ใช่การหาช่องโหว่ใหม่ ไม่ใช่การรับรองตามกฎหมายหรือมาตรฐาน และไม่ใช่การจัดอันดับเครื่องมือ

Requirement

  1. ข้อมูลสังเคราะห์เท่านั้น: key ทดสอบสร้างตอนรันและไม่เข้า repository
  2. กำหนดผลที่คาดหวังก่อน: commit ผลที่คาดหวังของทุกเคสก่อนที่เครื่องมือใดจะรันกับไฟล์นั้น
  3. หลายเครื่องมือ ใช้ verdict แบบเดียวกัน: ผลของทุกตัวถูกแปลงเข้า verdict model เดียว
  4. ไม่พึ่งบริการภายนอก: TSA, CRL และ OCSP รันในเครื่อง และ CI รันเครื่องมือตรวจโดยไม่มีเครือข่ายออกข้างนอก
  5. ผลทุกบรรทัดบอกบริบท: เวอร์ชันของเครื่องมือ option ที่ใช้ และวันที่ทดสอบ

เคสทดสอบ

กลุ่มทดสอบอะไร
Aความถูกต้องของลายเซ็น และลายเซ็นครอบคลุมทั้งไฟล์หรือไม่
Bความน่าเชื่อถือของใบรับรอง หมดอายุ ถูกเพิกถอน และหลักฐานเวลา
Cการแก้ไขหลังลงนาม
Dชื่อบนหน้าเอกสารไม่ตรงกับชื่อในใบรับรอง
Etimestamp ของลายเซ็น
Fสถานการณ์จำลอง PDF/A-3b ที่แนบ XML สังเคราะห์
Nเคสควบคุม ไม่มีลายเซ็น

กำหนดเคสไว้ 20 เคส ผลที่เผยแพร่แสดง 19 เคส และงดแสดง 1 เคส เครื่องมือที่ทดสอบคือ pyHanko, pdfsig และ EU DSS ส่วน veraPDF ใช้ตรวจเงื่อนไขของไฟล์ PDF/A-3b ก่อน ไม่ได้อยู่ในกลุ่มที่ถูกทดสอบ

เกณฑ์ของ CI

CI แดงเมื่อเกิดอย่างใดอย่างหนึ่ง:

  1. property test ของไฟล์ทดสอบไม่ผ่าน หรือไฟล์ที่ระบุว่าเป็น PDF/A-3b ไม่ผ่าน veraPDF
  2. ขาดเครื่องมือ มีเคสที่ไม่ได้รัน หรือมี error ที่ไม่ได้บันทึกไว้ใน baseline
  3. มี output ที่แปลงเข้า verdict model ไม่ได้
  4. ผลต่างจาก baseline ที่ commit ไว้ ทั้งดีขึ้นหรือแย่ลง
  5. มีไฟล์ใน repository ที่หน้าตาเหมือน key

CI ไม่แดงเพียงเพราะเครื่องมือตอบไม่ตรงกับผลที่คาดหวัง เพราะนั่นคือผลที่ต้องบันทึก ไม่ใช่สิ่งที่ต้องแก้

ผล

57 ผลการตรวจ บน 19 เคส จาก CI run วันที่ 31 ต.ค. 2026

ผลจำนวนความหมาย
AGREE35ตรงกับผลที่คาดหวัง
PARTIAL10ลายเซ็นผ่าน แต่เครื่องมือไม่ได้ตัดสินการแก้ไข หรือจัดประเภทต่างไป
INFO6เคสเพื่อข้อมูล ไม่นับว่าตรงหรือไม่ตรง
MISSED3คาดว่าจะปฏิเสธ แต่เครื่องมือยอมรับ
OVER_REJECTED2คาดว่าจะยอมรับ แต่เครื่องมือปฏิเสธ
ERROR1output ที่แปลงเป็น error ของเครื่องมือ

ตัวเลขนี้อธิบายชุดเคสโดยรวม ไม่ได้ใช้จัดอันดับเครื่องมือ เครื่องมือที่มี PARTIAL มากกว่าอาจแค่ไม่มีช่องใน output สำหรับการตัดสินแบบนั้น

เคสที่น่าดู

Defect ที่เจอในชุดทดสอบเอง

การรันจริงเจอข้อผิดพลาดในตัวชุดทดสอบด้วย ไม่ใช่แค่ในเครื่องมือ

อาการการแก้
ไฟล์ C2 ที่จำลองการกรอกฟอร์ม แทนที่ appearance dictionary ซึ่งโปรแกรมกรอกฟอร์มจริงจะเก็บไว้แก้สูตรสร้างไฟล์
การแปลงผลของ DSS กว้างเกินไป: นับ ExtensionChange เป็น "ไม่มีการแก้ไข" ทั้งที่ครอบคลุม /Metadata ด้วยจำกัดให้ใช้เฉพาะใต้ /Catalog /DSS และเพิ่ม unit test
ไฟล์ PDF/A ได้ header เวอร์ชัน 2.0 และ metadata ที่ระบุ PDF/A หายไปveraPDF จับได้ทั้งสองจุด แล้วแก้การสร้างไฟล์
flag -no-ocsp ของ pdfsig ทำให้ใบรับรองที่ถูกต้องไม่ผ่านเลยเลิกใช้ flag นี้ และกันเครือข่ายด้วย network namespace แทน
DSS ตั้งค่าเริ่มต้นตอบ INDETERMINATE ทุกเคสเมื่อไม่มีข้อมูลการเพิกถอน ผลของเคสอื่นจึงถูกบังหมดใบรับรองทดสอบประกาศ noRevAvail ตาม RFC 9608

สิ่งที่ได้เรียนรู้

ข้อจำกัด

โค้ด

ดูโค้ด เคสทดสอบ baseline และเอกสารประกอบบน GitHub

เคส C5 เขียนจากคำอธิบายที่เผยแพร่ของ Shadow Attacks (NDSS 2021) โดย Christian Mainka, Vladislav Mladenov และ Simon Rohlmann ไม่ได้ใช้ไฟล์ exploit ของงานนั้น