Case study · Digital signatures / Testing
ลายเซ็นผ่าน ไม่ได้แปลว่าเอกสารเชื่อถือได้
"ลายเซ็นตรวจผ่าน" กับ "เอกสารนี้เชื่อถือได้" เป็นคนละคำถาม ชุดทดสอบนี้สร้าง PDF ที่ลงนามแบบสังเคราะห์ กำหนดผลที่คาดหวังของแต่ละไฟล์ไว้ก่อนรันเครื่องมือใด ๆ แล้วให้เครื่องมือตรวจลายเซ็น 3 ตัวตรวจไฟล์ชุดเดียวกันใน CI เพื่อดูว่าแต่ละตัวรายงานสถานการณ์เหล่านี้อย่างไร
- บทบาท
- เจ้าของงาน: ออกแบบเคสทดสอบ กำหนดผลที่คาดหวังและเกณฑ์ของ CI อ่านผลและตรวจรับทุกการแก้
- ช่วงเวลา
- ต.ค.–พ.ย. 2026 · 27 commits
- เครื่องมือ
- Python, pyHanko, poppler pdfsig, EU DSS (Java), veraPDF, GitHub Actions, Claude Code
โค้ดเขียนร่วมกับ Claude Code (Claude Opus) ภายใต้ requirement และการตรวจรับของผม · ไฟล์ทั้งหมดเป็นข้อมูลสังเคราะห์ ใช้ใบรับรองทดสอบที่สร้างตอนรันแล้วลบทิ้ง · โค้ดเปิดเป็น open source (MIT)
คลิป demo
ประมาณ 2 นาที ไม่มีเสียง อธิบายด้วยกล่องข้อความภาษาไทย · คลิปถ่ายจากหน้าทดสอบที่รันบน Mac เวอร์ชันของเครื่องมือในคลิปจึงอาจต่างจากเวอร์ชันที่ CI ใช้
ปัญหา
เครื่องมือตรวจลายเซ็นตอบคำถามแรกได้ถูกต้อง แต่คำถามที่สองยังค้างอยู่ได้ เช่น มีการแก้ไขต่อท้ายไฟล์หลังลงนามโดยที่ลายเซ็นเดิมยังผ่าน หรือเอกสารเขียนข้อมูลผิดตั้งแต่ก่อนลงนาม ถ้าคนอ่านดูแค่ผลบรรทัดบนสุด ก็อาจพลาดได้
งานนี้จึงเป็นชุดทดสอบ regression ที่บันทึกว่าเครื่องมือแต่ละตัวรายงานอะไร ที่เวอร์ชันไหน และตั้งค่าอย่างไร ไม่ใช่การหาช่องโหว่ใหม่ ไม่ใช่การรับรองตามกฎหมายหรือมาตรฐาน และไม่ใช่การจัดอันดับเครื่องมือ
Requirement
- ข้อมูลสังเคราะห์เท่านั้น: key ทดสอบสร้างตอนรันและไม่เข้า repository
- กำหนดผลที่คาดหวังก่อน: commit ผลที่คาดหวังของทุกเคสก่อนที่เครื่องมือใดจะรันกับไฟล์นั้น
- หลายเครื่องมือ ใช้ verdict แบบเดียวกัน: ผลของทุกตัวถูกแปลงเข้า verdict model เดียว
- ไม่พึ่งบริการภายนอก: TSA, CRL และ OCSP รันในเครื่อง และ CI รันเครื่องมือตรวจโดยไม่มีเครือข่ายออกข้างนอก
- ผลทุกบรรทัดบอกบริบท: เวอร์ชันของเครื่องมือ option ที่ใช้ และวันที่ทดสอบ
เคสทดสอบ
| กลุ่ม | ทดสอบอะไร |
|---|---|
| A | ความถูกต้องของลายเซ็น และลายเซ็นครอบคลุมทั้งไฟล์หรือไม่ |
| B | ความน่าเชื่อถือของใบรับรอง หมดอายุ ถูกเพิกถอน และหลักฐานเวลา |
| C | การแก้ไขหลังลงนาม |
| D | ชื่อบนหน้าเอกสารไม่ตรงกับชื่อในใบรับรอง |
| E | timestamp ของลายเซ็น |
| F | สถานการณ์จำลอง PDF/A-3b ที่แนบ XML สังเคราะห์ |
| N | เคสควบคุม ไม่มีลายเซ็น |
กำหนดเคสไว้ 20 เคส ผลที่เผยแพร่แสดง 19 เคส และงดแสดง 1 เคส เครื่องมือที่ทดสอบคือ pyHanko, pdfsig และ EU DSS ส่วน veraPDF ใช้ตรวจเงื่อนไขของไฟล์ PDF/A-3b ก่อน ไม่ได้อยู่ในกลุ่มที่ถูกทดสอบ
เกณฑ์ของ CI
CI แดงเมื่อเกิดอย่างใดอย่างหนึ่ง:
- property test ของไฟล์ทดสอบไม่ผ่าน หรือไฟล์ที่ระบุว่าเป็น PDF/A-3b ไม่ผ่าน veraPDF
- ขาดเครื่องมือ มีเคสที่ไม่ได้รัน หรือมี error ที่ไม่ได้บันทึกไว้ใน baseline
- มี output ที่แปลงเข้า verdict model ไม่ได้
- ผลต่างจาก baseline ที่ commit ไว้ ทั้งดีขึ้นหรือแย่ลง
- มีไฟล์ใน repository ที่หน้าตาเหมือน key
CI ไม่แดงเพียงเพราะเครื่องมือตอบไม่ตรงกับผลที่คาดหวัง เพราะนั่นคือผลที่ต้องบันทึก ไม่ใช่สิ่งที่ต้องแก้
ผล
57 ผลการตรวจ บน 19 เคส จาก CI run วันที่ 31 ต.ค. 2026
| ผล | จำนวน | ความหมาย |
|---|---|---|
AGREE | 35 | ตรงกับผลที่คาดหวัง |
PARTIAL | 10 | ลายเซ็นผ่าน แต่เครื่องมือไม่ได้ตัดสินการแก้ไข หรือจัดประเภทต่างไป |
INFO | 6 | เคสเพื่อข้อมูล ไม่นับว่าตรงหรือไม่ตรง |
MISSED | 3 | คาดว่าจะปฏิเสธ แต่เครื่องมือยอมรับ |
OVER_REJECTED | 2 | คาดว่าจะยอมรับ แต่เครื่องมือปฏิเสธ |
ERROR | 1 | output ที่แปลงเป็น error ของเครื่องมือ |
ตัวเลขนี้อธิบายชุดเคสโดยรวม ไม่ได้ใช้จัดอันดับเครื่องมือ เครื่องมือที่มี PARTIAL มากกว่าอาจแค่ไม่มีช่องใน output สำหรับการตัดสินแบบนั้น
เคสที่น่าดู
- C4: ยอดบนหน้าเปลี่ยนหลังลงนาม จาก 1000.00 เป็น 9000.00 pyHanko ตอบ
INVALIDส่วน pdfsig และ DSS ให้ลายเซ็นผ่าน แต่รายงานว่าลายเซ็นไม่ครอบคลุมทั้งไฟล์ หรือมีการเปลี่ยนแปลงพร้อมคำเตือน ข้อมูลมีครบในทั้งสามตัว แต่อยู่คนละที่ - D1: ชื่อบนหน้าไม่ตรงกับใบรับรอง ทั้งสามตัวตอบ
VALIDซึ่งถูกต้อง เพราะลายเซ็นไม่ได้รับรองข้อความบนหน้า คนอ่านต้องดูชื่อในใบรับรองเอง - F3: XML ที่แนบขัดกับหน้าเอกสารตั้งแต่ก่อนลงนาม ไม่มีอะไรเปลี่ยนหลังลงนาม ทุกตัวจึงตอบ
VALIDลายเซ็นยืนยันว่าไฟล์ไม่เปลี่ยน ไม่ได้ยืนยันว่าเนื้อหาถูกต้อง - E2: timestamp ที่ไม่น่าเชื่อถือ ผลของ DSS ถูกติดป้ายว่าผลที่คาดหวังของเราเองอาจเป็นฝ่ายผิด และเปิดให้เห็นไว้
Defect ที่เจอในชุดทดสอบเอง
การรันจริงเจอข้อผิดพลาดในตัวชุดทดสอบด้วย ไม่ใช่แค่ในเครื่องมือ
| อาการ | การแก้ |
|---|---|
| ไฟล์ C2 ที่จำลองการกรอกฟอร์ม แทนที่ appearance dictionary ซึ่งโปรแกรมกรอกฟอร์มจริงจะเก็บไว้ | แก้สูตรสร้างไฟล์ |
การแปลงผลของ DSS กว้างเกินไป: นับ ExtensionChange เป็น "ไม่มีการแก้ไข" ทั้งที่ครอบคลุม /Metadata ด้วย | จำกัดให้ใช้เฉพาะใต้ /Catalog /DSS และเพิ่ม unit test |
| ไฟล์ PDF/A ได้ header เวอร์ชัน 2.0 และ metadata ที่ระบุ PDF/A หายไป | veraPDF จับได้ทั้งสองจุด แล้วแก้การสร้างไฟล์ |
flag -no-ocsp ของ pdfsig ทำให้ใบรับรองที่ถูกต้องไม่ผ่านเลย | เลิกใช้ flag นี้ และกันเครือข่ายด้วย network namespace แทน |
DSS ตั้งค่าเริ่มต้นตอบ INDETERMINATE ทุกเคสเมื่อไม่มีข้อมูลการเพิกถอน ผลของเคสอื่นจึงถูกบังหมด | ใบรับรองทดสอบประกาศ noRevAvail ตาม RFC 9608 |
สิ่งที่ได้เรียนรู้
- ผลบรรทัดบนสุดไม่พอ: ข้อมูลที่สำคัญอยู่ใน warning และ coverage
- ไม่มีเครื่องมือตรวจลายเซ็นตัวไหนบอกว่าเอกสารซื่อตรงหรือไม่ และนั่นคือพฤติกรรมที่ถูกต้อง
- การตั้งค่าเป็นส่วนหนึ่งของผล: ผลที่ไม่บอก option ที่ใช้แทบไม่มีความหมาย
- กำหนดผลที่คาดหวังไว้ก่อน ทำให้เห็นจุดที่ผลที่คาดหวังเองอาจผิด
- baseline ควรแดงเมื่อผลดีขึ้นด้วย เพราะการเปลี่ยนแบบเงียบ ๆ ไม่ว่าทางไหน แปลว่ามีบางอย่างเปลี่ยน
ข้อจำกัด
- ผลใช้ได้กับเวอร์ชันที่ระบุบน Ubuntu 24.04 เท่านั้น
- pyHanko เป็นทั้งตัวสร้างไฟล์และหนึ่งในเครื่องมือที่ถูกทดสอบ
- ใช้ลายเซ็นและ key แบบเดียว และไม่ได้เปิดไฟล์ใน PDF viewer
- กลุ่ม F เป็นสถานการณ์จำลองที่ใช้ XML ที่แต่งขึ้น ไม่ใช่การทดสอบความสอดคล้องกับมาตรฐานใด
โค้ด
ดูโค้ด เคสทดสอบ baseline และเอกสารประกอบบน GitHub
เคส C5 เขียนจากคำอธิบายที่เผยแพร่ของ Shadow Attacks (NDSS 2021) โดย Christian Mainka, Vladislav Mladenov และ Simon Rohlmann ไม่ได้ใช้ไฟล์ exploit ของงานนั้น