Case study · AI agents / QA

Dashboard สำหรับทีม AI agents: เห็นว่าใครมอบงานให้ใคร แบบ live

ผมใช้ทีม AI agents ของ Claude Code ทำงานจริงทุกวัน มีทั้งเลขา, PM, Dev, QA และ Writer แต่ละตัวมอบงานต่อกันเป็นทอด ๆ ปัญหาคือมองไม่เห็นว่าตอนนี้ใครทำอะไร และงานไปติดอยู่ที่ใคร งานนี้จึงสร้าง dashboard แบบ live ขึ้นมาดู และใช้ทีม AI ชุดเดียวกันนั้นเป็นคนสร้าง โดยมีผมเป็นผู้ตรวจรับ

บทบาท
เจ้าของงาน: เขียน requirement, ตั้งเกณฑ์ตรวจรับ, ตัดสินใจเรื่อง trade-off และตรวจรับทุกรอบ
ช่วงเวลา
11 ต.ค.–3 พ.ย. 2026 · 58 commits
เครื่องมือ
Claude Code (hooks, sub-agents), Node.js, Server-Sent Events, Three.js

ภาพหน้าจอทุกภาพสร้างจาก event สังเคราะห์ (demo) ไม่ใช่ข้อมูลการใช้งานจริง · โค้ดเขียนโดย AI agents (Claude) ภายใต้ requirement และการตรวจรับของผม · ระบบรันในเครื่องเท่านั้น ไม่ได้เปิดเป็นบริการ

หน้า Workspace: ดวงอาทิตย์คือเลขา ดาวเคราะห์คือ agent แต่ละตัว ดาวหางคืองานที่เพิ่งถูกมอบ ด้านขวาเป็นรายชื่อ agent พร้อมสถานะ และ log
หน้า Workspace: ดวงอาทิตย์คือเลขาที่รับงานจากผม ดาวเคราะห์คือ agent แต่ละตัว ดาวหางคืองานที่เพิ่งถูกมอบ ด้านขวาเป็นสถานะและ log แบบ live

ปัญหา

ทีม AI agents ทำงานเป็นสายโซ่ เลขารับคำสั่ง ส่งต่อให้ Dev แล้ว Dev ส่งต่อให้ QA ตรวจ ทั้งหมดเกิดขึ้นใน terminal เป็นข้อความยาว ๆ คนที่สั่งงานจึงตอบคำถามง่าย ๆ ไม่ได้ เช่น

Requirement

  1. เห็นแบบ live: แสดงว่าใครมอบงานให้ใคร และสถานะของแต่ละงาน (running / done / failed / stale) โดยรับข้อมูลจาก Claude Code hooks
  2. รีเฟรชแล้วข้อมูลไม่หาย: ปิดเปิดหน้าใหม่ หรือหลุดการเชื่อมต่อ ต้องได้สถานะเดิมกลับมาครบ
  3. ไม่เก็บข้อมูลอ่อนไหว: ไม่เก็บ prompt, transcript หรือเนื้อหาไฟล์ ข้อความที่เก็บต้องผ่านการ redact ก่อน
  4. ปลอดภัยแม้รันในเครื่อง: ต้องไม่ให้เว็บอื่นหรือโปรแกรมอื่นในเครื่องสั่งงานแทนเจ้าของได้
  5. ดูแลง่าย: ไม่มี dependency ภายนอก ไม่มี framework ไม่มี build step
  6. คนเป็นผู้อนุมัติ: คำสั่งที่ส่งจาก dashboard ต้องรอเจ้าของกดอนุมัติก่อนทุกครั้ง server ไม่เรียกโมเดลหรือรันคำสั่งเอง

วิธีทำงาน: ทีม AI เป็นคนสร้าง คนเป็นผู้ตรวจรับ

ผมไม่ได้เขียนโค้ดเอง แต่ทำหน้าที่แบบเดียวกับที่ทำในงาน QA และดูแลโปรเจกต์ คือแปลงความต้องการให้เป็นข้อกำหนดที่ตรวจได้ แล้วตรวจรับผลงาน

ขั้นใครทำสิ่งที่ได้
Requirement และเกณฑ์ตรวจรับผมขอบเขตงานต่อรอบ และเกณฑ์ว่าผ่านหรือไม่ผ่าน
เขียนโค้ดและ testsDev agentโค้ดพร้อม tests ทุกครั้งที่แก้
รีวิวและหา defectQA agent (อ่านอย่างเดียว แก้โค้ดไม่ได้)รายการ finding ที่มีรหัส เช่น F1–F8 ส่งกลับให้ Dev แก้
ตรวจรับผมดูผลจริงบนหน้าจอ อ่านรายงาน แล้วตัดสินว่าจะ merge หรือส่งกลับ

การแยกให้ QA agent แก้โค้ดไม่ได้ เป็นการตั้งใจ จะได้เป็นคนตรวจที่เป็นอิสระจากคนเขียน เหมือนการแยกทีม QA ออกจากทีม dev ในงานจริง

สิ่งที่สร้าง

Dev agent มีงานเปิดอยู่ 6 งาน แสดงเป็นดวงจันทร์ 4 ดวงพร้อมป้าย +2 และ HUD ด้านขวาแสดงงานที่เปิดอยู่ทั้งหมด
Dev agent มี 6 งานเปิดพร้อมกัน แสดงเป็นดวงจันทร์ 4 ดวงกับป้าย +2 และ HUD แสดงงานที่เปิดอยู่ทั้งหมด
หน้า Neural Brain: KPI ด้านซ้าย สมอง 3D ตรงกลาง รายชื่อ agent พร้อมสถานะด้านขวา และกราฟรายนาที รายชั่วโมง ภาระงานต่อ agent และ heatmap ด้านล่าง
หน้า Neural Brain: เส้นในสมองคือการมอบงานระหว่าง agent ความหนาของเส้นคือจำนวนครั้ง ด้านล่างเป็นกราฟและ heatmap

Security และ privacy

แม้จะรันในเครื่องตัวเอง แต่ dashboard รับคำสั่งเข้าคิวงานของ AI ได้ จึงต้องกันไม่ให้ใครสั่งงานแทนได้

ความเสี่ยงการป้องกัน
เครื่องอื่นในเครือข่ายเข้าถึงbind ที่ 127.0.0.1 เท่านั้น
DNS rebinding และเว็บอื่นยิง request เข้ามาตรวจ Host และ Origin ทุก request ไม่ตรงได้ 403
โปรแกรมอื่นในเครื่องสั่งงานแทนPOST ทุก route ต้องมี token ที่สุ่มใหม่ทุกครั้งที่ start server
Script แปลกปลอมในหน้าเว็บCSP แบบ default-src 'self' ไม่มี inline script ใช้ textContent แทน innerHTML และเสิร์ฟเฉพาะไฟล์ใน whitelist
ข้อมูลลับหลุดลง logไม่เก็บ prompt และ transcript ข้อความที่เก็บถูกตัดสั้นและ redact token, key, email และชื่อโฟลเดอร์ home
AI รันคำสั่งเองโดยไม่ได้รับอนุญาตคำสั่งจาก dashboard เข้าคิวเป็น pending_approval ก่อนเสมอ ต้องให้เจ้าของกดอนุมัติ

ข้อจำกัดของการ redact เขียนเปิดเผยไว้ในเอกสารของโปรเจกต์ด้วย เช่น my pass is hunter2 ที่ไม่มี : หรือ = จะไม่ถูกจับ

Defect ที่เจอและการแก้

อาการสาเหตุการแก้
Agent ค้างสถานะ PROCESSING ทั้งที่ไม่ได้ทำงานมีการเรียก agent ที่ไม่เคยเริ่มทำงานจริง แต่ dashboard นับเป็นงานที่เปิดอยู่ไม่นับการเรียกที่ไม่มี event เริ่มงานตามมา
เปิดหลาย session พร้อมกันแล้วหน้าจอล้างตัวเองสลับไปมาserver ตาม "session ล่าสุด" ตัวเดียวเปลี่ยนเป็นกลุ่ม session ที่ทำงานซ้อนเวลากัน (epoch) session ใหม่ที่เข้ามาระหว่างนั้นเข้าร่วมกลุ่มเดิม ไม่ล้างหน้าจอ
หลัง /clear เลขาดูว่าง ทั้งที่ยังมีงานค้างในคิวevent "รับงานเข้าคิว" ถูกตัดทิ้งไปพร้อม epoch เก่ายกสถานะคิวปัจจุบันเข้า epoch ใหม่ในหน่วยความจำ โดยไม่เขียนอะไรเพิ่มลง log
เส้นจากเจ้าของขึ้นทุกครั้งที่ sub-agent ส่งผลกลับผลที่ส่งกลับเข้ามาเป็น prompt หน้าตาเหมือนคำสั่งของคนแยก prompt ที่มาจาก agent ด้วยช่วงเวลาหลัง sub-agent จบ (2 วินาที)

ค่าที่ใช้ตัดสินใจมาจากข้อมูลจริง ไม่ได้เดา เช่น เวลาที่ถือว่า session เงียบไปแล้ว ตั้งไว้ 60 นาที เพราะวัดจาก log จริง 66 sessions แล้วพบว่าช่วงเงียบตอนรอ sub-agent ยาวสุด 33.2 นาที ถ้าตั้ง 30 นาทีจะตัด session ที่ยังทำงานอยู่

ผลลัพธ์

ใช้ข้อมูลจาก dashboard หาคอขวดของทีม

เมื่อมี log แล้ว ผมให้วิเคราะห์เวลาจากข้อมูลจริง 4 วัน (3,580 events, 276 งานของ sub-agent) ได้ผลที่ไม่ได้คาดไว้

ข้อค้นพบตัวเลข
คอขวดคือ Dev agent142 งาน รวม 9 ชม. 32 นาที = 78.8% ของเวลาที่ agent ทั้งทีมทำงาน
งานยาวไม่กี่งานกินเวลาส่วนใหญ่งาน Dev ที่เกิน 10 นาทีมี 18 งาน แต่รวมเป็น 45% ของเวลาทั้งหมด
เลขาไม่ใช่คอขวดส่งต่อผลงานเฉลี่ย 8.8 วินาที รวมแค่ 1.7% ของเวลา
แทบไม่ได้ทำงานคู่ขนานเวลาที่งานซ้อนกันรวมไม่ถึง 5 นาที จาก agent time ราว 12 ชม.

ข้อสรุปที่นำไปใช้: ถ้าจะให้ทีมเร็วขึ้น ต้องแตกงาน Dev ที่ใหญ่ให้เล็กลง และแบ่งให้รันคู่ขนาน ไม่ใช่ไปปรับที่เลขา

ข้อจำกัด

สิ่งที่นำไปใช้กับงาน QA ได้