คืออะไร UI Automation
การทำงานอัตโนมัติกับส่วนติดต่อผู้ใช้
UI Automation คือเทคโนโลยีการทำงานอัตโนมัติที่หุ่นยนต์ซอฟต์แวร์โต้ตอบกับแอปพลิเคชันผ่านส่วนติดต่อผู้ใช้ จำลองการกระทำของมนุษย์
วิธีการทำงาน
- หุ่นยนต์ "เห็น" องค์ประกอบ UI (ปุ่ม ฟิลด์ เมนู)
- ทำการคลิก ป้อนข้อความ นำทาง
- อ่านข้อมูลจากหน้าจอ
- ทำงานกับแอปพลิเคชันใดก็ได้ (เดสก์ท็อป เว็บ legacy)
วิธีการจดจำ UI
- Selectors — XPath, CSS, แอตทริบิวต์องค์ประกอบ
- OCR — การรู้จำอักขระด้วยแสงบนหน้าจอ
- การจดจำภาพ — ค้นหาตามภาพ
- AI/ML — เครือข่ายประสาทสำหรับอินเทอร์เฟซแบบไดนามิก
ข้อดี
- ไม่ต้องการการเข้าถึง API หรือซอร์สโค้ด
- ทำงานกับระบบ legacy
- ใช้งานได้รวดเร็วโดยไม่ต้องเปลี่ยนระบบ
- จำลองการกระทำของมนุษย์ 1:1
ข้อเสีย
- เปราะบางเมื่อ UI เปลี่ยน
- ช้ากว่าการผสานรวม API
- ต้องการหน้าจอที่เสถียร
- ขึ้นกับความละเอียดหน้าจอ
เครื่องมือ
- UiPath — ผู้นำ RPA ที่มี UI แข็งแกร่ง
- Automation Anywhere — แพลตฟอร์มคลาวด์
- Power Automate Desktop — จาก Microsoft
- Selenium/Playwright — สำหรับทดสอบเว็บ