tart ผลงานทั้งหมด

โปรเจกต์ส่วนตัว / 3 มิติแบบโต้ตอบ

Shadow Room

เงาร่างของคุณจากเว็บแคมทอดลงในห้องนั่งเล่น 3 มิติที่มืดสลัวราวกับเงาจริง มุมมองขยับตามศีรษะ และมีแมวคอยไล่จับเงามือของคุณ

โปรเจกต์ส่วนตัว · 3 มิติแบบโต้ตอบและคอมพิวเตอร์วิทัศน์

การมีส่วนร่วมของฉัน

สร้างห้องและระบบแสงด้วย three.js ไปป์ไลน์แปลงภาพเว็บแคมเป็นเงาด้วย MediaPipe ใน Web Worker มุมมองที่ขยับตามศีรษะพร้อมการหันมองรอบห้องและการตั้งตำแหน่งศูนย์กลาง แมวที่หาเส้นทางได้เอง และมุมมองการติดตาม โดยปรับให้หน่วงต่ำและใช้พลังงาน GPU น้อย

ดาวน์โหลด CV (ภาษาอังกฤษ)

ลองเล่น · เวอร์ชันย่อ

ลองดูว่าทำอะไรได้บ้าง

ห้องนั่งเล่นใน Shadow Room ที่ได้แสงจากโถงทางเดิน มีเงาคนทอดบนผ้าม่านและแมวส้มนอนหลับบนโซฟา
ห้องในยามนิ่ง: ไฟในโถงทางเดินด้านหลังคุณส่องเงาของคุณลงบนผ้าม่าน ภาพจับจากแอปที่ทำงานจริง โดยใช้บุคคลจำลองแทนเว็บแคม

โปรเจกต์ส่วนตัว · 3 มิติแบบโต้ตอบ การติดตามผ่านเว็บแคม และภาพพื้นหลังแบบเคลื่อนไหว

โปรเจกต์นี้ทำอะไร

Shadow Room คือภาพพื้นหลัง 3 มิติแบบเคลื่อนไหวของห้องนั่งเล่นที่มืดสลัว MediaPipe หาเงาร่างของคุณจากภาพเว็บแคม แล้วไฟที่อยู่ด้านหลังคุณจะทอดเป็นเงาขอบนุ่มที่สมจริงลงบนผ้าม่าน โซฟา และพื้น สิ่งของจะตอบสนองเมื่อเงาของคุณแตะ และการหันศีรษะเพียงเล็กน้อยก็มองได้รอบห้อง

ภายในโปรเจกต์

  • ใช้เงาแตะสิ่งของ: ปัดโคมไฟเพดานแล้วเงาทั้งห้องจะแกว่งตาม ให้เงาศีรษะค้างไว้บนทีวีหรือสวิตช์ไฟ และทำให้ผ้าม่านพลิ้ว
  • มองรอบห้องด้วยการหันศีรษะเล็กน้อย: หัน 10° มองไปด้านข้าง และ 15° มองไปด้านหลังได้ตรง ๆ จึงยังดูจอได้ตลอด ปุ่ม Center ใช้ตั้งท่านั่งปกติของคุณ
  • แมวที่สร้างขึ้นด้วยโค้ดนอนบนโซฟา ไล่จับเงามือที่ยกขึ้น วางเส้นทางอ้อมเฟอร์นิเจอร์ด้วย A* และวิ่งหนีเมื่อเงาของคุณทาบลงมา
  • การตรวจจับท่าทางทำงานใน Web Worker และเมื่อไม่มีอะไรขยับ ห้องจะลดเหลือ 15 fps พร้อมใช้ shadow map เดิมซ้ำ บนแล็ปท็อปที่ทดสอบ วิธีนี้ลดพลังงานที่หน้าเว็บใช้เพิ่มจากราว 11 W เหลือราว 4 W ขณะนั่งนิ่ง
  • มุมมองการติดตามแสดงเฟรมที่วิเคราะห์ มาสก์ และโครงร่าง พร้อมเวลาของแต่ละขั้นตอน จึงไล่หาต้นเหตุความหน่วงได้ว่ามาจากกล้อง ตัวติดตาม หรือ GPU

ทักษะและประสบการณ์ปฏิบัติ

ฝึกเปลี่ยนค่าประมาณท่าทางที่มีสัญญาณรบกวนให้เป็นการโต้ตอบที่นิ่งและหน่วงต่ำ ทำให้ฉาก WebGL แบบเรียลไทม์ประหยัดพอจะเปิดได้ทั้งวัน และสร้างเครื่องมือวินิจฉัยที่ทำให้เห็นปัญหาด้านประสิทธิภาพ

Three.jsWebGLMediaPipeคอมพิวเตอร์วิทัศน์JavaScriptWeb Workersการปรับจูนประสิทธิภาพ

ภาพและทัวร์บันทึกจากแอปที่ทำงานจริงใน Chrome แบบ headless โดยใช้หุ่นเดโมในตัวหรือบุคคลจำลองที่ป้อนผ่านตัวติดตาม ไม่มีภาพใดมาจากเว็บแคม ค่าพลังงานวัดบนแล็ปท็อปเครื่องเดียวที่ใช้ RTX 3060 Laptop GPU

บริบทของโปรเจกต์

ทุกอย่างทำงานในเบราว์เซอร์ของผู้ชม และภาพจากเว็บแคมไม่ออกไปนอกหน้าเว็บ ใช้ได้ทั้งแบบหน้าเว็บและเป็นภาพพื้นหลังเดสก์ท็อปผ่าน Lively Wallpaper หากไม่มีเว็บแคม หุ่นเดโมในตัวจะทอดเงาแทน

ภาพและวิดีโอโปรเจกต์

แมวส้มกำลังไล่จับเงาของมือที่ยกขึ้นบนพื้นห้องนั่งเล่น
แมวไล่จับเงาของมือที่ยกขึ้นเหมือนจุดเลเซอร์ แล้วหมอบลงก่อนกระโจนใส่ ใช้หุ่นเดโม
มุมมองไปตามโถงทางเดินด้านหลังผู้ชม ไปยังโคมไฟที่ทอดเงา
หันศีรษะเพียง 15° ก็มองไปด้านหลังได้ตรง ๆ ตามโถงทางเดินไปจนถึงโคมไฟที่ทอดเงาของคุณ ใช้ท่าศีรษะจำลอง
ห้องนั่งเล่นที่สว่างด้วยแสงจากทีวีหลังปิดโคมไฟเพดาน
ให้เงาศีรษะค้างไว้บนทีวีหรือสวิตช์ไฟ: ภาพนี้ทีวีเปิดอยู่และโคมไฟเพดานปิด ใช้หุ่นเดโม
แผงมุมมองการติดตามที่แสดงเฟรมกล้องที่วิเคราะห์แล้ว แผนที่มุมบน และเวลาของแต่ละขั้นตอน
มุมมองการติดตาม (V) แสดงทุกขั้นตอนของไปป์ไลน์ ใช้บุคคลจำลอง ส่วนแถว render และ camera เป็นค่าที่วัดสด
ทัวร์ 34 วินาทีที่บันทึกจากแอป: แมวไล่จับเงา การหันมองรอบห้องด้วยการหันศีรษะเล็กน้อย การปัดโคมไฟ และทีวี ใช้หุ่นเดโมและท่าศีรษะจำลอง ไม่มีภาพจากเว็บแคม