โปรเจกต์ส่วนตัว / 3 มิติแบบโต้ตอบ
Shadow Room
เงาร่างของคุณจากเว็บแคมทอดลงในห้องนั่งเล่น 3 มิติที่มืดสลัวราวกับเงาจริง มุมมองขยับตามศีรษะ และมีแมวคอยไล่จับเงามือของคุณ
โปรเจกต์ส่วนตัว · 3 มิติแบบโต้ตอบและคอมพิวเตอร์วิทัศน์
การมีส่วนร่วมของฉัน
สร้างห้องและระบบแสงด้วย three.js ไปป์ไลน์แปลงภาพเว็บแคมเป็นเงาด้วย MediaPipe ใน Web Worker มุมมองที่ขยับตามศีรษะพร้อมการหันมองรอบห้องและการตั้งตำแหน่งศูนย์กลาง แมวที่หาเส้นทางได้เอง และมุมมองการติดตาม โดยปรับให้หน่วงต่ำและใช้พลังงาน GPU น้อย
ลองเล่น · เวอร์ชันย่อ
ลองดูว่าทำอะไรได้บ้าง

โปรเจกต์ส่วนตัว · 3 มิติแบบโต้ตอบ การติดตามผ่านเว็บแคม และภาพพื้นหลังแบบเคลื่อนไหว
โปรเจกต์นี้ทำอะไร
Shadow Room คือภาพพื้นหลัง 3 มิติแบบเคลื่อนไหวของห้องนั่งเล่นที่มืดสลัว MediaPipe หาเงาร่างของคุณจากภาพเว็บแคม แล้วไฟที่อยู่ด้านหลังคุณจะทอดเป็นเงาขอบนุ่มที่สมจริงลงบนผ้าม่าน โซฟา และพื้น สิ่งของจะตอบสนองเมื่อเงาของคุณแตะ และการหันศีรษะเพียงเล็กน้อยก็มองได้รอบห้อง
ภายในโปรเจกต์
- ใช้เงาแตะสิ่งของ: ปัดโคมไฟเพดานแล้วเงาทั้งห้องจะแกว่งตาม ให้เงาศีรษะค้างไว้บนทีวีหรือสวิตช์ไฟ และทำให้ผ้าม่านพลิ้ว
- มองรอบห้องด้วยการหันศีรษะเล็กน้อย: หัน 10° มองไปด้านข้าง และ 15° มองไปด้านหลังได้ตรง ๆ จึงยังดูจอได้ตลอด ปุ่ม Center ใช้ตั้งท่านั่งปกติของคุณ
- แมวที่สร้างขึ้นด้วยโค้ดนอนบนโซฟา ไล่จับเงามือที่ยกขึ้น วางเส้นทางอ้อมเฟอร์นิเจอร์ด้วย A* และวิ่งหนีเมื่อเงาของคุณทาบลงมา
- การตรวจจับท่าทางทำงานใน Web Worker และเมื่อไม่มีอะไรขยับ ห้องจะลดเหลือ 15 fps พร้อมใช้ shadow map เดิมซ้ำ บนแล็ปท็อปที่ทดสอบ วิธีนี้ลดพลังงานที่หน้าเว็บใช้เพิ่มจากราว 11 W เหลือราว 4 W ขณะนั่งนิ่ง
- มุมมองการติดตามแสดงเฟรมที่วิเคราะห์ มาสก์ และโครงร่าง พร้อมเวลาของแต่ละขั้นตอน จึงไล่หาต้นเหตุความหน่วงได้ว่ามาจากกล้อง ตัวติดตาม หรือ GPU
ทักษะและประสบการณ์ปฏิบัติ
ฝึกเปลี่ยนค่าประมาณท่าทางที่มีสัญญาณรบกวนให้เป็นการโต้ตอบที่นิ่งและหน่วงต่ำ ทำให้ฉาก WebGL แบบเรียลไทม์ประหยัดพอจะเปิดได้ทั้งวัน และสร้างเครื่องมือวินิจฉัยที่ทำให้เห็นปัญหาด้านประสิทธิภาพ
ภาพและทัวร์บันทึกจากแอปที่ทำงานจริงใน Chrome แบบ headless โดยใช้หุ่นเดโมในตัวหรือบุคคลจำลองที่ป้อนผ่านตัวติดตาม ไม่มีภาพใดมาจากเว็บแคม ค่าพลังงานวัดบนแล็ปท็อปเครื่องเดียวที่ใช้ RTX 3060 Laptop GPU
บริบทของโปรเจกต์
ทุกอย่างทำงานในเบราว์เซอร์ของผู้ชม และภาพจากเว็บแคมไม่ออกไปนอกหน้าเว็บ ใช้ได้ทั้งแบบหน้าเว็บและเป็นภาพพื้นหลังเดสก์ท็อปผ่าน Lively Wallpaper หากไม่มีเว็บแคม หุ่นเดโมในตัวจะทอดเงาแทน
ภาพและวิดีโอโปรเจกต์



