tart ผลงานทั้งหมด

การประมวลผลภาพและมัลติมีเดีย

การประมวลผลภาพและมัลติมีเดีย

ทำนายเฟรมวิดีโอจากเฟรมก่อนหน้าได้หรือไม่? การศึกษา MATLAB ด้านการเคลื่อนไหว คุณภาพภาพ และข้อแลกเปลี่ยนในการบีบอัด

งานรายวิชามัลติมีเดีย KMITL

การมีส่วนร่วมของฉัน

ศึกษาการจับคู่บล็อกแบบค้นหาครบและ DCT quantization ผ่านการทดลอง MATLAB และรายงาน คลังไม่ได้ระบุผู้เขียนแต่ละสคริปต์รายบุคคล

ดาวน์โหลด CV (ภาษาอังกฤษ)

ลองเล่น · เวอร์ชันย่อ

ลองดูว่าทำอะไรได้บ้าง

ผล MATLAB สี่ช่อง แสดงเฟรมอ้างอิง เป้าหมาย เฟรมทำนาย และสนามการเคลื่อนไหว
ภาพรวมการทดลอง: เฟรมอ้างอิง → เฟรมเป้าหมาย → การทำนายด้วยการจับคู่บล็อก → เวกเตอร์การเคลื่อนไหว

KMITL · 01076566 Multimedia Systems · ปีการศึกษา 2025–26 ภาคเรียน 2

โปรเจกต์นี้ทำอะไร

รายงานตั้งคำถามการเข้ารหัสวิดีโอว่า เฟรมใหม่อธิบายได้มากเพียงใดด้วยการย้ายบล็อก 16×16 จากเฟรมก่อนหน้า เปรียบเทียบการค้นหาจับคู่บล็อกครบทุกตำแหน่งที่ความละเอียดเต็มพิกเซลและครึ่งพิกเซล แล้วทดสอบว่าการแปลงความคลาดเคลื่อนการทำนายที่เล็กลงทำให้สัมประสิทธิ์ DCT เบาบางขึ้นหรือไม่

ภายในโปรเจกต์

  • ใช้คู่เฟรม Foreman เพื่อสร้างเฟรมทำนาย สนามเวกเตอร์การเคลื่อนไหว และภาพความคลาดเคลื่อนการทำนาย
  • เปรียบเทียบการค้นหาเต็มพิกเซลและครึ่งพิกเซลในช่วง 16 พิกเซล กับการค้นหาเต็มพิกเซลช่วงแคบ 8 พิกเซล
  • ใช้ DCT และ quantization กับทั้งภาพเดิมและความคลาดเคลื่อนการทำนายการเคลื่อนไหวที่ Q=8 และ Q=80

ทักษะและประสบการณ์ปฏิบัติ

การทดลองแสดงข้อแลกเปลี่ยนที่มองเห็นได้: การค้นหาการเคลื่อนไหวละเอียดขึ้นให้ PSNR ที่รายงานสูงขึ้นแต่ใช้การคำนวณมากขึ้น ส่วนผลต่างจากการทำนายมีสัมประสิทธิ์ DCT หลัง quantization ที่ไม่เป็นศูนย์น้อยลงในการทดสอบนี้

MATLABการประมาณการเคลื่อนไหวการจับคู่บล็อกแบบค้นหาครบการค้นหาระดับครึ่งพิกเซลPSNRการควอนไทซ์ DCTการเข้ารหัสวิดีโอ

คำอธิบายและค่าที่วัดมาจากรายงาน Multimedia Systems ของผม ภาพและสคริปต์ MATLAB เก็บในคลัง KMITL ผลนี้เป็นของการทดสอบที่รายงาน ไม่ใช่ benchmark ตัวเข้ารหัสทั่วไป สัดส่วนสัมประสิทธิ์ไม่เป็นศูนย์เป็นตัวแทนความเบาบาง ไม่ใช่ bitrate ที่วัดจริง

บริบทของโปรเจกต์

การทดลองรายวิชาโดยใช้คู่เฟรมวิดีโอ Foreman ไม่ใช่โมเดล AI ที่ฝึกแล้วหรือตัวเข้ารหัสวิดีโอใช้งานจริง ต้องมีสื่อนำเข้าเพื่อรันสคริปต์อีกครั้ง

เฟรมวิดีโอสองเฟรมจับคู่บล็อก 16×16เฟรมทำนาย + เวกเตอร์การเคลื่อนไหวความคลาดเคลื่อนการทำนายDCT + quantization

จากรายงานต้นฉบับ · คู่เฟรม FOREMAN

สิ่งที่พบจากการทดลอง

การจับคู่บล็อก 16×16 เดียวกันแสดงทางเลือก: ค้นหาละเอียดขึ้นเพื่อผลจับคู่ที่ดีขึ้น หรือใช้เวลาคำนวณน้อยลง ค่าต่อไปนี้เป็นผลวัดจากรายงานสำหรับคู่เฟรมนี้

+0.58 dBPSNR ครึ่งพิกเซลเทียบกับเต็มพิกเซล
≈4×เวลาที่ใช้สำหรับการค้นหาที่ละเอียดขึ้น

เลื่อนตารางด้านข้างเพื่อดูทุกคอลัมน์ →

การประมาณการเคลื่อนไหว · บล็อก 16×16
วิธีค้นหาช่วงค้นหาPSNRเวลา
เต็มพิกเซล16 px29.88 dB1.02 s
ครึ่งพิกเซล16 px30.46 dB4.06 s
เต็มพิกเซล8 px29.42 dB0.53 s

การลดช่วงค้นหาเต็มพิกเซลเหลือ 8 พิกเซลทำให้เวลาเกือบลดครึ่งหนึ่ง โดย PSNR ต่ำกว่าการค้นหา 16 พิกเซลอยู่ 0.46 dB ในการทดสอบครั้งนี้

ทำไมจึงทำนายก่อนบีบอัด?

หลังทำนายการเคลื่อนไหว ภาพความคลาดเคลื่อนเก็บสิ่งที่เฟรมก่อนหน้าอธิบายไม่ได้ ในรายงาน การ quantize สัมประสิทธิ์ DCT ของภาพนี้เหลือค่าที่ไม่เป็นศูนย์น้อยกว่าการ quantize ภาพเดิม

DCT + quantization · ภาพเดิมเทียบกับความคลาดเคลื่อนการทำนาย
Qข้อมูลนำเข้าPSNR ที่รายงานสัมประสิทธิ์ที่ไม่เป็นศูนย์
8ภาพเดิม42.4298 dB29.7457%
8ความคลาดเคลื่อนการทำนาย42.7383 dB19.5165%
80ภาพเดิม29.3846 dB4.4350%
80ความคลาดเคลื่อนการทำนาย33.6007 dB0.5445%

สัดส่วนสัมประสิทธิ์ที่ไม่เป็นศูนย์บ่งชี้ความเบาบาง ไม่ใช่ bitrate ที่วัดจริง Q=80 เบาบางกว่าแต่มี PSNR ที่รายงานต่ำกว่า Q=8 ผลอธิบายการทดลองนี้ ไม่ใช่ benchmark ตัวเข้ารหัสทั่วไป

ภาพและวิดีโอโปรเจกต์

ความคลาดเคลื่อนการทำนายกระจุกบริเวณใบหน้าและขอบหมวกในเฟรม Foreman
ความคลาดเคลื่อนการทำนาย: ส่วนของเฟรมเป้าหมายที่โมเดลการเคลื่อนไหวอธิบายไม่ได้
เฟรมเดิม สัมประสิทธิ์ DCT, DCT หลัง quantization และเฟรมสร้างกลับ
DCT quantization และการสร้างเฟรมกลับ
ผลการจับคู่บล็อกแบบค้นหาครบและค่า PSNR
ผลจับคู่บล็อกและค่า PSNR