Text-driven image and video diffusion models have recently achieved unprecedented generation realism. While
diffusion models have been successfully applied for image
editing, very few works have done so for video editing. We
present the first diffusion-based method that is able to perform text-based motion and appearance editing of general
videos. Our approach uses a video diffusion model to combine, at inference time, the low-resolution spatio-temporal
information from the original video with new, high resolution information that it synthesized to align with the guiding
text prompt. As obtaining high-fidelity to the original video
requires retaining some of its high-resolution information,
we add a preliminary stage of finetuning the model on the
original video, significantly boosting fidelity. We propose to
improve motion editability by a new, mixed objective that
jointly finetunes with full temporal attention and with temporal attention masking. We further introduce a new framework for image animation. We first transform the image into
a coarse video by simple image processing operations such
as replication and perspective geometric projections, and
then use our general video editor to animate it.

explain the above paragraph in details
โมเดลการแพร่กระจายรูปภาพและวิดีโอที่ขับเคลื่อนด้วยข้อความเพิ่งประสบความสำเร็จในการสร้างความสมจริงอย่างที่ไม่เคยมีมาก่อน แม้ว่าโมเดลการแพร่กระจายจะถูกนำมาใช้ในการแก้ไขภาพได้สำเร็จ แต่ก็มีงานเพียงไม่กี่ชิ้นเท่านั้นที่ทำได้สำหรับการตัดต่อวิดีโอ เรานำเสนอวิธีการแบบแพร่กระจายวิธีแรกที่สามารถทำการเคลื่อนไหวตามข้อความและการแก้ไขรูปลักษณ์ของวิดีโอทั่วไปได้ วิธีการของเราใช้แบบจำลองการแพร่กระจายของวิดีโอเพื่อรวมข้อมูลเชิงพื้นที่และชั่วคราวที่มีความละเอียดต่ำจากวิดีโอต้นฉบับเข้ากับข้อมูลความละเอียดสูงใหม่ที่สังเคราะห์ขึ้นเพื่อให้สอดคล้องกับข้อความแนะนำ เนื่องจากการได้รับความเที่ยงตรงสูงให้กับวิดีโอต้นฉบับนั้นจำเป็นต้องรักษาข้อมูลที่มีความละเอียดสูงไว้บางส่วน เราจึงเพิ่มขั้นตอนเบื้องต้นในการปรับแต่งโมเดลในวิดีโอต้นฉบับ ซึ่งช่วยเพิ่มความเที่ยงตรงอย่างมาก เราเสนอให้ปรับปรุงความสามารถในการแก้ไขการเคลื่อนไหวโดยวัตถุประสงค์ใหม่แบบผสมผสานที่ร่วมกันปรับแต่งด้วยความสนใจทางโลกอย่างเต็มที่และการปกปิดความสนใจทางโลก เรายังแนะนำเฟรมเวิร์กใหม่สำหรับภาพเคลื่อนไหวอีกด้วย ขั้นแรกเราจะแปลงรูปภาพให้เป็นวิดีโอขนาดหยาบโดยการประมวลผลภาพอย่างง่าย เช่น การจำลองและการฉายภาพเรขาคณิตเปอร์สเปคทีฟ จากนั้นใช้โปรแกรมตัดต่อวิดีโอทั่วไปของเราเพื่อสร้างภาพเคลื่อนไหว อธิบายย่อหน้าข้างต้นโดยละเอียด
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence