بخش اول: تولید ویدیو
مقایسه توانایی Grok، Veo و Runway در تولید ویدیوهای فارسی؛ کدام هوش مصنوعی بهتر فارسی صحبت میکند؟
هوش مصنوعی حالا میتواند تنها در چند دقیقه ویدیوهایی تولید کند که تا همین چند سال پیش ساخت آنها به حضور یک تیم فیلمبرداری، بازیگر، گوینده و تدوینگر نیاز داشت. این پیشرفت باعث شده است بسیاری از تولیدکنندگان محتوا، کسبوکارها و حتی افراد عادی به استفاده از این ابزارها روی بیاورند. اما همچنان یک سؤال مهم برای کاربران فارسیزبان باقی مانده است؛ آیا این مدلها واقعاً میتوانند محتوایی تولید کنند که برای مخاطب فارسی طبیعی و قابل قبول باشد؟
برای پاسخ به این سؤال، چندین سناریوی یکسان به همراه متنهای فارسی در اختیار Grok، Veo و Runway قرار گرفت و خروجی هر سه مدل از جنبههای مختلف مورد بررسی قرار گرفت. در تمام آزمایشها تلاش شد شرایط یکسان باشد تا نتیجه نهایی تا حد امکان منصفانه و قابل مقایسه باشد.
در این بررسی، معیارهایی مانند دقت لیپسینک، طبیعی بودن لحن و ادای کلمات، کیفیت چهره و حرکات صورت، حفظ پیوستگی صحنه، طبیعی بودن حرکات بدن، میزان درک پرامپت فارسی و همچنین خطاهای بصری مورد ارزیابی قرار گرفتند. این معیارها مهمترین عواملی هستند که کیفیت یک ویدیوی تولیدشده توسط هوش مصنوعی را مشخص میکنند.
لیپسینک فارسی
بدون شک مهمترین چالش مدلهای تولید ویدیو برای زبان فارسی، هماهنگی حرکت لبها با کلمات است. برخلاف زبان انگلیسی که مدلها حجم بسیار زیادی از دادههای آموزشی را در اختیار داشتهاند، زبان فارسی هنوز برای بسیاری از این مدلها یک زبان کمداده محسوب میشود و همین موضوع باعث ایجاد خطا در حرکت دهان هنگام صحبت میشود.
در آزمایش انجامشده، Veo بهترین عملکرد را در هماهنگی لبها با گفتار فارسی از خود نشان داد. حرکات دهان در بیشتر جملات طبیعی بود و تنها در بخشهای محدودی خطا مشاهده شد. با این حال، ضعف اصلی Veo در نحوه اجرای لحن کلمات و اکت چهره است. در برخی صحنهها، حالت صورت هنگام ادای جملات کمی اغراقآمیز به نظر میرسد. البته احتمال دارد این موضوع با اصلاح پرامپت یا تغییر سبک تولید تا حدی برطرف شود، اما از آنجا که در این آزمایش برای هر سه مدل از پرامپت یکسان استفاده شده است، این مورد بهعنوان یکی از نقاط ضعف Veo در نظر گرفته شد.
Runway نیز عملکرد قابل قبولی ارائه داد. در جملههای کوتاه، هماهنگی حرکت لبها نسبتاً مناسب بود، اما هرچه طول کلمات یا سرعت صحبت افزایش پیدا میکرد، میزان هماهنگی کاهش مییافت. با این وجود، کیفیت صدای تولیدشده در بسیاری از نمونهها طبیعیتر از انتظار بود و در برخی بخشها تجربه شنیداری بهتری نسبت به لیپسینک ارائه میداد.
Grok نیز توانست در برخی صحنهها حرکات لب را بهدرستی تولید کند، اما هنوز فاصله محسوسی با یک اجرای کاملاً طبیعی دارد. مهمترین ضعف آن زمانی دیده میشود که سرعت ادای کلمات افزایش پیدا میکند. در این شرایط، حرکت لبها از گفتار عقب میماند و هماهنگی از بین میرود، هرچند در انتهای جمله دوباره با صدا هماهنگ میشود. این موضوع نشان میدهد که Grok هنوز در پردازش گفتار فارسی، بهویژه در جملات سریع، جای پیشرفت دارد.
کیفیت لحن و بیان
هماهنگی حرکت لبها تنها بخشی از تجربه نهایی مخاطب است. اگر لحن گفتار طبیعی نباشد یا احساسات جمله بهدرستی منتقل نشود، حتی بهترین لیپسینک نیز نمیتواند یک ویدیوی واقعی و باورپذیر ایجاد کند.
در این بخش، Veo توانست هماهنگی بسیار خوبی میان تصویر و گفتار ایجاد کند، اما در برخی جملات، نحوه بیان کلمات همچنان کمی مصنوعی به نظر میرسید. در مقابل، Grok اگرچه هنوز در زمینه لیپسینک به سطح Veo نرسیده است، اما کیفیت صدای تولیدشده و طبیعی بودن گفتار، بهترین نتیجه این آزمایش بود و انتقال حس جمله در بسیاری از نمونهها بهتر انجام شد.
Vidu Q3 نیز در این آزمایش مورد بررسی قرار گرفت، اما عملکرد مناسبی در زبان فارسی نداشت. در بسیاری از نمونهها، بهجای بیان صحیح جملات فارسی، اصواتی نامفهوم تولید شد و عملاً امکان استفاده از آن برای تولید ویدیوهای فارسی وجود نداشت.
درک پرامپت فارسی
یکی دیگر از بخشهای مهم این آزمایش، بررسی میزان درک دستورات فارسی توسط مدلها بود. هر سه ابزار توانستند مفهوم کلی پرامپتهای فارسی را درک کنند و خروجیهایی نزدیک به درخواست کاربر ارائه دهند، اما هرچه ساختار پرامپت پیچیدهتر میشد، تفاوت عملکرد آنها نیز بیشتر نمایان میشد.
نکته جالب این بود که در اکثر موارد، ترجمه همان پرامپت به زبان انگلیسی نتیجه بهتری نسبت به نسخه فارسی ایجاد میکرد. این موضوع نشان میدهد که اگرچه این مدلها از زبان فارسی پشتیبانی میکنند، اما بخش عمده آموزش و بهینهسازی آنها همچنان بر پایه زبان انگلیسی انجام شده است. بنابراین در پروژههای حرفهای، استفاده از پرامپت انگلیسی همچنان میتواند کیفیت خروجی را افزایش دهد.
اگر هدف شما تولید ویدیوهای فارسی با محوریت گفتار، آموزش، بلاگری، مصاحبه یا تولید محتوای شبکههای اجتماعی باشد، Veo در حال حاضر کاملترین خروجی را در میان مدلهای بررسیشده ارائه میدهد و بهویژه در بخش لیپسینک عملکرد قابل توجهی دارد.
Runway همچنان گزینهای قابل قبول محسوب میشود، اما در جملات طولانی یا گفتار سریع با محدودیتهایی مواجه است.
Vidu در وضعیت فعلی برای تولید محتوای فارسی گزینه مناسبی نیست و خروجیهای آن در بسیاری از موارد قابل استفاده نبود.
Grok نیز با وجود پیشرفت سریع و کیفیت مناسب صدا، هنوز در زمینه لیپسینک فارسی به سطح Veo نرسیده است. البته باید در نظر داشت که سرعت توسعه این ابزارها بسیار بالاست و نتایج چنین آزمایشهایی ممکن است تنها ظرف چند ماه تغییر کنند. به همین دلیل، بهترین راه برای انتخاب ابزار مناسب، انجام آزمایشهای عملی با سناریوهای واقعی هر کسبوکار است.