شش ابزار هوش مصنوعی جذاب برای تبدیل متن به ویدیو
تاریخ انتشار: ۲ اسفند ۱۴۰۲ | کد خبر: ۳۹۷۹۸۲۷۷
ایتنا - در حال حاضر چندین مدل هوش مصنوعی وجود دارند که دارای درجه بالایی از کنترل و توانایی تولید فیلم در سبک‌های هنری مختلف هستند. پس از آن که DALL-E هوش مصنوعی تبدیل متن به تصویر را تولید کرد، دیگر شرکت‌ها قدمی فراتر برداشته و شروع به ساخت مدل‌های تبدیل متن به تصویر متفاوتی کردند.
در حالی که هنوز هم ممکن است نتایج کمی ناقص به نظر برسند، اما چندین مدل هوش مصنوعی وجود دارند که دارای درجه بالایی از کنترل و توانایی تولید فیلم در سبک‌های هنری مختلف هستند.
بیشتر بخوانید:
اخباری که در وبسایت منتشر نمی‌شوند!
در اینجا شش مدل جدید هوش مصنوعی مناسب تبدیل متن به ویدیو را معرفی می‌کنیم.
شرکت OpenAI خالق چت‌جی‌پی‌تی به‌تازگی "سورا"، مدل جدید تبدیل متن به ویدیو خود را به نمایش گذاشته است.
این مدل "درکی عمیق از زبان" دارد و می‌تواند "شخصیت‌های قابل قبولی را ایجاد کند که احساسات را بیان می‌کنند."
گوگل هوش مصنوعی ویدیویی خود به نام Lumiere را دارد که توسط یک مدل انتشار جدید به نام Space-Time-U-Net طراحی شده است. لومیر مکان اشیاء را در یک ویدیو مشخص می‌کند و نحوه حرکت و تغییر همزمان آنها را ردیابی می‌کند.
لومیر هنوز برای کاربران عادی آماده نشده است. اما به مهارت گوگل در ایجاد نیروگاه ویدئویی هوش مصنوعی اشاره می‌کند که ممکن است از مدل‌های عمومی موجود مانند Runway و Pika پیشی بگیرد.
گوگل طی دو سال اخیر جهش فنی در بازی های ویدئویی هوش مصنوعی نیز داشته است.
VideoPoet یک مدل زبان بزرگ است که بر روی مجموعه داده عظیمی از فیلم‌ها، تصاویر، صدا و متن آموزش داده شده است. این مدل می‌تواند وظایف مختلف تولید ویدیو را انجام دهد، از تبدیل متن یا تصاویر به ویدیو گرفته تا جذاب‌تر کردن ویدیوها با سبک، رنگ‌آمیزی درونی و بیرونی ویدیو، و ویدیو به صدا.
این مدل بر اساس یک ایده ساده ساخته شده است: تبدیل هر مدل زبان خودبازگشتی به یک سیستم تولید ویدئو.
مدل‌های زبان خودبازگشتی می‌توانند متن و کد را بطور بی‌نظیری ایجاد کنند. اما وقتی نوبت به ویدیو می‌رسد، آنها به یک مانع برمی‌خورند. برای مقابله با آن، VideoPoet از چند واسطه استفاده می‌کند که می‌تواند ویدیو، تصویر و کلیپ‌های صوتی را به زبانی که می‌فهمد تبدیل کند.
مدل هوش مصنوعی متا شامل دو مرحله است. ابتدا از متن یک عکس می‌سازد. سپس، از آن متن و تصویر برای ایجاد یک ویدیوی درجه یک استفاده می‌کند.
نکته جالب اینکه 81 درصد کاربران Emu Video را به Imagen Video Google ترجیح می‌دهند، 90 درصد آن را به PYOCO NVIDIA ترجیح می‌دهند و 96 درصد می‌گویند که بهتر از Make-A-Video خود متا است. نه فقط این، بلکه حتی گزینه‌های تجاری مانند RunwayML's Gen2 و Pika Labs را نیز شکست می‌دهد.
تیم پشتیبان Phenaki Video از Mask GIT برای تولید ویدیوهای هدایت‌شده متنی در PyTorch استفاده کرد. این مدل می‌تواند ویدیوهایی با هدایت متن تولید کرده که تا مدت زمان 2 دقیقه‌ای، بسازد
Phenaki همه کاره است و برای محققان جهت آموزش متن به تصویر و متن به ویدئو باز است. آنها می‌توانند با تصاویر شروع کرده و سپس برای آموزش بدون قید و شرط روی تنظیم ویدیو تمرکز کنند.
گروهی از محققان دانشگاه Tsinghua در پکن CogVideo را توسعه دادند که یک مدل تولید متن به ویدئوی از قبل آموزش دیده در مقیاس بزرگ است.
آنها این مدل را با استفاده از یک مدل از پیش آموزش داده شده متن به تصویر به نام CogView2 ساختند تا از آموخته‌های قبلی خود، استفاده کنند.
منبع: ايتنا
کلیدواژه: هوش مصنوعی متن به تصویر تبدیل متن هوش مصنوعی یک مدل
درخواست حذف خبر:
«خبربان» یک خبرخوان هوشمند و خودکار است و این خبر را به‌طور اتوماتیک از وبسایت www.itna.ir دریافت کرده‌است، لذا منبع این خبر، وبسایت «ايتنا» بوده و سایت «خبربان» مسئولیتی در قبال محتوای آن ندارد. چنانچه درخواست حذف این خبر را دارید، کد ۳۹۷۹۸۲۷۷ را به همراه موضوع به شماره ۱۰۰۰۱۵۷۰ پیامک فرمایید. لطفاً در صورتی‌که در مورد این خبر، نظر یا سئوالی دارید، با منبع خبر (اینجا) ارتباط برقرار نمایید.
با استناد به ماده ۷۴ قانون تجارت الکترونیک مصوب ۱۳۸۲/۱۰/۱۷ مجلس شورای اسلامی و با عنایت به اینکه سایت «خبربان» مصداق بستر مبادلات الکترونیکی متنی، صوتی و تصویر است، مسئولیت نقض حقوق تصریح شده مولفان در قانون فوق از قبیل تکثیر، اجرا و توزیع و یا هر گونه محتوی خلاف قوانین کشور ایران بر عهده منبع خبر و کاربران است.
خبر بعدی:
ثبت اختراع کاربردی دانشجوی دانشگاه لرستان
ایسنا/لرستان اختراع کاربردی دانشجوی دانشکده دامپزشکی دانشگاه لرستان، مصطفی شهبازی‌پاچال، با عنوان دستگاه تلقیح مصنوعی ملکه (زنبور عسل) مجهز به سنسور بیهوشی، از سوی مرکز مالکیت معنوی سازمان ثبت اسناد و املاک کشور، ثبت شد.
مصطفی شهبازی‌پاچال ششم اردیبهشت در جمع خبرنگاران اظهار کرد: یکی از ظرفیت‌های لرستان، زنبورداری و تولید عسل است و اختراع اینجانب در راستای این ظرفیت‌ها و ارتقای تولید است.
وی با بیان اینکه نژاد زنبورهای ایرانی دارای ضعف‌هایی است وتلاشم این بوده است با این اختراع، ضعف‌ها رفع شود، گفت: نژادهای مختلف زنبور در جهان را مورد بررسی علمی و تحقیقاتی قرار دادم؛ با تلقیح مصنوعی می‌توان در نژاد مورد نظر، نقاط ضعف را برطرف کرد.
این دانشجوی دکترای دامپزشکی دانشگاه لرستان، با بیان اینکه رفتار نیش‌زنی زنبورهای بومی ایران، شدید است و این یک ضعف است و رغبت زنبوردار برای رسیدگی به کندوها، کمتر می‌شود، تصریح کرد:دستگاه اختراع شده توسط اینجانب، براساس تلقیح مصنوعی، باعث رفع این ضعف می‌شود.
شهبازی‌پاچال ادامه داد: توانایی زنبورهای بومی برای سپری کردن فصل سرد زمستان، پایین است؛ به همین علت، در فصل زمستان، زنبورداری بومی بدون تلقیح مصنوعی، بین ۴۰ تا ۵۰ درصد تلفات دارد؛ این، یک نقطه ضعف است؛ با تلقیح مصنوعی از طریق دستگاه مذکور، این ایراد رفع خواهد شد.
وی، خاطرنشان کرد: زادآوری و تولید محصولات برخی زنبورهای بومی، پایین است؛ از طریق تلقیح مصنوعی دستگاه مذکور، این ضعف هم رفع می‌شود.
این دانشجوی دکترای دامپزشکی دانشگاه لرستان گفت:اگر دستگاه به مرحله تجاری‌سازی و تولید انبوه برسد می‌توانیم صادرات هم داشته باشیم.
انتهای پیام
پلمب بیمارستان محب مهر به دلیل کشف حجاب صحت ندارد