قابلیت جدید تصویرسازی هوش مصنوعی با صدا

تاریخ ارسال : 1403/09/14

به گزارش سپیدپندار دات کام هر خیابانی صدای خاص خود را دارد که اکنون هوش مصنوعی می تواند از شنیدن آن برای تولید تصاویر آنها استفاده کند.

به گزارش سپیدپندار دات کام به نقل از ایسنا، در حالی که الان مدلهای هوش مصنوعی وجود دارند که جلوه های صوتی را برای مطابقت با تصاویر بی صدا از خیابان ها و مکانهای دیگر تولید می کنند، یک تکنولوژی جدید آزمایشی دقیقا برعکس عمل می کند و تصاویر را با دقت عجیبی از صدای خیابان ها تولید می کند.
به نقل از نیو اطلس، پروفسور یوهائو کانگ و همکارانش از دانشگاه تگزاس در آستین، یک مدل تبدیل صدا به تصویر را بر روی مجموعه داده ای از کلیپ های صوتی و تصویری ۱۰ ثانیه ای آموزش داده اند.
این کلیپ ها شامل تصاویر ثابت و صدای محیطی بود که از ویدئوهای یوتیوب از خیابان های شهری و روستایی در آمریکای شمالی، آسیا و اروپا گرفته شده بود.
این سیستم با استفاده از الگوریتم های یادگیری عمیق، نه تنها یاد گرفت که کدام صداها با کدام موارد درون تصاویر مطابقت دارند، بلکه همینطور تشخیص داد که کیفیت صدا با کدام محیط بصری مطابقت دارد.
هنگامی که آموزش این سیستم کامل شد، هوش مصنوعی وظیفه تولید تصاویر را بر مبنای صدای محیطی ضبط شده از ۱۰۰ کلیپ دیگر که از خیابان ها ضبط شده بود، بر عهده گرفت و برای هر ویدیو یک تصویر تولید کرد.
متعاقباً گروهی از داوران انسانی هر یک از آن تصاویر را در کنار دو تصویر ساخته شده از خیابان های دیگر مشاهده نمودند، در حالیکه به صدای ویدیویی که تصویر بر مبنای آن ساخته شده بود، گوش می دادند. وقتی از آنها خواسته شد که تشخیص دهند کدام یک از این سه تصویر با موسیقی متن مطابقت دارد و آنها بطور متوسط ​​با ۸۰ درصد دقت تواستند تشخیص دهند.
علاوه بر این، هنگامی که تصاویر ساخته شده توسط کامپیوتر تحلیل و بررسی شد، تصاویر ساخته شده از آسمان، فضای سبز و ساختمان ها به شدت با تصاویر واقعی موجود در ویدیوهای اصلی مرتبط بود.
در واقع در خیلی از موارد، تصاویر ساخته شده، شرایط نوری ویدیوهای منبع، مانند آسمان آفتابی، ابری یا شبانه را نیز منعکس می کردند. این امکان دارد با عواملی مانند کاهش صدای ترافیک در شب یا صدای حشرات شبانه امکانپذیر شده باشد.
بااینکه این فناوری می تواند کاربردهایی مانند دریافت یک ایده تقریبی از محل ضبط صدا در پزشکی قانونی داشته باشد، اما هدف این مطالعه بیشتر بررسی اینست که چگونه صدا به حس مکان ما کمک می نماید.
دانشمندان این مطالعه می گویند: نتایج می تواند دانش ما را در مورد تأثیر ادراکات دیداری و شنیداری بر سلامت روان انسان افزایش دهد و همینطور امکان دارد شیوه های طراحی شهری را بهینه کند و کیفیت کلی زندگی در جوامع را بهبود بخشد.
این مطالعه در مجله Nature انتشار یافته است.


 

موضوع خبر :

• هوش مصنوعی
• تكنولوژی
• سیستم
• فناوری

به این مطلب چه امتیازی می دهید؟ 1 2 3 4 5 (1)

نظر شما در مورد قابلیت جدید تصویرسازی هوش مصنوعی با صدا چیست؟

نام

ایمیل

سوال: