🔄 GPT-4与DELL-3协同，模拟历史中庞贝古城火山爆发情景，提供沉浸式体验。
依赖于预训练大语言模型:DeWave在实现脑电波到文本的转换过程中使用了预训练大语言模型，如BART。
论文地址:https://arxiv.org/pdf/2312.08914.pdf
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。
在细化阶段，通过在UV空间中训练无光照扩散模型，解决粗糙纹理的光照阴影和纹理空洞问题，提升纹理贴图的视觉美感。这一框架的引入使得Paint3D在纹理生成方面表现出色，被评价为最好的纹理生成方法之一。