【AiBase提要:】相比马斯克的Neuralink脑机接口芯片,DeWave使用更加简单方便,无需做昂贵的手术植入芯片,通过海量数据训练的大模型就能将脑电波翻译成文本。
对标记的依赖性:尽管DeWave方法在文中声称可以在没有标记(如眼动追踪)的情况下实现脑电波到文本的翻译,但它仍然依赖于基于标记的对齐过程。
但仅仅七年后,很多事情都发生了变化。
为了实现逼真的呈现,该方法将场景参数化为三个部分:遮挡物 → 人 → 背景,并通过新颖的优化目标将这些渲染解耦。为了处理在真实世界场景中可能出现的遮挡情况,该方法引入了感知遮挡的场景参数化,将场景解耦为遮挡、人和背景三个部分。此外,该方法设计了广泛的客观函数,以帮助强化将人从遮挡和背景中解耦,并确保人体模型的完整性。