unisim：可交互的真实世界AI模拟器 提供仿真体验

  unisim是一款创新的互动模拟器，经过生成模型的训练，可以以连贯的方式模拟对人类、机器人和其他互动代理进行的动作，并为它们提供仿真体验。这一技术代表了生成模型的下一个重要里程碑，能够适用于从游戏和电影中的可控内容创建，到在仿真中训练直接在真实世界中部署的实体代理。

  指令如“打开抽屉”到低级控制如“移动到x，y位置”，通过精心编排多样化的数据集，以模拟不同方面的互动经验，使人类和代理能够与世界互动，呈现视觉结果。

  这个互动模拟器的应用领域广泛，包括用于训练高级视觉-语言规划器和低级强化学习策略，它们都在仿真中训练，具有非常明显的真实世界转移能力。

  UniSim的潜在应用领域广泛，涵盖了游戏、电影、机器人领域等多个领域。它还支持用户访问相关资源，以拓展他们的决策制定和规划能力。UniSim代表了生成模型领域的创新，为互动模拟提供了有力的工具。

  查看更多相关信息

  【新智元导读】Runway突然发布了重要的公告，宣称要开发通用世界模型，解决AI视频最大难题，未来要用AI模拟世界。最近AI视频赛道的Pika1.0大火，两位华人创始人团队半年做出的产品几乎碾压了Runway接近两年的发展成果。甚至认为这是实现AGI的唯一途径:LLM和其他神经网络系统能很容易地描述一把椅子，但世界模特将能够「体验椅子」。

  视野：腾讯发布音乐生成模型M2UGen；米老鼠SD模型上线；MidReal

  再上线UGen是一款多模态音乐生成框架，结合音乐和多模态任务，支持从文字、图像、视频生成音乐，并具备强大的编辑功能。体验地址:米老鼠SD模型上线迪士尼旧版米老鼠版权过期，AI开发者推出基于Stable-Diffusion-xl的Mickey-1928SD模型，用于生成符合1928年设计风格的米老鼠、米妮和皮特的图像。模型下载地址:项目地

  PIKA AI是一款由斯坦福大学的两名华人学生创立的AI视频生成工具。PIKA AI能够最终靠文字、图片和视频生成高质量的各种风格视频，并且支持用户上传视频片段进行编辑和重新构想场景。PIKA AI使用了先进的生成式人工智能技术，能够生成逼真、生动的视频，而且使用简单，风格多变。最近已经发布了PIKA1.0版本，那么PIKA1.0版在哪里能体验呢?这里就给大家带来PIKA1.0客户端下载入

  斯坦福大学与FAIRMeta的研究人员合作开发的CHOIS系统，通过引入基于语言描述、初始状态和稀疏对象航点的方法，成功解决了在3D场景中生成对象和人物同步运动的难题。该系统通过在指定的3D环境中产生逼真且可控的运动，控制了人物与对象之间的交互。将学到的交互模块应用于基于3D场景对象航点生成长期交互也将拓展CHOIS的适用性。

  SpeakingAI是一款适合所有语言学习者和爱好者的软件，它可以让你在轻松和有趣的氛围中，和AI进行无限的对话和互动，从提高你的语言能力和信心。AnimateAnyone软件的体验入口在哪呢，这里我们的角度来看下AnimateAnyone的官方体验入口。以上就是SpeakingAI的全部介绍了，感兴趣的小伙伴点击上方链接前往体验。

  SpeakingAI是一款基于AI的语音学习和练习的在线工具，它可以让您用自然的AI语音阅读文本，或者与一个虚拟的语言导师进行对话，提高您的口语水平和流利度。它支持多种语言和口音，包括英语、中文、日语、韩语等。以上就是SpeakingAI的全部介绍了，感兴趣的小伙伴点击上方链接前往体验。

  ZMO.AI是一款基于AI的图像生成和编辑的在线工具，它可以让您从文本或图像创建逼真的艺术作品，如动漫、照片、模特等。它还能够在一定程度上帮助您更换背景、去除杂物、美化肖像等。ZMO.AI的体验入口在哪呢，这里我们的角度来看下ZMO.AI的官方体验入口。点击前往 ZMO.AI 官方体验入口以下是ZMO.AI的一些基本功能的简要介绍：AI背景更换：这个功能能让您用一键生成逼真的、与原始前景

  DiffusionLight是一项利用扩散模型在单张输入图像中估算照明效果的技术。它利用训练好的Stable Diffusion XL模型绘制一个镜面反射球,然后将球体展开得到全景照明图。该技术解决了现有基于神经网络的方法依赖有限HDR全景数据集导致在真实复杂场景下效果不佳的问题。关键创新在于发现了扩散噪声图和镜面反射球生成质量之间的关系,迭代生成高质量镜面球;以及通过LoRA 进行多曝光训练,使LDR模型也可以输出HDR格式。该技术可产生逼真的照明估计,非常适合于野外场景。

  Auto Seduction AI:1号AI搭档，让你的约会聊天事半功倍

  Auto Seduction AI是一款智能约会助手，通过个性化消息和完美的对话开场白，帮助用户每周获得1至4次约会。其独特的照片智能分析功能能创建令人着迷的对话开场白，帮助用户获得更加多的约会回应。用户都能够使用其自动化的冷读、轻微调情、邀约等功能，平均只需4-6条消息就能成功安排一次约会。该产品支持多种语言，包括英语、西班牙语、法语、德语、意大利语、俄语和印地语。

  vx.dev:开源、低成本的v0.dev替代品,可自定义且与GitHub无缝融合

  vx.dev是一个开源的v0.dev替代品。它具有以下优点: - 低成本:通过提示工程技术,可以大大降低使用成本 - 易于定制:提供开源的提示,可以根据需求定制UI组件或代码风格 - GitHub无缝集成:生成的代码存储在GitHub上,内置版本控制、代码审查等功能 vx.dev的工作原理是,使用GPT-4模型根据事先定义好的提示来生成代码。主要成本在于输入和补全的标记数量。提示存储在prompts/ui-gen.md中,包含shadcn/ui、lucide和nivo图表的指令。通过删除不需要的组件指令,可以降低每次生成的API成本。 vx.dev可以轻松定制。用户可以基于现有提示进行修改,使用其他UI库或调整代码风格。生成的代码存储在GitHub上,拥有版本控制、协同等特性。私有仓库可以保证生成结果的可见性。

  Kin是您私人生活的AI助手。它具有无限的耐心、同情心和专业知识，并全天候为您提供支持。Kin建立在语义和情节记忆之上，能够深入了解您，同时注重隐私和安全。它通过本地存储、自主数据控制以及边缘机器学习等技术，保障您的数据安全。Kin还提供任务管理、优先级组织、时间优化等功能，可帮助您更好地利用时间。Kin目前处于测试阶段，正在接受早期访问请求。

  ODIN（Omni-Dimensional INstance segmentation）是一个模型，能够正常的使用转换器架构在2D RGB图像和3D点云上进行分割和标记。它通过在2D视图内和3D视图之间交替融合信息来区分2D和3D特征操作。ODIN在ScanNet200、Matterport3D和AI2THOR 3D实例分割基准上实现了最先进的性能，并在ScanNet、S3DIS和COCO上实现了竞争性能。当使用来自3D网格的采样点云代替感知的3D点云时，它超过了以往所有的作品。作为可指导的具体化代理架构中的3D感知引擎时，它在TEACh对话动作基准上树立了新的最先进水平。我们的代码和检查点可以在项目网站找到。

  LLM Augmented LLMs通过将现有基础模型与更具体的模型进行组合，实现新的能力。CALM（Composition to Augment Language Models）引入模型之间的交叉注意力，以组合它们的表示并实现新的能力。其显著特点包括：（i）通过“重用”现有LLMs以及少量额外参数和数据，在新任务上扩展LLMs的规模；（ii）保持现有模型权重不变，因此保留现有的能力；（iii）适用于不同的领域和设置。实验证明，将PaLM2-S与在低资源语言上训练的较小模型进行增强，在诸如翻译成英语和低资源语言的算术推理等任务上，结果绝对改善了高达13%。类似地，当PaLM2-S与特定于代码的模型进行增强时，在代码生成和解释任务上，相对于基础模型，我们看到了高达40%的改进，与完全微调的对应模型不相上下。

  What You See is What You GAN:高保真几何渲染

  这款产品是一种3D GAN技术，通过学习基于神经体积渲染的方法，能够以前所未有的细节解析细粒度的3D几何。产品采用学习型采样器，加速3D GAN训练，使用更少的深度采样，实现在训练和推断过程中直接渲染完整分辨率图像的每个像素，同时学习高质量的表面几何，合成高分辨率3D几何和严格视角一致的图像。产品在FFHQ和AFHQ上展示了最先进的3D几何质量，为3D GAN中的无监督学习建立了新的标准。

  Dreamy.ai是一个人工智能驱动的虚拟聊天平台。用户都能够与逼真的虚拟角色进行沉浸式对话,实现角色扮演和交流。平台提供自定义人工智能女友、选不一样人物形象与个性,打造独一无二的虚拟伴侣。核心功能有自然语言处理、情感计算等AI技术,可实现自主对话和互动。优势是个性化体验强,可提升用户想象力与情感联系。定位虚拟娱乐、陪伴市场。