22个新产品与10篇最受关注的论文全球AI动向周报010

Hey，欢迎大家打开全球 AI 动向周报第十期！ 本周的周报非常简洁：

- 22 个新产品 - 包括 7 个有用的和 3 个好玩的新产品，9 个初创公司的新产品以及 3 家大公司的新动态；

- 10 篇新论文 - 上周热度最高的 10 篇新论文，每篇我们都提供了论文原文与最具代表性的 Twitter Thread。

Enjoy！

AI · 产品

有用的｜For Money

👷 smol developer

Human-centric & Coherent Whole Program Synthesis aka 你的个人初级开发者 —— 知名开发者与博主 Shawn Wang（@swyx）的最新作品，自 5 月 14 日发布以来，GitHub 已近 7k 星。

简而言之，smol dev 的目标是提供一个灵活的框架，使开发者能够根据自己的需求和偏好创建应用程序的起始结构 —— 简单、安全、有用且无害，同时支持 100k tokens 上下文。

🔗 https://github.com/smol-ai/developer/

🔐 Rebuff AI

旨在通过多层防御，保护 AI 应用免受即时注入攻击 —— 也许是第一个系统地用 AI 做注入攻击防御的项目。 目前 Rebuff AI 提供了四层防御 ，包括：

- 启发式（ Heuristics ）- 在攻击到 LLM 之前过滤掉可能有害的输入；

- 基于 LLM 的检测（ LLM-based detection ）- 使用专用 LLM 分析输入的提示并识别潜在的攻击；

- 矢量数据库（VectorDB）- 将之前攻击的嵌入存储在矢量数据库中，以识别并预防未来类似的攻击；

- Canary 令牌（canary tokens）- 将 canary 令牌添加到提示中以检测泄漏，使框架能够将有关输入提示的嵌入存储在向量数据库中并预防未来的攻击。

但需要注意， Rebuff 还在原型阶段，不能 100% 防御即时注入攻击 。

🔗 https://rebuff.ai/

🎵 WarpSound AI

与格莱美获奖音乐家合作打造的音乐生成平台， 吸引我的不止有 AI 音乐合成，还有与音乐家的合作 —— 在海外以 Drake 为首的反对派与以 Grimes 为首的支持派打得激烈，与国内 AI 合成孙燕姿火热又饱受争议的当下 。

🔗 https://www.warpsound.ai/

🤝 Engage AI

基于 LinkedIn 的 AI 市场营销工具 —— 当潜在客户发布 LinkedIn 帖子的时候，工具会提醒并自动撰写有见地的评论。Engage AI 基于 GPT 搭建，在发表评论前还可以选择不同的语气、设置公司的营销风格。

目前有 Chrome、Microsoft Edge、Firefox 插件，iOS 与 安卓 App 等版本可供选择。

🔗 https://filtpod.com/engage-ai/

🪜 Leap AI

API 聚合器，通过一个 API 为现有应用程序添加各项 AI 能力 —— 但目前仅限于生图能力以及相关模型的微调，未来还会添加文本处理能力。

🔗 https://www.tryleap.ai/

🍓 Databerry

无代码 AI 产品生成平台， 目前用户可以基于自己上传的文本、网页以及文档数据，一键生成 AI 聊天机器人、AI 代理以及 ChatGPT Plugin。

🔗 https://www.databerry.ai/

🔌 Langdock

Langdock 也是 无代码产品 ，但是 一个开源的 LLM Plugin（不仅限于 ChatGPT）搭建、部署与监测平台。

通过 Langdock，用户可以一键将自己的 API 转换为 LLM Plugin 并将其部署在相关应用程序中（目前支持 ChtGPT 和 LangChain，未来即将支持 Bing、HuggingFace 以及 Google Bard），随后，也可以通过平台对插件的使用情况（既包括用户行为和数据，还包括插件运行状况）进行实时监控。

🔗 https://www.databerry.ai/

好玩的｜For Fun

💍 Project Ring

让 AI 感知世界的可穿戴设备， 由 Meta 的产品经理 Mina Fahmi 开发，由一个手持相机与微型操纵杆组成，看上去稍微有些笨重

功能通过以下几个技术模块实现：

👂 听 - OpenAI Whisper

👀 看 - 图生文模型

💬 说 - Eleven Labs 的文生声音模型

💻 由 GPT-4 完成代码编写工作

🔗 https://twitter.com/minafahmi_/status/1658953742501249025

🗺️ Google Maps 3D tiles + ChatGPT + Unreal Engine = 💥

开发者 Nils Bakker 着实让大家震撼了一把 —— 他用 Unreal 5.1、ChatGPT 和 Google Map Tiles API 中的 Photorealistic 3D Tiles（Google 的新地理数据工具，提供以 高分辨率 RGB 光学图像进行纹理处理的 49 个国家/地区的 2500 多个城市的无缝 3D 网格模型）打造了一个 瞬时传送门，用户可以跟随一架纸飞机，以俯视角游览世界各地，效果类似 Microsoft Flight Simulator —— 虽然当前工具没有发布，但从视频效果来看，效果非常惊艳！

同时 Nils 也在博客中详细介绍了工具的搭建过程，工具提升生产力！

🔗 博客 - https://nilsbakker.nl/portfolio/3d-tiles/

🎁 Ollie

挑礼物真的太令人头痛了！

输入收礼者的身份、年龄、喜好...... 一切你能想到的特征，或者就是简单地选择节日或者场合，向 Ollie 提问，为 TA 挑选合适的礼物吧！

🔗 https://heyollie.ai/

初创企业｜Startups

📱 ChatGPT iOS App by OpenAI

OpenAI 终于推出了 ChatGPT App， 目前只有 iOS 版 —— 很多媒体称之为 OpenAI 真正的 iPhone 时刻（今年的 iPhone 时刻属实多了些）—— 在这里，我们挑重点，再度总结一下不能更简短的发布公告：

- 可以免费试用并跨设备同步历史记录

- 集成了 Whisper，支持语音输入

- ChatGPT Plus 用户可以访问 GPT-4，有提前访问部分功能的权限，模型响应速度更快

- 目前仅在美国发布，未来几周会拓展到其他国家

- 安卓版本也会很快推出

🔗 https://openai.com/blog/introducing-the-chatgpt-app-for-ios

🌈 StableStudio by Stability AI

DreamStudio 的开源版， 去除了计费与 API 管理功能，允许社区开发者改进并试验工具界面，除此之外，StableStudio 与 DreamStudio 的区别不大 —— 这对 Stability AI 来说也许是一件好事，开发者们好的工作无疑可以反哺商业版的 DreamStudio。

Stability AI 称，这是公司的新篇章，也展示了公司致力于推进开源开发的决心。

🔗 https://github.com/Stability-AI/StableStudio

🦓 Zoo by Replicate

Replicate 推出了文生图的 OpenPlayground Zoo —— 与 Nat Fridman 的多模型同时生成文字产品功能相同。

目前平台提供 Stable Diffusion 1.5 & 2.1、Deepfloyd IF、DALL-E、Kandinsky-2 和 Material Diffusion 六个模型，最多支持四个模型同时根据同一提示词生成图片。

🔗 https://zoo.replicate.dev/

Copilot by Perplexity

一边的 Neeva 刚刚宣布转型，另一边的 Perplexity 宣布推出 Copilot 功能 。该功能主要有两个特点： 引导用户提出更详细的指令，提供方向更明确的答案与共享/协作提问。

当用户发起搜索时，Copilot 会根据输入进行更具体的提示指导，并提供方向更精准的答案。 🌰 如果搜索「如何学习编程」，它会指导 用户提供 想学习哪种编程语言，免费还是付费课程等信息 。

此外，还有一个共享功能，用户可以分享自己的搜索内容，其他用户可以跟进提问。

也许，他们的目标市场是「研究型搜索」，但究竟有多少搜索属于这个类别呢 ？

🔗 https://huggingface.co/docs/transformers/transformers_agents

🌺 BLOOMChat by Together

刚刚宣布完成 2000 万美元种子轮融资的开源公司 Together 又与 SambaNova AI 合作推出了新产 BLOOMChat，基于 BLOOM 的多语种聊天机器人，拥有 176B 参数，目前可以在 Hugging Face 使用 —— 虽然能力还差得远，但可以商用！

🔗 https://huggingface.co/spaces/sambanovasystems/BLOOMChat

🦾 Create a Zap & 代码生成 by Zapier

在之前的 Newsletter 中，我们为大家介绍过了Zapier 的 AI 产品 Zapier Tables 与 Zapier Interfaces，上周， Zapier 又发布了两个 AI 与无代码功能相结合的测试版产品，Create a Zap 和代码生成工具 （无正式名字） —— 前者允许用户用自然语言（目前仅支持英语）创建 Zap（多个 app 间的自动化工作流），后者允许用户在创建 Zap 后，用自然语言生成代码，进一步自定义 Zap。

🔗 https://zapier.com/blog/ai-open-letter/

🧐 LLM Observability Tool by Arize AI

当越来越多的产品开始基于 LLM 进行搭建时， 我们显然需要一些工具来对这些模型进行评估、监控以及故障排查， 在之前的 Newsletter 中，我们介绍了 Arize AI 推出的用于 LLM 评估的开源库 Phoneix，现在，在此之上，他们为其叠加了 LLM 检视功能，也是 第一个用于确定 LLM 工作过程中需要改进的地方的工具 。

🔗 https://arize.com/press/arize-ai-launches-industry-first-llm-observability-tool

🌍 Nexus by Clay

Clay 的新产品， 个人关系网导航 Nexus， 它可以帮助用户更快了解自己的联系人最近的动向，比如哪些人最近去了某个地方，发表了某些观点，入职了某家公司等。

Clay 本身是类似个人 CRM 的一款产品，但重点不在营销，它通过提取本地联系人信息，结合 Facebook、Twitter 和 LinkedIn 的动态信息，帮助个人用户管理并了解自己的人际网络，包括朋友、家人、同事、同行等，记录他们的基本信息、动态与双方互动记录，同时基于这些信息再拓展自己的关系网 —— 现在这些信息有了一个更便捷的、统一的搜索引擎！

创始人 Matthew Achariam 这样评价 Gen AI 为 Clay 带来的影响：当我们最初启动 Clay 时，我们想要做的是基于人的搜索，但相关数据无处不在又难以处理。当前 AI 的进步让我们激动万分，现在我们终于可以实现基于人的活动信息导航了， 关系网 终于活了起来 ！

🔗 https://clay.earth/nexus

头部公司｜Leading Companies

⚙️ MTIA、超算 & CodeCompose by Meta

Meta 紧跟大型科技公司的内部发展潮流，推出了经过精细调试的 AI 专用芯片和超算。其中， 芯片被称为 MTIA，旨在加速 AI 模型训练和推理过程， Meta 声称其比 GPU 更高效地处理各种模型！

其次，Meta 还表示，他们正在研发 一个名为 CodeCompose 的代码生成模型， 它 基于 Meta 的内部代码库进行了优化，拥有近 70 亿个参数 —— 并且，每天有成千上万名员工频繁使用它 。

🔗 https://ai.facebook.com/blog/meta-training-inference-accelerator-AI-MTIA

🤖️ Poe API by Quora

如果你问我，除了 ChatGPT，我用的最多的 Chatbot 是什么，那就是 Poe 了 —— 它可以在一个应用中与基于不同模型的机器人进行对话。

现在， Quora 发布了 Poe API，让开发者可以更容易基于不同 LLMs 构建聊天机器人 （没准儿他们可以把关注点放在怎样做更好用上了！）。使用 API 可以方便地接入 Poe 平台所提供的 LLMs（包括 OpenAI 与 Anthropic 的模型），甚至还包括与 LangChain 的集成功能！

🔗 https://github.com/poe-platform/api-bot-tutorial

🔗 https://twitter.com/adamdangelo/status/1658121701077516291

🧑‍🤝‍🧑 Zoom X Anthropic

5 月 16 日，Zoom 正式宣布了与 Anthropic 的官方合作 —— 除了投资外 ，Zoom 将 从 Contact Center （包括 Zoom Virtual Agent、Zoom Contact Center、Zoom Workforce Management 等产品）开始 ，逐渐将 Claude 集成到各项功能中，包括 Team Chat（团队聊天），Meetings（会议），Phone（电话），Whiteboard（白板）以及 Zoom IQ（AI 产品） 。

🔗 https://news.zoom.us/anthropic-partnership/

AI · 技术

Drag Your GAN

一种用于控制 GAN 的方法，以交互的方式精确地拖动图像的某一点到目标点 。

🔗 Paper - https://arxiv.org/abs/2305.10973v1

🔗 Twitter - https://twitter.com/XingangP/status/1659483374174584832

Evidence of Meaning

尽管语言模型只是在文本上进行下一个标记预测的训练，但它们可以学习语义。

🔗 Paper - https://arxiv.org/abs/2305.11169

🔗 Twitter - https://twitter.com/emollick/status/1659569222089834498

Med-PaLM 2

表现良好的医学问答 LLM：

- 在 MedQA 数据集上得分高达 86.5%（目前的最先进水平）；

- 在 MedMCQA、PubMedQA 和 MMLU 临床主题数据集中接近或超过最先进水平 。

🔗 Paper - https://arxiv.org/abs/2305.09617

🔗 Twitter - https://twitter.com/AziziShekoofeh/status/1658659343087304705

MEGABYTE

一种多尺度解码器架构，可以进行超过一百万字节序列的端到端建模，在解码过程中实现次二次的自注意力和并行性能改进。

🔗 Paper - https://arxiv.org/abs/2305.07185

🔗 Twitter - https://twitter.com/_akhaliq/status/1657919671092539394

StructGPT

在结构化数据上改进了 LLM 的零样本推理能力，对基于结构化数据的问题回答任务有效。

🔗 Paper - https://arxiv.org/abs/2305.09645

🔗 Twitter - https://twitter.com/omarsar0/status/1658642569440444417

TinyStories

用一个合成的短篇小说数据集来训练和评估比最先进模型小得多但能够产生流畅且连贯的多段落故事并展示推理能力的 LMs 。

🔗 Paper - https://arxiv.org/abs/2305.07759

🔗 Twitter - https://twitter.com/hardmaru/status/1658956172731518976

DoReMi

在不了解下游任务的前提下， 使用分组分布式鲁棒优化（Group DRO） 在领域上训练一个小型代理模型以生成领域权重，然后使用领域权重重新采样数据集并训练一个较大的模型。在论文中，作者使用一个 280M 的代理模型更高效地训练了一个 8B 的模型（比例为 1:30） 。

🔗 Paper - https://arxiv.org/abs/2305.10429

🔗 Twitter - https://twitter.com/quocleix/status/1659256391746609154

CodeT5+

支持广泛的代码理解和生成任务，并使用不同的训练方法来提高效力和计算效率。作者在 20 个与代码相关的基准测试中进行了测试，使用了不同的设置，如零样本、微调和指令调整，其中在代码补全、数学编程和文本到代码检索任务等任务上实现了最先进的水平 。

🔗 Paper - https://arxiv.org/abs/2305.07922

🔗 Twitter - https://twitter.com/stevenhoi/status/1658270266424975361?s=20

Symbol Tuning

一种在上下文输入-标签对上微调 LMs 的方法，其中自然语言标签被任意符号替换，提高了对未见过的上下文学习任务和算法推理任务的性能 。

🔗 Paper - https://arxiv.org/abs/2305.08298

🔗 Twitter - https://twitter.com/JerryWeiAI/status/1658531449912393729

Searching for Needles in a Haystack

文章显示，PaLM 接触到了至少 44 种语言中的超过 3000 万个翻译对，表明偶然的双语能力与 PaLM 的翻译能力相关 。

🔗 Paper - https://arxiv.org/abs/2305.10266

🔗 Twitter - https://twitter.com/ebriakou/status/1659259174293741571

🐑 禅修时刻 · Transformer Inference Arithmetic

在 Transformer 破 10 万星之际，来一堂完整的 Transformer 推理原理课吧！

🔗 https://kipp.ly/blog/transformer-inference-arithmetic/