25个新产品与70个首批全面开放的ChatGPTPlugins全球AI动向周报00

文/f.chen

Hey，欢迎大家打开全球 AI 动向周报第九期！

五月的前两周信息量满满 ：

- Google 终于打了个翻身仗， I/O 大会重新热闹了起来；

- 大家继续向着让大模型「读懂更长的内容」进发 ： 先是 MosaicML 发布的开源 MPT-7B 模型宣布支持 65k tokens 输入；再是 Unlimiformer、InfiniteGPT 这样的支持无限输入长度的探索性解决方案发布； 最后 Anthropic 的 Claude 开始支持 100k token 的输入 —— 而且效果真的令人印象深刻；

- 在生成的内容形式方面， 视频的各类解决方案 讨论火热依旧的同时， 3D 内容与声音生成 热度骤然升高；

- 政策一端也从未落下前进的步伐，大西洋另一侧的 欧盟率先出台了严苛的 AI 限制措施 ...

在本篇 Newsletter 中，我们为大家带来了以下内容 ：

- 20 个有用的和好玩的新产品 - 在有用的部分，我们分类别为大家整理了 5 个数据处理产品，2 个文生 3D 内容产品，2 个 AI 代理产品，1 个其他类别产品以及 3 个 Chrome 扩展；在好玩的部分，我们为大家整理了 4 个新产品；在华人开发者部分，我们为大家分享了 2 个有意思的新产品；

- 3 个初创公司的新产品 - 分别来自 Anthropic、Hugging Face 和 MosaicML；

- 2 个大公司的新产品 - 其中包括 Google 在 I/O 大会发布的新产品列表以及任天堂发布的新游戏；

- 70 个 ChatGPT Plugins - 5 月 15 日，OpenAI 就要正式向 Plus 用户全面开放 Plugins 权限了， 浙江大学的几位小伙子 在周末辛苦帮忙整理了 第一批第三方 Plugins 都有什么，做什么，以及它们的详细用例，共计 2 万 5 千余字 ，我们在次条分享给大家 ❤️

本周稍晚些，我们也 系统地整理了 当前 AI 安全与全球各地政策制定的进展以及关于 LLM 训练方案的观点等内容，期待与大家共同阅读探究！

Enjoy！

AI · 产品

有用的 ｜ For Money

数据处理 ｜ Data Processing

🐼 PandasAI

让 Pandas DataFrame 「学会说人话」的工具 ， 4 月 28 日正式发布后，在 GitHub 已收获 5.4k+ 星 ✨

首先，Pandas 是什么？ Pandas 是一个开源的第三方 Python 库，也是 Python 数据分析的必备高级工具 ， 从 Numpy 和 Matplotlib 的基础上构建而来，享有数据分析「三剑客 （NumPy、Matplotlib、Pandas） 之一」的盛名。

那么，Pandas AI 具体是做什么？正如前面所说的，PandasAI 并非 Pandas 的替代品，而是将 Pandas 转换为「聊天机器人」，用户可以以 Pandas DataFrame 的形式提出 有关数据的问题，PandasAI 会以 自然语言、表格或者图表等 形式进行回答 —— 目前仅支持 GPT 模型，OpenAI API key 需自备。

另外 ，由于作者是一位生活在德国的意大利人🇪🇺，所以 数据保护措施做得非常到位 ！

🌰 一个基于数据生成条形图的小例子👇

｜ Data ：

｜ Input ：

pandas_ai.run(report_table, prompt= "Make a barplot that shows how much money each gender spends on each product line" )

｜ Output ：

🔗 https://github.com/gventuri/pandas-ai

🐿️ DataSquirrel

自动进行数据清理并可视化执行过程，帮助用户在 无需公式、宏或代码的情况下 快速将原始数据转化为可使用的分析/报告的数据分析工具。 目前平台提供的用例涵盖了 B2B 电子商务、人力资源、财务会计和调查数据分析行业 。

此外，DataSquirrel 特别强调：「平台符合 GDPR/PDPA 标准」。

🔗 https://datasquirrel.ai/

📦 AIHelperBot

自动生成 SQL Queries，支持数据库一键链接或导入。 在之前的文章中，我们零散地介绍过一些 SQL Queries 生成工具，如 AI2SQL、Text2SQL、AIQuery 等， 但目前来看， AIHelperBot 所支持的数据库结结构、格式、添加方式以及处理能力是最为全面的 —— 当前收费 $5 每月，可免费试用 7 天。

🔗 https://skybox.blockadelabs.com/

📊 ChartGPT by CadLabs

由 CadLabs 开发工具，基于 GPT-3.5， 可以根据数据生成图表并回答问题 。

在之前的 Newsletter 中，我们分享过一个同名且功能类似的工具，开发者是 Next47 的投资团队成员 Kate Reznykova —— 它们的缺点也是一样的，非常容易出错 😢

🔗 https://chartgpt.cadlabs.org/

🔢 Embedding Store

功能恰如其名 —— 一站式 Embedding Marketplace，支持公开、私有及第三方数据，用于发现、评估和访问相关的嵌入（embeddings），产品还未上线，期待！

🔗 https://www.embedding.store/

文生 3D 内容 ｜ Text-to-3D

📦 Skybox by Blockade Labs

与其说是 3D 内容生成工具，不如说是 360 度全景图生成工具 —— 输入文本（最少一个单词即可），生成 360 度场景环视图， 效果非常酷炫！

🌰 具体文本理解力如何，大家且看我的例子 Moon👇

🔗 https://skybox.blockadelabs.com/

🎮 Nyric by Lovelace Studio

这是一段引起了大量关注的文生 3D 内容 Demo 视频 —— 以「/ create winter winter alien forest 」开始，紧接着是一段画质极低的视频 —— 我们无法知道这段视频是否真的是由 AI 生成的。

创作方 Lovelace Studio 是这样介绍 Nyric 的：「一个为数字交流而生的 AI 世界生成平台 ， 在几秒内构建你的梦想世界 （ A n AI world-generation platform for digital communities, b uild the world of your dreams in seconds） 」。

但公司 Twitter 与网站的官方介绍存在明显的不一致性 —— 从前者看，这是一家 AI for Gaming 公司，而后者的介绍则表明，这是一家 VR + Web 3.0 公司 🤔

🔗 https://lovelacestudio.com/

AI 代理 ｜ AI Agents

💡 SmartGPT

由 KOL AI Explainer 搭建的，具有更好的推理表现且更易配置的模块化 AI 代理。 根据他的介绍，SmartGPT 旨在 通过将任务分解成较小的问题，并通过互联网和其他外部来源收集信息实现以实现 让 LLMs（当前是 GPT-3.5 & 4）在无用户输入的情况下完成复杂任务的目标。

那么，SmartGPT 与 Auto-GPT 和 BabyAGI 相比，优缺点分别有哪些 ？其 优点主要体现在 模块化、配置简单以及推理表现更加出色 三方面，而缺点则是 尚未集成内存管理（Memory）模块 。

其中，值得关注的是 「推理表现更佳」的实现方式 ，主要有以下两点：

1. 代理分工 - 它将用户的任务划分为多个不同等级的代理（Manager、Boss、Employee、Minion），并为每个代理分配涉及推理的不同任务。这种划分让模型能更好地完成推理：

- Manager - 将主任务拆分为几个高层次的子任务，逐个将这些子任务传递给 Boss；

- Boss - 接收其任务并创建一个宽松的计划，然后将其拆分为一个个子任务，将每个子任务交给 Employee；

- Employee - 接收任务，编写伪代码，将其传递给 Minion；

- Minion - 将伪代码细化为 LUA 脚本并运行。

2. 上下文分割 - 用户在不同代理之间分割上下文，从而节省大量 token 成本，并且可以使用 Llama 支持使用其他较小的模型。

🔗 https://github.com/Cormanz/smartgpt

💡 Fine Tuner

无代码 AI 代理搭建工具 —— 目前可以免费创建一个，快来试用！

🔗 https://fine-tuner.ai/

其他 ｜ Others

📈 Feathery AI

问卷生成工具， 本质上是让 AI 根据描述，自动生成相关问题 —— 在教育领域，这样的尝试已有很多，例如 wooflash 的 Quiz Wizard 🐘

🔗 https://ai.feathery.io/

Chrome 扩展 ｜ Chrome Extensions

🔬 SciSpace Copilot

SciSpace Copilot 由印度论文服务平台 SciSpace（原名 Typeset）开发的， 主要用于以问答形式解释科学文献（如研究论文、技术博客文章或报告）中的文本、数字和表格。

Typeset 是一家 2015 年成立的公司， 拥有 2 亿多篇论文、5000 多万份全文开放的 PDF 的数据积累，且拥有论文数据处理的经验 ，同时， 还针对主流学术论文发布平台数据进行了微调优化 ，正因如此，工具输出的内容相比我们之前所熟悉的 ChatPaper 等工具更加精确。

在 5 月 7 日更新的版本中，工具支持解释专业词汇、根据主题进行深入研究（官方提供了一些模板问题）、13 种语言互译、添加 URL 书签，未来还会支持注释和不同颜色的高亮重点。

🔗  https://typeset.io/

💻 AIPRM for ChatGPT

简单讲， AIPRM 是一款 SEO Prompt 模板插件， 开发者本人给产品的定位是 Prompt for ChatGPT —— 其实也支持 Midjourney。

插件于 1 月 8 日上线，目前用户已超百万，Prompt Template 使用次数超过五千万次，B 端客户包括迪士尼、Aobe、intel、微软、康泰纳仕，收费标准如下👇

🔗 https://www.aiprm.com/

🧑‍🤝‍🧑 Teamsmart

一款有趣的 文档助手， 虽然功能与其他文字处理类插件类似 —— 在浏览器内直接总结内容、生成代码、草拟推文等，但 根据不同的职业/技能，Teamsmart 提供了一系列能力点不同的机器人 👇

🔗 https://www.teamsmart.ai/

好玩的 ｜ For Fun

📰 Boring Report

应对标题党的神器 —— 去除文章中的夸张表述，仅保留客观事实 —— 虽然放在 For Fun 一栏，但真的很有用！

🔗 https://www.boringreport.org/

🥁 Drumloop AI

用 AI 生成鼓点儿， 有 Default、Hip Hop、Techno、Trap 和 Drum n'Bass 几种风格可选，当然也有随机选项，效果不错！

截至 5 月 15 日，数据如下👇

作者 Nick 也是火了一阵子的 AI 发型生成产品 HairstyleAI 的作者👧

🔗 https://drumloopai.com/

💤 Centenarian

私人睡眠教练 —— 通过与健康类 App 链接，获取个人生物信息追踪数据，与智能家居 App 链接，获取生活环境数据，综合分析进行个性化的专业睡眠指导 —— 我真的很需要！

🔗 https://www.centenarian.co/

🤔 Ask, imagine, guess

与 AI 一起玩你画我猜 —— 不过，是用户向 AI 提问！猜猜看，AI 在想些什么？

🔗 https://imagineguess.vercel.app/

华人开发者｜Chinese Developers

🌈 DreamMore

由我非常喜欢的 YouTuber & Up 主 @不说话的白菜（Runde Yang） 开发的 AI 解梦小工具， 支持弗洛伊德、周公解梦、科学解梦以及 Shiva 四种模式 —— 旨在有趣。

最近， 人们对梦境的探索似乎逐渐多样化 ，还记得我们在 Newsletter 008 中分享的 Altassian 开发的超梦幻梦境生成小工具 The Dreamkeeper（https://thedreamkeeper.co/）吗？

🔗 https://dreamore.app/zh

🎬 Opus Clip

自动将长视频剪辑为为 10 个短视频，并一键发布至 Youtube Shorts、TikTok 与 Instagram Reels 等平台， 创始人 Young Zhao 是一位毕业于 UC Berkeley 的华人。

AI 的作用主要体现在几个方面：

- 自动分析视频精华片段并剪辑

- 自动依据传播难易度为生成的短片评分并给出理由

- 自动追踪人脸并截取最易传播的人物图片

- 自动生成字幕并突出显示重点

- 自动为字幕添加 emoji

🔗 https://www.opus.pro/

初创企业｜Startups

🤖️ claude-x-100k by Anthropic

Claude 支持 100k tokens 的输入了， 理论上，相当于 75000 个单词，或一本 200 页的英文书， 这已经成为了我最喜欢的模型 —— 目前可以 Poe 付费用户每月可以使用 100 次 claude-instant-100k 模型。

🌰 效果如何？且看板报老师演示👇 ❗️需要注意的是，虽然在文学（或哲学）层面取得了不错的进步，但 Claude 当前依旧会输出许多事实性错误 ，用其进行准确性要求较高的任务，甚至科学研究，还需谨慎！

附：Anthropic 模型列表

🔗 https://www.anthropic.com/index/100k-context-windows

🦾 Transformers Agents by Hugging Face

「 This removes the barrier of entry to machine learning 」

简单来说，Transformers Agents 是为了 更容易地创建 AI Agents 而生 —— 用户 可以基于此，使用 LLMs，快速创建各种类型、全模态的 AI 代理。

Transformers Agents 提供了许多实用的工具，包括技术文档问答、文本语音互转、文生图、文生视频、网站内容总结、图像分割等等。

🔗 https://huggingface.co/docs/transformers/transformers_agents

♦️ Foundation Series by MosaicML

MosaicML 推出了自己的开源 LLM MPT-7B，特点归纳如下：

- 可商用，模型质量与 Llama 相当， 训练时间约 2 周，耗资 20 万美元；

- 基于商业可用的 1T tokens 进行训练， 作为对比， Llama 也是基于 1T tokens 训练的，而 Pythia 和 OpenLLaMA 是 300B，StableLM 则是 800B；

- 接受 65k tokens 输入（预计最高 84k），其他开源模型约 2-4k tokens

- 价格非常低， 或低至 OpenAI 或 Anthropic 等竞争对手的 1/15。

🔗 HF Demo - https://huggingface.co/mosaicml/mpt-7b

🔗 Official Announcement - https://www.mosaicml.com/blog/mpt-7b

头部公司｜Leading Companies

🔍 Google

今年是 Google 第十五年举办 I/O 大会了，其实近年来 AI 一直是大会的重头戏，只是今年，尤甚 —— 据统计，大会共提及「AI」近 200 次 。那么 Google 都有哪些新产品值得关注呢？

让我们用最简短的语言对每个产品进行介绍

✅ PaLM2

- Google 的新一代 LLM，I/O 大会发布的大部分 AI 产品的基础模型；

- 除 基于 Google 最新的 JAX 和 TPU v4 基础设施构建外，未透露其他技术细节；

- 在常识推理、数学和逻辑方面有所改进：在官方发布的技术报告中，PaLM2 在部分任务（如数学）中优于 GPT-4，在 @ Mark Tenenholtz 的测评中，其编程能力好于 ChatGPT，无 论是 GPT-3.5-turbo 还是 GPT-4。

🔗 https://ai.google/static/documents/palm2techreport.pdf

✅ Gemini - Google Deepbrain 正在研发的多模态大模型。

✅ Bard

- 基于 PaLM2 运行；

- 向所有用户全面放开，并将逐步增加适配语言；

- 可以将结果到出到 Google Docs、Replit 和 Gmail；

- 类似 ChatGPT Plugins 的「工具」，如识别图像、在地图上显示地点以及与 Adobe Firefly 合作的图像生成功能等。

✅ Duet AI - 上期我们介绍过的 AI for Workplace 有了名字，Duet AI —— Office Copilot 的竞品，但暂时没有令人眼前一亮功能。

✅ SGE（Search Generative Experience） - 「AI 优先」的搜索体验，当 Google 算法认为 AI 生成结果优于标准答案时，在搜索结果顶部首先显示 AI 生成答案。

🔗 申请链接 - labs.google.com/search

✅ Magic Editor for Google Photos - 照片的局部修改。

✅ MusicLM - 文本生成音乐 —— 当前可在 AI Test Kitchen with Google 试用，值得一试！

🔗 试用链接 - https://aitestkitchen.withgoogle.com/experiments/music-lm

✅ Gen AI for Android

- Magic Compose - 自动回复信息；

- Gen AI for Wallpaper - 手机壁纸生成。

✅ ML Hub for Developers - ML 模型训练与部署一站式服务。

✅ Immersive View for Google Map - 仿真 3D 沉浸式地图。

✅ 「Help me write」 in Gmail - 电子邮件写作助手（文字生成）。

🔗 https://blog.google/technology/ai/google-io-2023-keynote-sundar-pichai/#helpful-ai

🐶 Peridot by Niantic

AI 驱动的 AR 电子宠物，或者说，现代版 Tamagotchi。

🔗 https://playperidot.com/

🐑 禅修时刻 · Total Crap

AI 真的会替代编辑吗？

第一本完全由 AI 写作的杂志，由美国非营利性出版社 McSwenney's 出品 —— Jonathan Zeller 写道： 「 You may be skeptical about machine-written work at first, but once you see the software rearranging familiar-seeming paragraphs into different orders and changing a few words, you’ll realize it’s a suitable replacement for your favorite authors, who can now rest and starve」

—— but it's a joke 🙂

🔗 https://www.mcsweeneys.net/articles/introducing-total-crap-the-first-magazine-written-entirely-by-ai