Transformer速查宝典：模型、架构、训练方法的论文都在这里了论文大合集，一篇文章就搞定。AI 发展迅速，这对于刚刚入门或是正想跟上「潮流」的新手们来说并不友好。如果有一份详细全面的知识列表可能会帮助他们更快走上「正途」。今天给大家带来一篇 Transformer 的综述文章，供大家了解 Transformer 的来龙去脉及相关技术。本篇综述涵盖了2

　　本文由站长之家合作伙伴自媒体作者“ 机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　Transformer架构已经在现代机器学习领域得到了广泛的应用。注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一个概率分布。对于使用ReLU的S/8模型，这种门控机制会将实验所需的核心时间增多大约9.3%。

　　视觉Transformer成为各类视觉任务如物体识别和图片分类的有效架构。这是因为自注意力可以从图片中提取全局信息卷积核大小限制了卷积神经网络只能提取局部信息。他们的贡献有:1）提出了紧凑高效的视觉Transformer模型DualToken-ViT，通过卷积和自注意力的优势实现有效的注意力结构;2)提出位置感知全局令牌，通过图像位置信息来增强全局信息;3)DualToken-ViT在相同FLOPs下在多个视觉任务上表现最好。

　　Transformers成为了人工智能领域最重要的创新之一。这种神经网络架构于2017年推出，彻底改变了机器理解和生类语言的方式。这有望推动人工智能在多模态智能应用中的发展。

　　阿里巴巴达摩院模型开源社区ModelScope宣布开源法国人工智能初创公司MistralAI旗下新模型Mistral7B，可免费商用。Mistral7B在公开提供的指令数据集上进行了微调后的模型Mistral7BInstruct，在MT-Bench上超越了其他7B模型，并可与13B聊天模型相媲美。

　　MistralAI，一家法国人工智能初创公司，最近发布了一款性能优越的语言模型Mistral7B，并免费向所有人提供使用。图片来源:米斯特拉尔人工智能该模型基于Apache2.0许可证发布，除了归属之外，没有任何使用或复制的限制。对于对Mistral7B模型的开放性以及未来发布计划的一些疑问，我们已经联系了Mistral，并等待他们的回复。

　　StableSR是一种创新性的AI方法，旨在通过利用预训练扩散模型的威力来增强超分辨率任务澳门新葡。传统的SR方法通常需要大量的计算资源来从头开始训练扩散模型，这可能会损害它们的生成先验知识。通过利用预训练的扩散模型并结合创新技术，如时间感知编码器、可控特征包装模块和渐进聚合采样策略，StableSR为将扩散先验知识应用于图像恢复任务的未来研究提供了坚实的基础。

　　Meta、麻省理工学院和卡内基梅隆大学的研究人员最近发表的一篇新论文介绍了一项名为StreamingLLM的创新技术，旨在解决大型语言模型在长时间对话中性能下降的问题澳门新葡。LLMs如OpenAI的ChatGPT和Meta的Llama2在当今的人工智能领域备受关注，但它们都面临一个共同的挑战，即在与用户的对话中始终提供高质量的响应，无论对话持续多长时间或交换的对话数量如何。StreamingLLM技术为LLMs在长时间对话中保持高性能提供了创新的解决方案，有望在许多领域，特别是需要持续不断地与用户交互的应用中得到广泛应用。

　　OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库，它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型，分别在1.6T和1.25T的文本标记上进行验证，取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出，表明了该项目的合作性质和开源精神。

　　研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过它们，提高了模型的训练速度和准确性。这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。

　　计算机视觉巅峰大会ICCV2023，在法国巴黎正式“开奖”!今年的最佳论文奖，简直是“神仙打架”。获得最佳论文奖的两篇论文中，就包括颠覆文生图AI领域的著作——ControlNet。来自MIT的TedAdelson教授则获得了终身成就奖。

　　Utopia Criativa是一款基于人工智能的数据分析平台，提供强大的数据分析和预测功能。其优势在于智能算法和简单易用的界面，定价灵活，适用于各种规模的企业。定位于帮助企业更好地理解和利用数据。

　　Brewit是一款智能数据分析助手，通过简单提问，让您能够更好地基于数据做出决策。其主要功能包括数据集成、即时答案、图表库、AI推荐等。与其他产品不同之处在于其能简化数据管理，为协作式数据驱动决策增加智能语义层。同时，Brewit还提供数据仓库连接、内置数据目录、处理复杂查询、审批工作流、特定角色的AI助手等功能。Brewit的定价和定位可在其官方网站上获取。

　　Teacher AI是一个个性化外语口语练习工具，可以进行24/7的个性化口语练习澳门新葡，价格仅为人类教师的一小部分。它可以纠正您的错误并解释语法，还可以了解您的学习方式。您可以和AI老师用英语交流，它也会回答您的问题。我们可以跟踪您的进度，让您的成绩得到提高。Teacher AI是由世界上最有经验的语言学习者和教师创建的，不建议给完全初学者使用。加入我们，获得即时访问所有语言和AI老师的机会。

　　锦书是一个创新艺术字生成工具，提供丰富的艺术字体样式和效果，用户可以快速生成个性化的艺术字作品。该工具定位于为用户提供便捷、高效的艺术字生成服务，无需专业设计技能即可制作出精美的艺术字作品。

　　Audibles是一款提供各种图书有声化服务的应用，用户可以在该应用中找到各种图书的有声版本并进行收听。优势包括丰富的图书资源、高质量的声音表现、便捷的使用体验。定价灵活多样，用户可以选择单独购买或者订阅服务。定位于为用户提供高质量的有声读物服务。

　　这是一个实验性质的基于人脸识别模型提取的面部ID嵌入进行图像生成的模型。它使用了LoRA来提高ID一致性。IP-Adapter-FaceID可以仅通过文本提示生成各种风格的人脸图像。

　　追影-视频生成是一款基于人工智能技术的视频生成工具，能够快速生成高质量的视频内容。其优势在于提供丰富的视频模板和智能编辑功能，用户可以轻松制作出令人印象深刻的视频作品。定价灵活合理，定位于个人用户和小型企业，为用户提供高效的视频创作解决方案。

　　Nutritionai AI是一款智能营养管理应用，为用户提供个性化的营养方案和健康建议。用户可以制定自己的营养计划，获取定制化的饮食建议和健康指导。该应用整合了营养学知识和人工智能技术，帮助用户更好地管理饮食，提高健康水平。

　　Chat2Design 是一款基于 AI 技术的设计助手可以快速生成 UI 元素，提供持续的设计灵感。用户可以通过输入文本，将其转化为高质量的设计，大大缩短设计时间。Chat2Design 还支持导入以前生成的设计，轻松调整或混合元素，创造出独特的设计。用户可以定制输出，如颜色、尺寸和复杂布局。同时，Chat2Design 还提供实时设计灵感，帮助用户克服创作障碍。

　　Facememe是一款使用AI技术，能够让用户瞬间变身流行的表情包角色的免费产品。上传照片后，即可快速生成表情包图片，照片将在24小时后自动删除。产品定位为提供快速有趣的表情包生成体验。

　　EmployPlan是一款能够增强团队力量、简化就业规划的应用。通过简单的几次点击，监控员工的发展情况，将人才的技能与项目需求进行匹配，并快速规划招聘流程。它集所有功能于一身，为您带来更便捷的就业规划体验。

　　AI Roasts My Career是一个由ChatGPT驱动的产品，可以帮助用户发现关于他们职业的真实问题，这些问题HR和朋友们可能会太客气不说出口。产品提供了Elon Musk、Donald Trump、Santa Claus、Logan Roy和The Rock等多个人物来进行嘲讽，让用户能够在娱乐中获取职业发展的真实建议。用户只需要提供LinkedIn的URL，就可以获得一个充满冷嘲热讽的职业分析报告。

　　Threado是一款基于人工智能的支持助手，帮助您为客户和社区成员提供最佳支持体验。它提供即时支持、行动洞察和强大的工作流程，助您提供出色的支持体验。 Threado AI可以轻松地使用社区对话、帮助文档URL、文档或PDF来进行训练。它能够无缝集成到您的Slack工作区、Discord服务器或嵌入到您的网页中，随时随地提供即时满足感。

　　ZenPrompts 是一款强大的提示编辑器，帮助您创建、优化、测试和分享提示。通过比较多个模型输出、展示提示作品集、实验提示版本、与他人分享提示、使用动态变量优化提示结构和添加注释记录，ZenPrompts 让您成为专业的提示工程师。

　　SenseChat with AI Girlfriend 18+ 是一个专为成年人设计的聊天工具，提供深入、有意义的对话。它能真正理解并与你的共鸣，为你打造独一无二、无与伦比的聊天体验。

　　KinesteX AI是你的个人健身助理，利用人工智能提升你的锻炼效果。通过跟踪你的动作并实时反馈，KinesteX确保你充分发挥健身效果。定制化的训练计划满足你的特定需求，帮助你减肥、增肌或改善整体健康。KinesteX提供了实惠可靠的解决方案，让你随时随地享受高质量的健身体验。

　　GPTURER是一个简单易用的解决方案，通过扫描网站来生成全面的知识数据集。只需两个步骤即可简化ChatGPT助手的创建：创建一个网站扫描任务，并下载集成的知识数据。使用GPTURER，您可以输入网站URL，让我们的系统仔细浏览和提取必要的数据，包括文本、图片、URL和结构元素。当我们的系统仔细扫描网站时，它会将提取的数据编译成结构化的输出文件，一旦扫描完成，您就可以立即下载这些文件。利用这些生成的输出文件作为基础，轻松创建个性化的ChatGPT助手，无缝嵌入提取的内容，以增强其功能。我们提供三种定价方案，Starter（€5）、Basic（€20）和Premium（€50），根据您的需求选择合适的套餐。GPTURER能够将网页内容转换为Chat GPT智能，为您提供更强大的助手功能。

　　Image to Caption Tool是一款通过人工智能提供的快速生成图片标题的工具。它可以帮助您轻松地增强视觉叙事能力，节省时间和精力。您只需上传或拍摄一张图片，点击生成标题，即可在几秒钟内获得合适的标题。

　　ReelCraft是一个能够从简单的文本提示中创建沉浸式动画视频的工具。它让你的想象力成为画布，AI成为艺术家。ReelCraft解决了动画制作的复杂、昂贵和耗时的问题。它能够轻松将你的想法转化为引人入胜的动画故事。ReelCraft提供一致的角色生成，具有丰富的功能，并可适用于各种场景。

　　muse.ai是一款下一代无广告视频托管平台，包含强大的嵌入式视频播放器和最先进的视频搜索功能。它提供丰富的功能，包括存储、分享、搜索、分发、定价和订阅等。muse.ai采用人工智能技术，支持语音识别、视频内容搜索和自动生成字幕等功能。定价方案灵活多样，适用于不同规模和需求的用户。