新浪新闻客户端

钉钉 AI 重磅升级,卷向多模态、AI 工作流

钉钉 AI 重磅升级,卷向多模态、AI 工作流
2024年03月28日 11:38

  3月28日,钉钉 AI 助理重磅升级,上线图片理解、文档速读、工作流等产品能力,率先探索多模态、长文本与 RPA 技术在 AI 应用的落地。

  基于阿里通义千问大模型,升级后的钉钉 AI 助理拥有更强的视觉推理能力和长文本速读能力。目前,用户在钉钉 IM 消息框或点击魔法棒按钮进入 AI 助理对话框,发送长文件、在线文档、网页链接、视频内容,即可根据内容识人、识地点、分析、答题、翻译、摘要、提取文字,甚至可以通过多轮交互进一步做智能问答。

  钉钉 AI 已支持图像理解、视频速读,化身全能“小百科”

  LLM(大语言模型)之后,大模型领域迎来了新的爆点“多模态”,为 AI 应用带来了更大的想象力。

  基于通义千问 Qwen-VL-Max 视觉理解模型,钉钉 AI 助理能够准确描述和识别图片信息,并根据图片进行信息推理、扩展创作、文字提取、翻译等,相当于一个全能的“图片小百科”。

  不管图片展示的是某件物体、某个人物、风景,还是菜谱、社交梗图、数学题和衣服标签,AI 助理都能一秒识别图片内容,并在此基础上进行多轮对话问答。比如,旅游时看到一个很美的建筑,拍照发给钉钉AI助理,就能迅速了解它的历史背景和相关故事。

  利用这一能力,用户还可以实现识图翻译或提取图片中的文字,让信息获取更加便捷。比如,不知道某件衣服的洗涤方式,把衣服标签拍个照发给钉钉 AI助理,就可以翻译上面的英文。

  通义千问 Qwen-VL-Max 拥有更强的视觉推理和中文理解能力,整体性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等测评中远超业界所有开源模型,在文档分析(DocVQA)、中文图像相关(MM-Bench-CN)等任务上超越 GPT-4V,达到世界最佳水平。

  此外,AI 助理也支持视频内容的速读。发送给 AI 助理的短视频、直播切片或培训视频可以被快速“观看”, AI 助理会根据视频内容生成字幕,提取关键词,并生成一份智能摘要,对于最高 2GB 的视频内容,仅需 3 分钟即可完成智能解读。

  “文档速读”能力升级,从冗长信息中解放生产力

  利用大模型技术从文本中检索、总结信息,可以说是每个人日常生活、工作、学习的需求场景。

  基于通义千问大模型,钉钉 AI 助理可以快速阅读本地文件如 Word、PDF、PPT、Excel 等、钉钉文档、网页链接等多种格式文件,轻松解析各类学术论文、产品手册、使用教程、数据表格、新闻报道、多国语言的图书等。

  比如,临时需要分析一个业务数据时,上传相关的 Excel 表格,AI 助理就可以直接给出数据结论;企业复杂的产品手册发送给 AI 助理后,可以快速总结和智能问答,大幅提升信息效率。

  值得一提的是,钉钉 AI 助理对长文本的处理能力已支持单次阅读500页的文件,可以为法律、医学、金融等专业领域提供更全面、准确的信息服务。

  比如,有研究者将一份《大模型与自动驾驶如何结合研究报告》的长论文发送后,AI 助理在几秒内就快速总结了相应的内容,并给出了这一研究具体是什么、研究的技术创新点、研究方法等诸多论文的关键要素。用户还可以进一步追问某个知识点的具体来源或相关信息,从阅览文档、反复检索的冗长工作中彻底解放。

  AI 助理上线“工作流”, AI 也能干复杂的活了

  随着 OpenAI 带火 Agent(智能体),大模型融入自动化技术成为当前最具共识的方向之一。

  今年1月,钉钉 AI 助理正式上线,企业和个人 AI 助理已进入到工作和生产力场景中。为让 AI 助理可以完成一系列更复杂的任务,钉钉 AI 助理上线了工作流能力。

  工作流是 AI Agent 的一种进阶玩法,不仅可以在创建时对 AI 执行任务的流程进行拆解和编排,使得 AI 助理可以主动接管完成相应操作,还能够打通外部的系统数据和 API 能力,进一步扩展了它的行动能力,比如搭建能自动写脚本并生成视频的创作 AI 助理。

  为降低用户的使用门槛,钉钉官方还提供了多种工作流模板。已有企业使用工作流创建了门店信息收集助理,将用户反馈自动化整理,并存储到一张钉钉多维表中,帮助员工节约琐碎的时间;个人用户也通过连接微博 API,创建了自动追踪热点并撰写文章的助理,一个指令就能批量执行,大幅提升内容生产的效率。

  目前,用户可在钉钉 APP 或 PC 客户端直接使用 AI 助理的各项功能,包括多模态、长文本和工作流,体验 AI 带来的便捷与高效。

  (来源:News快报)

责任编辑:何奎良

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2024 SINA Corporation

All Rights Reserved 新浪公司 版权所有