AI趋势周报第227期：Falcon系列模型添新成员，180B版一现身就胜过Llama 2
HuggingFace
重点新闻(0901～0907)
Falcon-180B Llama 2 语言模型
Falcon系列模型添新成员，180B版一现身就胜过Llama 2
最近，阿拉伯联合大公国科技创新研究院（TII）开源1,800亿参数的大型语言模型Falcon-180B，在HuggingFace排行榜上胜过Meta的Llama 2（700亿参数）和GPT-3.5，表现与Google的PaLM-2 Large相当。
今年6月，TII就释出语言模型Falcon，包含10亿参数、70亿参数和400亿参数。这次，他们以400亿参数版本爲基础，用自家RefinedWeb资料集（共3.5兆个Token）训练出Falcon-140B，是目前开源语言模型中最大的版本。这次模型新添了些新机制，如多重查询注意力机制（MQA），来提高扩展性。团队以机器学习平台Amazon SageMaker和高达4,096颗GPU来训练Falcon-180B，共耗费700万个GPU小时。
就测试结果来说，Falcon-180B在多任务语言理解基准测试MMLU中胜过Llama 2和GPT-3.5，并在HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC、BoolQ等资料集测试上与PaLM 2-Large相当。它在HuggingFace排行榜的分数是68.74，是得分最高的开源预训练LLM，超过Meta的LLaMA 2 （67.35）。虽然开源且开放商用，Falcon-180B的条件比前几代严格，不允许任何托管用途。（详全文）
TAIDE 生成式AI 公部门
国产可信任AI对话引擎TAIDE将开放公部门测试申请
国科会在上半年号召国内学术团队和国科会辖下机构，展开TAIDE计画，打造专为台湾使用者设计的可信任AI对话引擎TAIDE，自6月揭露第一阶段成果後，9月将进入大规模测试阶段。
该计画统筹负责人李育杰指出，团队将於9月邀请部会报名，并於10月提供测试帐号，来让公部门测试应用。他也指出，由於Meta在7月中释出可商用的Llama 2，让商用版TAIDE模型有了更好的基础，如Taide-llama2-13B-Chat模型已有不错的表现，且让TAIDE在学研与商用模型发展的经验和资源可共轨。目前，TAIDE应用场景先锁定4项日常办公工作，如中英翻译、自动摘要、写Email，以及出题目就能产生作文等任务。
他也预告，TAIDE计画团队将在10月中下旬举行线上会议，并对中央政府部门举办工作坊，再扩及地方政府部门，向各机关人员介绍这套模型与使用教学。未来，TAIDE计画团队希望政府或业界都可基於这套AI对话引擎，根据需求，来自行训练模型并建立内部应用。（详全文）
生成式AI 司法院 裁判书
司法院将在几家法院试用生成式AI系统，要降低法官裁判负担
去年4月开始，司法院就开始在打造生成式AI应用，要来辅助法官制作不能安全驾驶、帮助诈欺2大类裁判草稿，来供法官制作裁判时参考。目前，司法院已完成这2类生成式AI系统，可即时根据犯罪事实、证据等资料，来产出裁判草稿。系统复验通过後，就会由司法院刑事厅和资讯处讨论、选择几家法院试办，评估效用後，就会全面上线AI系统。
司法院表示，他们也正开发毒品罪裁判草稿的生成式AI系统，预计今年12月试办上线。明年则是要发展「民事交通损害赔偿」、「消债更生、清算」等事件裁定草稿自动生成的开发案。这些生成式AI系统以TMT5模型，并以起诉书、配对的裁判书等资料训练而成，该系统采完全落地模式，来训练、生成答案，保护资料隐私。（详全文）
Google 天气预测 评估
Google释出全球天气模型预报基准，可精准比较天气预报模型
Google日前释出一款天气预报模型评估和比较框架WeatherBench 2，可计算机器学习模型和物理模型的天气预测分数，协助专家依此微调和改善模型。Google也开源WeatherBench 2程式码，以及针对云端最佳化的真实资料和基准资料集。
天气预报的评估有不少挑战，因为高解析度的天气预报资料量庞大，因此Google在开源统一程式开发模型Apache Beam上建置评估程式码，供用户将运算分割成小区块，以进行分散式评估。此外，Google对不同解析度提供云端最佳化的ERA5资料集，能用来加速ML天气预测模型的训练。同时，WeatherBench 2也针对机器学习预测的限制，提供研究范例，Google也将继续完善WeatherBench 2，添加站点观测和降水资料集等，并将临近预报和次季节预测纳入基准中。（详全文）
Amazon SageMaker 生成式AI AWS
生成式AI互动体验更即时了，Amazon SageMaker新增模型推论结果串流功能
AWS在机器学习服务Amazon SageMaker的即时推论功能中，新添回应串流（Response Streaming）功能，使用者可将模型推论的答案，持续串流回客户端，来打造生成式AI应用更即时的互动式体验，如Chatbot、虚拟助理或音乐生成等。这个新功能可让使用者立即串流资料，不需等到整个回答完整生成才行，省下等待的数秒或更长时间。
要从SageMaker撷取串流回应，用户需使用新的InvokeEndpointWithResponseStream API，应用程式可更快收到第一个回应位元组，明显降低延迟。SageMaker托管的大型模型如Falcon、Llama 2和Stable Diffusion等，都能将模型推论结果以串流形式回传，范围涵盖文字和图像。AWS表示，SageMaker即时端点回应串流是透过HTTP 1.1区块编码实作而成，亦即资料会被分成多个区块传输，而非一次性传送整个资料，伺服器可在生成内容的同时立刻传输，不必等待所有内容都准备好。（详全文）
API Apigee Duet AI
管理API更容易！Google Apigee API整合自家生成式AI助理
Google在Apigee API管理工具和应用程式整合工具中，新添自家生成式AI助理Duet AI，来降低建置API、整合流程和扩充套件的门槛，比如，用户可用自然语言下指令，来建立API规范，这些规范会将诸如安全架构、集中式目录API Hub中其他API物件等资源纳入考量。
Google指出，这项整合可大幅提高生产力，因为建构API规范需要专业知识，得耗费大量时间才能完成，而Duet AI可加速这个过程，还能标示与API Hub其他API的不一致之处，如语法、语义和程式码编写风格。在Apigee API应用程式整合工具方面，Duet AI可根据需求和企业资产，自动建议合适的整合流程。比如根据整合流程中的变数和应用程式，Duet AI会自动建置连接两个应用程式的资料映射，或根据用户需求进一步调整资料映射。这项新功能已向Google客户开放，几周内将开放预览。（详全文）
Salesforce IBM 生成式AI
IBM与Salesforce联手推企业AI工具
IBM与Salesforce联手推广企业生成式AI服务，要加速用户在客户关系管理中对AI的采用。在这项合作中，IBM顾问部门将派出16万名专业顾问，协助用户采用Salesforce的AI应用，如Einstein、Sales Cloud、Service Cloud、Marketing Cloud和Slack等。此外，IBM顾问部门也会使用自家AI平台watsonx，来补足Salesforce的解决方案。
进一步来说，Salesforce在今年3月推出了客户关系管理专用的生成式AI服务Einstein GPT，且在这条产品线旗下，还发展出Marketing GPT等行销工具，可用来加速广告文案等工作，另也有客服专用的Einstein GPT for Service，这些生成式AI产品都包含在这次合作范畴内。此外，这次也将以IBM Consulting Managed Services for Salesforce加速器工具组来协助用户转型，辅助用户部署、扩展和强化Salesforce服务。（详全文）
FACET 歧视 电脑视觉
Meta开源可用来侦测AI歧视问题的FACET资料集
Meta日前开源FACET资料集，能用来评估电脑视觉模型在分类、侦测、实例分割与视觉定位等任务中，可能出现的偏差或歧视，协助开发者改善模型。FACET由3.2万张照片所组成，包含5万人，每张照片都由人类专家按相关属性手动标记，如性别与年龄等族群特徵，肤色、发型等生理特徵，以及诸如棒球选手或医生等分类，另也包含来自SA-1B资料集中6.9万名戴口罩民众的人口属性标记。
这个资料集可用来协助回答某些问题，像是当某些表现的刻板印象多为男性时，模型是否能提供更好的辨别；标准检测模型是否难以侦测肤色较深的人口等。（详全文）
图片来源／HuggingFace、AWS、Google、Meta
AI近期新闻
1. 11亿参数的小型版TinyLlama问世
2. Zoom重新推出生成式AI助理，可摘要会议记录
资料来源：iThome整理，2023年9月