微软Teams、Word、Excel、PowerPoint与Copilot程式,将登上Apple Vision Pro程式商店

微软

苹果售价高达3,499美元的空间运算设备Apple Vision Pro即将在本周五(2/2)於美国市场上架,微软则宣布,当天该公司的Microsoft Teams、Copilot、Word、Excel、PowerPoint、Outlook、OneNote和Loop等程式就会登上Apple Vision Pro程式商店,成为首波支援该装置的应用。

图片来源/微软

微软表示,过去一直与苹果合作,在iPhone、iPad与Mac上提供出色的Microsoft 365体验,而出现在Apple Vision Pro的上述应用,将可利用空间运算的无限画布,同时可以任何比例并排出现,展现令人难以置信的多工能力。

例如PowerPoint on Apple Vision的客制化沈浸式环境,让使用者可以如同向群众展示一般地进行排练;Excel同样可利用Vision Pro全新的多工模式来提高工作效率,并分析、处理及可视化资料;启用Vision Pro的沈浸式环境与Word的专注模式,就能在优美的景色中专心处理文件。

比较特别的是Apple Vision Pro中的Microsoft Teams,在Teams的视讯通话中,穿戴Vision Pro的使用者会被当作一个角色,并以数位形式呈现该角色的脸部表情与手部动作。

此外,由於Teams定位为通讯与协作平台,可充分发挥Apple Vision Pro的无限画布功能(如下图示意),同时打开Word、Excel和PowerPoint等应用,把它们放置在任何位置、缩放到任意大小,以於通讯期间直接存取。

图片来源/苹果

Apple Vision Pro上的Microsoft Copilot允许使用者以文字及语音来控制,包括请求Copilot来起草、建立、编辑或摘录文字内容,也可利用它来分析与探索资料。

除了上述的生产力应用之外,微软亦计画在一年之内让旗下的混合实境平台Microsoft Mesh进驻Vision Pro。…

OpenAI可分享客制化AI Chatbot的GPT Store将开幕

一如12月初OpenAI预告,OpenAI去年一度因人事动荡耽搁的AI聊天机器人市集GPT Store ,即将於本周上线。

OpenAI上周以电子邮件通知GPT Builder开发人员用户,GPT Store即将开幕的消息。

OpenAI去年11月公布GPT-4 Turbo及可客制化模型服务GPTs,同时承诺推出允许ChatGPT Plus及ChatGPT Enterprise用户销售客制化模型的市集GPT Store。不过11月底忽然发生董事会开除执行长Sam Altman、另立执行长的事。这件事在持续2周後,以Altman回锅、董事会改组为结局落幕,但也使GPT Store原定上市时程被迫推迟到今年年初。

OpenAI通知开发人员,如果他们有兴趣展示和销售自己的模型,需先检视使用条款及GPT品牌指引确保其Chatbot有确实符合。其次应确认开发者资料页、验证姓名及网站,最後公开出版其GPTs(若选择「任何具有连结的人员」则不会显示在GPT Store中)。

不过GPT Store上架客制化Chatbot的价格、分润方式,或是推出地区等细节,目前尚不清楚。…

抢救 IT 失传技艺,亚马逊技术长倡议节约架构 (Part 2 量测篇)

Amazon

节约架构的第一部分聚焦在软体架构设计阶段,包括将成本意识融入软体架构设计的每一个环节、确保系统成本支出与营收成长呈正相关,以及保持软体架构可以持续进化和改善。第二部分则是软体服务上线後,需要进行的量测(Measure)工作。

Vogels指出,第四项法则是:「无法量测的系统必有隐藏的成本」。他以1970年代发生石油危机时,他所生长的荷兰为例,说明透过量测将资讯视觉化,有助於改变人们的行为。在全球性能源危机发生的当时,虽然人们普遍意识到节能省电的必要性,不过有一项调查却发现两栋规模大小雷同的楼房,用电量却有很大的差异。细究之下发现,耗电量较少的那栋楼房,其电表安装在一楼出入口,而耗电量较多的那栋楼房,电表则是安装在地下室,这代表住户每天出入时从电表看到耗电量,有助於提升用电意识,进而改善节能省电的作为。

然而软体使用成本该如何量测?如何设计量测指标呢?身为亚马逊技术长的Vogels,进一步以自家电商网站的经验说明量测指标。由於亚马逊购物网站已经是一个高度微服务化(Microservices)的软体架构,其网页上的诸多功能,如商品资讯、评比推荐、预估送达时间、购物车、搜寻与使用者体验等功能,每一个服务皆由後端上百个微服务组合起来运行,因此为了掌握成本,第一步必须先从微服务层级量测每一个微服务的运算成本,接着是依照网页上的各项功能,加总计算其所需微服务的运算成本,据此计算如购物车、预估送达时间或评比推荐等属於系统层级功能的成本。

有了微服务与网站功能的成本数据,再除以网页浏览量,就可得知以每一个网页读取为单位来计算之下,各个微服务与网站功能的单位运算成本。有了每读取一个网页的单位运算成本,再搭配每读取一个网页的下单转换率,则可画出网页成本与转换率关系图:以每读取一个网页的成本为X轴、以每读取一个网页的下单转换率为Y轴,如此即可用於分析网页增加新功能的成本与效益。

由於X轴所代表的是随网页增加功能而递增的运算成本,对照着Y轴所代表的下单转换率,据此画出来的折线图若呈现45度上升直线,就代表随着新功能增多,下单转换率也提高了,亦即成本与效益保持正向发展的健康趋势,证明新功能有助於提升营收;若折线图呈现波动的曲线甚至是下降趋势,即代表新功能无助於下单转换率,必须思考是否该为新功能付出额外的成本。

成本效益分析除了可用於开发新功能的策略,也可以做为系统效能改善的衡量基准。众所皆知网页载入速度会影响使用者体验,对电商而言甚至会冲击业绩营收,然而在提升网页载入速度时,到底该改善到什麽程度,才能刚好有助於提升营收,而又不会因为改善过头而付出过多无谓的运算成本,就可以利用运算成本与营收分析做为判断基准。Vogels表示,由於电商的利润空间很薄,所以亚马逊必须无时无刻控制整体成本,对於软体开发与营运应该投入多少资源,是否增加新功能,或是增加用户体验效果等,都必须基於成本效益的决策,若营收随着新功能而增加,即代表运算成本的投资有正向回报。

有了量测指标,就可以依据成本效益与永续指标订定基准,接下来则必须藉由建立成本控制措施来落实。Vogels观察到:「有成本意识的架构必有成本控制措施」,这也就是节约架构的第五项法则。他指出,所谓的成本控制措施,一方面要先将软体功能依其商业价值分级,另一方面则是打造可调式架构,让软体功能的运作可如电源开关与音量旋钮一样切换与调节,例如软体各项功能的启用、预载、监测数据与Log记录的数量增减等等,皆可依据成本与业务需求而自由调整。

以亚马逊电商网站的首页为例,网页上的各项功能均依其与下单交易的关系分成不同等级,第一级功能属於下单交易必备的功能,如商品资讯、搜寻、用户评论、购物车、结帐等,少了任何一项就无法让消费者完成下单交易;第二级功能则如相关商品、推荐商品等有助於销售,但并非下单交易必备的功能,第三级功能则可能是辅助销售的功能,如陈列同厂牌的其他产品等。一旦各个功能的重要性与价值区分出优先次序,在投入相关资源时就能有所依据,例如要提升网站的可用性,显然强化第一级功能的可用性必须优先於第三级的功能,如此就能将资源花在刀口上,兼顾成本效益。

Vogels建议软体功能要基於商业价值来分级,不仅要提供如电源开关一样的控制按钮,而且更重要的是,要交由业务团队依据商业需求决定如何操控这些功能,而不是从技术的角度来决定。

继续阅读 → Part 3 节约架构最佳化篇


节约架构 Frugal Architect

设计

I. 成本是必要的非功能性需求
II. 系统成本必须与公司获利保持一致
III. 架构设计是一连串的权衡与取舍

量测

IV. 无法量测的系统必有隐藏的成本
V. 有成本意识的架构必有成本控制措施

最佳化

VI. 成本最佳化是渐进的
VII. 无庸置疑的成功必将导致错误的臆断


 …

用生成式AI帮助资安蔚为风潮,台湾有资安业者已跟上技术主流

奥义智慧

用生成式AI帮助资安应用,不只是微软与Google的一举一动受广大关注,在迈向2024年之际,我们更是可以发现,已有几家台湾资安业者率先投入发展,并且实际端出可应用的产品。这不仅突显台湾资安业者的技术实力,也显示他们及早布局、持续关注之余,也累积实作经验,才能在技术浪潮的一开始,就有了相关成果与进展。

有哪些台湾业者行动最积极?早在2023年5月台湾资安大会,也就是微软预告推出Security Copilot没多久,知名资安新创奥义智慧就展示,将AI虚拟分析助手导入新的XCockpit平台,能提供中文案情摘要与处置建议,7月上线。

接下来是趋势科技,6月宣布Trend Vision One整合式资安平台,将提供自然语言聊天介面的AI助手Companion,7月开放部分客户使用,最近11月27日,已正式向所有客户开放这项应用。

另外,资安监控委外服务商安碁资讯在本月举行的年度媒体资安讲堂,也首度透露,他们要用ChatGPT帮助资安服务与资安工作,并制订3大发展方向,目前发展进度已达到7成。

显然,在许多资安业者都高喊AI资安,以及国际大厂陆续用生成式AI帮助资安之下,我们确实看到台湾已有资安业者,同样看好新技术带来的创新与机会,并在2023年已积极展开相关行动,未来2024年,我们也期盼更多台湾资安业者能够需与时俱进,善用特性以提升效率。毕竟,在骇客积极利用生成式AI的状况之下,如果国内资安业者没有善用AI自动化的做法,很有可能更无法跟上日益加剧的威胁态势。

基於厂商公开展示与揭露这些功能的时机都在2023年的条件限制,这次探讨AI资安的封面故事,我们特别选择奥义智慧、趋势科技、安碁资讯这3家业者,与他们一起探讨最新的发展态势。

与工作流程整合是关键,从解决用户问题的角度出发

关於用生成式AI帮助资安这件事,奥义智慧有很深刻的想法,该公司创办人邱铭彰特别说明了他们的发展策略。

他指出,应从解决前线人员问题的目标开始设想。因为,目前资安人员使用资安系统时,面对各种警示,通常会看到介面上有相当多的资料需要解读,因此,这里的最大挑战在於,未完成充足训练的人员根本看不懂,即便厂商培养这方面的人才,也很容易被挖角。

所以,现在如果能在资安领域善用生成式AI技术,可以快速产生事件摘要、建议措施,将能直接解决使用者的需求。更重要的是,可藉此大幅减少平均侦测时间(MTTD)、平均调查时间(MTTI),并且使事件本身的解读更有意义。

同时,这也将改变资安团队运作效率的量测。而在奥义智慧自家的XCockpit介面上,已经将这两项指标直接显示於首页仪表板,作为重要观测指标。

关於生成式AI在操作体验上带来的简化,其实我们陆续从各家厂商发展看到例子,并认为可能带来新的变革,像是可藉由一问一答方式查询,也能点击AI给出的建议按钮执行,还有AI自动建议通知的形式,让相关设定与操作变得更简化与不同。

邱铭彰也有同样看法,他认为,最大的变化就是发生在使用者体验,他预见资安系统UI介面将朝向更简洁发展,因为过往资安系统的介面很复杂,需要显示相当多的资料,但从用户角度而言,只要能够解决问题就好,这才是根本。

此见解可从奥义智慧展示的XCockpit平台介面得到印证,我们发现,当中并未特别设计自然语言输入的对话框。

邱铭彰表示,他们的工单管理系统已能自动整并案件,使用者只需要点击,就可以看到自动化调查的结果,包括手法、攻击来源与出建议等,即便一段Base 64编码的内容、命令列的指令内容的分析,也只要点击选项,就会提供简显易懂的说明。

他并以近期向客户展示的经验为例,当时他们进行红蓝队演练,AI资安系统可以做到「当侦测到攻击发生到哪,针对攻击的解说也就可以到哪」,这样的呈现方式彷佛游戏直播。

邱铭彰强调,现在很多业者的生成式AI应用,都是产生威胁情资的辅助说明,但整合在工作流程才是关键,并且要让生成式AI能做资安决策,并不只是单纯提供操作辅助,如同自驾车Level 2与Level 3的差异。他认为,这是台湾资安厂商发展AI功能时可以思考的方向。

如此看来,奥义智慧已设想将生成式AI与工作流程深度整合。不过,对於交由AI来进行决策,我们也忧心这麽做真的可行吗?邱铭彰表示,用於资安是可以的,但与人命相关的请不要交给AI。

另一个我们好奇的问题是:过往资安业者就已经在使用AI/ML模型,与生成式AI相比,究竟有何具体差异?

邱铭彰解释,以奥义智慧而言,他们过去开发三个AI小模型,以此来让案情分析做到更准确,第一个AI模型帮助挑出重要的事件,第二个AI模型可组成案情结构并将事件轴串起,第三个AI模型能将案情解说成中文并产生建议,而他们的CyCraftGPT,目前版本是基於可商用LLM模型Mistral而打造,当中还有以台湾习惯用语来训练。

总合而言,CyCraftGPT与先前AI模型的使用并不冲突,而是可以更好将多个AI模型的效果串联起来。

另外,邱铭彰也预测,不仅资安系统UI会朝向简洁设计,还会出现很多聊天机器人,这就如同ChatGPT服务,介面其实就只是对话框的形式,并没有复杂的UI设计。

他还透露,公司目前最想解决的两个问题:一是用於产品手册与说明书的查询;另一是国外资安情资新闻的汇整,这将能帮助资安长更好理解,也是改进资安服务的体验。

值得一提的是,在2023年底,奥义智慧也在日本资安大会SECCON发表适用於资安产业的AI评估标准,名为Adaptive Evaluation Security Guard(AESG),其作用为减缓大型语言模型相关风险,包括资料外泄、Prompt攻击、以及AI幻想等问题,以及确保他们另一项生成式检索增强(RAG)系统CyberSensei的可使用性及正确性。

建构高度弹性的介面,资安的新手、老手,以及资安长都可受益

很早就从台湾跃上国际资安舞台的趋势科技,他们的资安产品线可说是相当庞大,因此,他们在2021年就打造Trend Vision One整合式资安平台,当中以XDR为核心,并结合更多产品功能,随着2023年AI资安助手Trend Companion的推出,将能够带来哪些助益?

他们表示,Trend …

微软Xbox Cloud Gaming、PowerPoint、Excel与Word正式登上Meta Quest Store

Meta

微软与Meta在去年10月携手宣布,要将Xbox Cloud Gaming、Microsoft Teams与Microsoft Windows 365带到Meta Quest虚拟实境装置上,而一直到了上周三(12/13),微软终於在Meta Quest Store释出了Xbox Cloud Gaming,隔天便接着推出支援Meta Quest的Word、Excel与PowerPoint。

其中,Word、Excel与PowerPoint支援了所有的Meta Quest装置,从早期的Meta Quest、Meta Quest 2、Meta Quest 3到最高阶的Meta Quest Pro,Xbox Cloud Gaming则仅支援Meta Quest 2、Meta Quest 3与Meta Quest Pro。

出现在Meta Quest Store中的Xbox Cloud Gaming仍是测试版,Meta Quest用户下载後可先与蓝牙游戏控制器配对,之後再登入微软帐号,透过有效的Xbox Game Pass Ultimate会员资格执行游戏,或是注册试用Xbox Game …

Google Cloud提供智财免责防护,让客户使用AI服务不用担心被告

Google

为让企业用户安心使用AI服务,Google Cloud宣布提供AI免责防护,让客户不用担心使用到版权内容被告。

今年8月Google推出付费Duet AI服务,是整合到Google Cloud产品从Workspace到Cloud Platform的AI助理,也强化了AI模型服务Vertex AI,协助用户运用及训练基础模型。这些服务能让企业运用AI生成,像是行销文案、广告图片、或是电子邮件等等。最新服务则再进一步,防止客户遭遇到版权方面的法律责任。

新服务包含二部分。第一部分和Google使用的训练资料有关,第二部分则着重基础模型的生成产物。训练资料的免责涵括所有Google用来打造其生成模型的资料集,当有第三方单位宣称客户侵害了其智财权,责任全由Google承担。

第二部分则是当用户使用Google AI服务的输出结果被第三方单位宣称侵害其版权时,责任归属在Google。这项免责防护适用於Google Workspace及各种Google Cloud服务使用的Duet AI,涵括Google Docs和Gmail(产出物为文字)、Google Slides、Google Meet(产出为图片)中的Duet AI、协助开发App的Google Cloud Duet AI、Vertex AI Search、Vertex AI Conversation、Vertex AI Text Embedding API/Multimodal Embeddings、Vertex AI的Visual Captioning视觉字幕/Visual Q&A,以及Codey API等。

不过Google强调,免责的前提是企业用户本身没有侵权意图,而且在负责任的AI使用下,有使用现有或发展中的工具加以引述来源。

透过在Google Workspace及Google Cloud新增的免责防护,客户无需修改现有合约,也能自动获得免责防护。Google表示这只是第一步,该公司正在研发让用户安心使用其AI服务的方法。…

OpenAI推出ChatGPT Enterprise服务

OpenAI本周一(8/29)正式发表了ChatGPT Enterprise,提供基於GPT-4的企业等级ChatGPT服务,除了支援无限的GPT-4存取能力,更长的输入/输出,以及进阶的资料分析能力之外,它还具备企业所需的安全及隐私功能。

OpenAI於去年11月发表的ChatGPT为一基於大型语言模型的聊天机器人,它不仅在上线两个月就吸引了全球逾1亿用户,迄今也有超过8成的财星500强(Fortune 500)企业采用了ChatGPT。

不过,免费版的ChatGPT并没有任何的服务保证,在尖峰时段可能无法存取,或是反应变慢,并有输入限制,今年2月上线的付费版ChatGPT Plus移除了相关限制,本周的ChatGPT Enterprise则嵌入了企业所需的安全、隐私与其它进阶功能。

根据OpenAI的说明,ChatGPT Enterprise具备大规模部署能力,将移除所有使用限制,且执行速度可达免费版的两倍快,并支援长达32k Token的输入,是免费版的4倍,可无限存取先前称为Code Interpreter的资料分析服务,可共享的聊天范本,以及免费的APIs使用额度。

此外,OpenAI也承诺不会使用ChatGPT Enterprise客户的资料来训练模型,不管是静态或传输中的资料都是加密的,亦符合系统与组织控制的SOC 2标准。

微软在今年7月也发表了基於GPT-4的Bing Chat Enterprise,现为Microsoft 365 E3、E5及Business Standard、Business Premium版本的内建功能,并计画推出可单独订阅的Bing Chat Enterprise,每月订阅费用为5美元。至於OpenAI则尚未公布ChatGPT Enterprise的价格。…

说来容易做来难,OpenAI悄悄关闭辨识AI或人类创作的服务

(背景图片) Maxim Berg on unsplash

AI功能日愈强大,产出的文字或图像几可乱真,连AI工具自己都无法判断。OpenAI上周悄悄关闭了用以分辨AI或人类生成内容的工具,因为它做不到自己宣称的事。

今年2月初,OpenAI公布名为AI分类器(AI Classifier)的服务,用以辨别由人类编写或是AI生成的文字,以协助解决学生使用AI写论文或报告的欺骗行为。该公司宣称只要输入最少1,000个字元,约为150到250英文单字,这工具就能判断该文本是由人类编写还是AI产生。当时该公司说其模型判断AI生成英文文字的正确判读率为26%,错误判读率(将AI生成文字判读为人类所写)为9%。

不过上周OpenAI在当初宣布这工具的官方部落格上,以一小行声明公告,AI分类器已不再提供,原因是准确性太低。

但OpenAI并未放弃,开发小组已蒐集这工具使用半年来得到的反馈,目前正在研究更有效的文字判读技术,并将投入开发与部署协助使用者判断是否为AI生成的声音和视觉内容。

这也显示AI功能愈来愈强大,足以产生难以区分真假的AI内容。这也呼应了一份由史丹佛大学教授的研究结论。该研究发现,母语非英语的使用者撰写的英文文章,超过一半会被AI侦测工具误判为AI撰写的产物。…

【中钢5G专网应用1】5G结合AI强化轨道运输安全

 场景1  厂区内利用轨道运输原物料

在中钢高雄小港厂区内,因占地相当广,铁水或废渣需依靠轨道运输载运。图中的动力机关车是厂区内重要的运输载具之一,这些机关车采用柴油为动力,後面可挂载特制的容器,可担任钢渣车或是专门载运高温铁水的鱼雷车。

 场景2  在钢渣车轨道线建置基地台

为强化轨道运输安全,中钢在厂区内推动智慧轨道运输,首先在长达900公尺的钢渣车轨道线上建置5G  NSA专网,以3座大型4G/5G基地台涵盖整条渣车轨道线,在3座转炉下方的室内空间建置3个小型基地台。图片来源/NCC

 场景3  以5G传送行车即时画面

为确保钢渣车在轨道上行驶安全,钢渣车在车头前方及後方,各设置1支5G摄影机,通过5G专网传输即时的行车影像到监控中心,前方的摄影机拍摄钢渣车前方轨道的即时行车画面,可观看前方轨道是否有异物入侵,目前为人工监看画面,中钢表示,未来可开发前方镜头专用的AI异物侦测模型,自动辨识钢渣车前方轨道是否有异物,例如人员、作业机具或车辆滞留,一旦发现轨道上的异物,立即向司机员告警,避免发生轨道车碰撞事故。至於後方摄影机则拍摄钢渣车载运的渣桶即时画面。

 场景4  AI侦测滞留人车强化平交道安全

为强化平交道安全,中钢在铁路平交道设置摄影机,透过5G传送即时影像画面,由AI侦测来往的车辆、行人,可辨识厂区内的作业车辆,当侦测到平交道滞留人车,平交道栅栏放下後,3秒内立即通知司机员,避免发生交通事故造成人员伤亡。图片来源/中钢

 相关报导  …

微软把ChatGPT整合到Azure OpenAI服务

微软

微软Azure持续加码人工智慧(AI)服务,上周宣布,Azure Open AI服务将以预览版推出ChatGPT服务。

这是微软Azure OpenAI服务继今年1月推出GPT-3.5、Codex和DALL-E 2模型後,最新上线的OpenAI服务。微软说,迄今已经有超过1,000家客户运用包含这3项以外的AI模型来创新其服务。

现在开发人员可以将ChatGPT聊天机器人整合在其自有服务,包括回覆客户问题、覆述客服对话、自动化处理理赔以及新增个人化的广告文案。微软说,Azure OpenAI可以和Azure认知服务合并使用,像是和Azure认知搜寻(Cognitive Search),以便利用对话式语言,在企业资料中进行知识库检索。

ChatGPT即日起上线开放使用,费用为每1000 token 0.002美元,从3月13日开始收费。

目前Azure用户已有美国办公用品供应商ODP Corporation、新加坡智慧国家数位政府专案办公室及合约管理软体业者Icertis使用ChatGPT的案例开发加值应用。ODP的HR部门用ChatGPT来改良文件检视流程、建立新职缺描述及辅助沟通;新加坡政府用它作为专案办公室的人机互动介面;Icertis则将之整合到商业合约检视及总结功能。

除了ChatGPT和Azure OpenAI的整合外,微软内部也已将ChatGPT整合到其他消费及企业产品,包括GitHub Copilot使用OpenAI的AI模型加速开发、Teams付费服务加入智慧总结(intelligent recap)及AI分章节功能、员工社交及协同平台Viva Sales服务以AI提供邮件内容建议及检视业务资料;最知名的就是Bing加入ChatGPT强化搜寻。

微软强调其AI服务从4个层面确保符合「负责任AI(responsible AI)」的准则。第一是从应用层,例如告知文字结果是由AI产生,需用户同意才可执行;第二是从提供技术面的防护,像是输入、输出的内容过滤;第三是流程和政策,包括通报滥用的系统,或服务层级协定(SLA);第四则提供设计指引及透明化笔记等文件,说明模型的效益及测试过的项目。…