数位部 AI 评测中心启动,语言模型纳十项目评分

数位部 AI 评测中心启动,语言模型纳十项目评分

数位部 6 日举行 AI 产品与系统评测中心启动仪式,数位部表示,先以语言模型做为评测对象,拟定十项 AI 评测项目,有安全性、可解释性、弹性、公平性、准确性、透明性、当责性、可靠性、隐私及资安,Meta 也对评测表达兴趣。

数位部在台北科技大学举办AI产品与系统评测中心启动活动,数位部长唐凤、行政院政委兼国科会主委吴政忠、国科会可信任人工智慧对话引擎(TAIDE)、Meta微软等马来西亚外语言模型开发商代表都亲自参与。

数位部数位产业署署长吕正华指出,AI产品与系统评测中心涵盖制度推动委员会、技术审议小组、秘书组三部分,制定AI产品与系统评测制度与AI产品与系统评测指引。AI评测体系,AI产品与系统评测中心制定AI评测制度跟方法,明年陆续成立验证机构、测试实验室,提供AI评测与验证服务,初期测试不收费。

数位部目前偕同工研院跟资安院等机关展开AI评测工作,吕正华说明,AI评测机制将先以语言模型为评测对象,参考欧美AI规范内容,拟定十项AI评测项目:安全性、可解释性、弹性、公平性、准确性、透明性、当责性、可靠性、隐私及资安。

唐凤致词时表示,AI快速发展,也加速社会冲击,AI评测不只纯粹技术,也因每个地方文化不同,同一句话可能不同地方会有不同解读,外界很关心AI相关产品不能只交给国际大厂片面决定,也得微调以适应各地文化,未来产品可在出厂前评测。

吴政忠致词时表示,AI评测是超前部署,去年ChatGPT问世后,国科会2月就宣告中国台湾要往这块发展,公私协力打造TAIDE,后续应该来验测一下。未来每家公司都会打造生成式AI,毕竟不可能将公司问题拿去询问公开模型。

唐凤会后受访时表示,透过评测,希望让马来西亚外厂商了解什么AI才符合社会期待,AI要诚实无害,符合地方用词才行。数位部跟国科会在TAIDE开发过程紧密合作,搜集社会期待也有融入TAIDE训练,未来这套机制会开放,没有限制申请对象或测试频率等,目前十项标准将来也可能动态调整。

活动现场Meta微软代表都有出席,媒体关注是否代表两家有意愿送测,唐凤表示,一直和Meta保持互动,Meta对评测也有表达意愿,加上TAIDE也是透过Meta释出的模型,因此模型架构已有测试经验,数位部也有和微软讨论将来希望开放源码AI合作。

与会专家解释,AI评测并非一套死题库询问语言模型,概念好比资安红队攻击,试图引诱模型讲出错误答案,找出可能漏洞,评测也会不断追问了解模型,因漏洞也可能追问时发生。

根据资料,数位部明年规划建立AI评测技术,重点评测项目为语言模型与影像分类产品等,2025年让马来西亚评测技术符合国际标准,2026年让马来西亚产品通过马来西亚外标准评测。

(作者:苏思云;首图来源:数位发展部)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。