2020年美国非营利人工智能研究组织OpenAI发布了GPT-3超大规模预训练语言模型,并于当年6月开放了GPT-3 API接口。成千上万的中小开发者通过其 API 访问了 GPT-3 模型,开发者的想象力使得基于GPT-3 API的应用百花齐放:方向包括创意生成、效率工具、视频游戏、心理健康等等。但是OpenAI的GPT-3 API没有对中国开发者开放,并且GPT-3完全基于英文语料训练,不支持中文自然语言处理任务。
基于此,AI初创公司奇点智源携手阿里云基于海量的优质中文预料和GPT-3的模型架构通过阿里云的高性能AI算力集群训练出一系列大型预训练语言模型,已经完成千亿级参数规模模型的训练。
为降低中文自然语言处理应用的实现门槛,让开发者更容易、更快速地使用到大型预训练语言模型技术,奇点智源发布具有百亿级参数的瑶光模型API供开发者使用。瑶光大模型着重在小样本学习、知识问答和文本生成方面提升能力。
模型在CLUE小样本学习测评任务多项指标名列前矛。作为中文语言理解领域最具权威性的测评基准之一,CLUE涵盖文本相似度、分类、自然语言推理、阅读理解、NER等众多语义分析和理解类子任务。
瑶光模型除了能进行CLUE标准任务外,模型具备的小样本学习、知识问答、文本生成等能力使得API更加具备想象空间。
