CN/EN

“封神榜”大模型开源计划

2021年11月22日,IDEA研究院创院理事长沈向洋在IDEA大会上正式宣布启动 “封神榜”大模型开源计划。目前,我们已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大达到35亿。

二郎神系列:以Encoder结构为主的双向语言系列模型,专注于解决各种自然语言理解任务。本系列中13亿参数的“Erlangshen-MegatronBert-1.3B”大模型,是目前中文领域内最大的开源Bert大模型。2021年11月及2022年1月,“二郎神”在中文语言理解权威评测基准FewCLUE  ZeroCLUE 双料榜单上登顶,2022年3月在Hugging Face的单月下载量突破1k。同时IDEA研究院CCNL也开源了解决长文本分类任务的“Erlangshen-Longformer-110M”和“Erlangshen-Longformer-330M”。

余元系列:本系列模型主要面向医疗领域。拥有35亿参数的“Yuyuan-GPT2-3.5B”大模型,对英文医疗事实判断准确率接近90%。由 “Yuyuan-GPT2-3.5B”微调而来的问答模型“YuyuanQA-GPT2-3.5B”,在100个英文医疗问答任务上的Bleu值达到了0.35。

周文王系列:是IDEA研究院与追一科技联合开发的一系列新结构大模型。目前开源的13亿参数“Zhouwenwang-Unified-1.3B”大模型,是中文领域内可同时做LM和MLM任务的最大模型。

闻仲系列:以Decoder结构为主的单向语言模型,是一系列强大的生成模型,目前开源了35亿参数的“Wenzhong-GPT2-3.5B”大模型。

燃灯系列:本系列是以Transformer结构为主的编解码语言模型,主要解决通用任务,目前开源了7.7亿参数的“Randeng-MegatronT5-770M”大模型。

比干系列:本系列主要面向各种纠错任务,目前开源了11亿参数的“Bigan-Transformer-XL-denoise-1.1B”大模型。

为优化使用体验,拥抱开源社区,促进社会探索,封神榜的所有模型都完成转化并同步到了IDEA研究院CCNL的Hugging Face社区。另外,我们附送了大模型的应用示例,帮助您通过简短几行代码就可轻松使用“封神榜”的所有模型,欢迎来IDEA-CCNL的huggingface社区 下载。

开源地址:

https://github.com/IDEA-CCNL/Fengshenbang-LM 
https://huggingface.co/IDEA-CCNL 

TOP