模型介绍

XVERSE-13B 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），主要特点如下：

• 模型结构：XVERSE-13B 使用主流 Decoder-only 的标准 Transformer 网络结构，支持 8K 的上下文长度（Context Length），为同尺寸模型中最长，能满足更长的多轮对话、知识问答与摘要等需求，模型应用场景更广泛。
• 训练数据：构建了 1.4 万亿 token 的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40 多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言表现优异，也能兼顾其他语言效果。
• 分词：基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 语料训练了一个词表大小为 100,278 的分词器，能够同时支持多语言，而无需额外扩展词表。
• 训练框架：自主研发多项关键技术，包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等，让训练效率更高，模型稳定性强，在千卡集群上的峰值算力利用率可达到 58.5%，位居业界前列。

来自元象XVERSE团队

随着XVERSE-13B的发布，国产大模型迎来了新玩家：

元象XVERSE，2021年3月成立，专注于AI与元宇宙技术服务。

创始团队来自腾讯游戏、Adobe、微软、IBM、麦肯锡等公司。创始人是前腾讯副总裁姚星，他曾亲手创立了腾讯AI lab以及机器人实验室Robotics X，并兼管腾讯技术工程事业群（TEG）多个技术部门。

他也是腾讯在受AlphaGo震动决定战略布局AI时的一号位负责人，代表腾讯全球挖人组队，也代表腾讯喊出了口号：AI in All。在此期间曾主导推出了绝艺、绝悟、云深智药等行业代表性产品和应用，张潼张正友都曾向他汇报。

评测结果

为验证模型的各项能力，我们选取了多个学科综合能力评测集，包括 MMLU（英文）、 C-Eval（中文）、AGIEval（中英） 、GAOKAO-Bench（中英）、GAOKAO-English（英文），评测结果如下：

环境安装

1. 下载本仓库：

git clone https://github.com/xverse-ai/XVERSE-13B
cd XVERSE-13B

2. 使用 pip 安装依赖：

pip install -r requirements.txt

Transformers 加载方式

可通过以下代码加载 XVERSE-13B 模型进行推理：

>>> from transformers import AutoTokenizer, AutoModelForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("xverse/XVERSE-13B")
>>> model = AutoModelForCausalLM.from_pretrained("xverse/XVERSE-13B", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> inputs = tokenizer('北京的景点：故宫、天坛、万里长城等。\n深圳的景点：', return_tensors='pt').input_ids
>>> inputs = inputs.cuda()
>>> generated_ids = model.generate(inputs, max_new_tokens=64, eos_token_id=tokenizer.eos_token_id, repetition_penalty=1.1)
>>> print(tokenizer.batch_decode(generated_ids, skip_special_tokens=True))

网页 Demo

可通过以下代码启动一个web server，在浏览器输入访问地址后，可使用 XVERSE-13B 模型进行推理：

python text_generation_demo.py --port='port' --model_path='/path/to/model/' --tokenizer_path='/path/to/tokenizer/'

GitHub高达332☆

GitHub链接：
https://github.com/xverse-ai/XVERSE-13B
参考链接：
https://huggingface.co/xverse/XVERSE-13B

打赏

微信扫一扫，打赏作者吧～