tianzi3203 发表于 2023-10-14 00:05:22

哪个云计算平台可以参与云中的DevOps实施?

大模型技术发展如火如荼,国内外已经出现不少优秀开源项目,其中国内清华大学开源的ChatGLM-6B广受关注。
有需要算力的小伙伴,可以领取一下
师出名门,未来可期

ChatGLM-6B是一个基于GLM的生成式对话模型。由清华大学团队开发,旨在改进对话机器人的生成质量和逻辑。ChatGLM-6B采用了全新的训练方法,在其开源的模型中已经在大规模数据集上进行了训练,用户可体验高质量的对话机器人,也可以对其在用户自有数据集上微调,得到自己专属的大模型。
项目链接:https://github.com/THUDM/ChatGLM-6B
对于在做AIGC、大模型应用的用户,ChatGLM-6B是非常值得深入研究的项目。
ChatGLM-6B有何优势

生成质量高:对话更加自然、流畅,提供了更好的用户体验。
对话逻辑强:ChatGLM-6B能更好地理解上下文,生成有逻辑性、连贯的回复。
开源:相对于商业应用ChatGPT,研究者和开发者可以自由地使用、修改和分发模型和代码。推动相关研究和应用。
在趋动云上部署ChatGLM-6B的优势

有需要算力的小伙伴,可以领取一下
无需担心下载问题:趋动云上已经有小伙伴将十几G的ChatGLM-6B模型上传了,省却了大家下载的时间,一键勾选,即可使用。
硬件强大,多种型号可选:大模型对于内存、显存的要求比较高,普通用户很难有几十G的内存和显存。趋动云上有多种型号机型可选,内存最高可达几百G,单卡显存从6G到80G,方便根据需要自由选择,同时用户可以很方便的调用多GPU能力。
软件和环境配置简单:无需担心软件安装和版本不兼容,趋动云内置不同框架的多种不同版本的系统镜像,支持用户保存自定义镜像,满足大多数用户使用的同时,也方便大家针对自己的需要进行软件配置。
手把手教程:趋动云部署ChatGLM-6B

创建项目,配置PyTorch 2镜像:
创建一个新项目后,添加PyTorch 2 镜像,

http://pic4.zhimg.com/v2-8b5875440866ca2df74e51cf8faeadb7_r.jpg

添加ChatGLM-6B模型:
在添加数据这一步,选择chatglm-6b-230726模型,11G的模型文件就可以在项目中直接使用了

http://pic3.zhimg.com/v2-a883e0e36a48bcf57dae4ec870c87c16_r.jpg
请注意添加后,该模型文件,所在的目录为/gemini/data-1,在后续设置中需要使用(在Python代码中填写模型路径)。
此时即可点击创建项目了,选择先不上传代码,待会从github上下载:

http://pic1.zhimg.com/v2-f44de6de47490316dcd6fa100f932c00_r.jpg
创建好之后,进入项目界面,现在我们选择运行代码:

http://pic3.zhimg.com/v2-f26278b80b67d2f59605b115833ce402_r.jpg
而后系统会要求我们选择机型,算力君选择了s2.large,显存24GB,内存48GB,此时为了支持外网访问,我们开放一个端口(后续设置要使用):

http://pic4.zhimg.com/v2-e026c23af5e1ac16964f912c53fd7317_r.jpg
而后等待系统分配机器:

http://pic1.zhimg.com/v2-9c94ef5058fb0193a94406d6eee3e930_r.jpg
系统分配完机器后,我们点击进入开发环境,在这里我们可以使用命令行也可以使用JupyterLab进行开发,在命令行依次输入:
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

python3 -m pip install --upgrade pip

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

pip install -r requirements.txt
http://pic4.zhimg.com/v2-61742a400da00e12837e1809d9a61747_r.jpg
然后切换到JuperLab下修改web_demo.py代码,将THUDM/ChatGLM2-6B改为/gemini/data-1:

http://pic4.zhimg.com/v2-ed84f90fdf3213013eaea7fdb8e9bca7_r.jpg
将最后一行改为
demo.queue().launch(share=True, server_port=15432,inbrowser=True)
http://pic1.zhimg.com/v2-5d4c2fbfa38ff637b754b85153aebf44_r.jpg
server_port 是刚才设置的端口号。
设置完保存就好了,此时一切都已经就绪了。
最后在命令行下输入
python web_demo.py
http://pic2.zhimg.com/v2-489c7f07166458ec60de145707f94cc9_r.jpg
系统就已经部署成功了。
将上图中圈出来的网址拷贝到浏览器即可体验ChatGLM2-6B大模型的魔力了!
先问两个常识问题看看:

http://pic1.zhimg.com/v2-c49b6bfc3091da927a1aac5ab9419ff4_r.jpg

回答的还可以。

再考验一下它的总结能力:


http://pic4.zhimg.com/v2-5c318be1d06ae3c72f74669dd3b2176f_r.jpg

找了一篇论文的摘要,总结结果有稍许不太准确,但大致意思是对的。

再看看它的数学推理怎么样:


http://pic3.zhimg.com/v2-4c85067d154c7582f8a974fc8670c46e_r.jpg

对这些简单的问题表现还不错。
欢迎大家到趋动云GPU平台亲自体验一把ChatGLM2-6B的部署,对于熟悉趋动云后台的小伙伴,应该不超过5分钟就能跑起来。
有需要算力的小伙伴,可以领取一下
也期待更多从事大模型研究的小伙伴使用趋动云,做出更有影响力的工作!

wmywind 发表于 2023-10-14 00:05:38

pa[尴尬]

jiashaopu 发表于 2023-10-14 00:06:12

谁问你了

w66133 发表于 2023-10-14 00:07:07

怎么收费

help 发表于 2023-10-14 00:07:28

网上一堆的chatgpt直接用,这比它们有啥优势么?

紫色梦烙印 发表于 2023-10-14 00:07:36

太抽象了,这个开源小模型用来学习比较合适

tdmazi 发表于 2023-10-14 00:08:36

优势在于本地部署,模型也在本地。网上那些基本上是连接境外,万一那边来个啥手段就寄。

丰鹰 发表于 2023-10-14 00:08:43

想要保密的话,要是部署到自己的电脑上,也算本地部署了。部署到云上,还是国内的云,呃,我觉得还没有境外安全呢

shenzhen 发表于 2023-10-14 00:09:38

这玩意儿怎么自己灌语料进去,怎么把原来的语料删掉,比如不想让AI回答康乃馨的问题

姓本无名 发表于 2023-10-14 00:10:29

注册有168元算力金,相当于168块钱,可以去跑一段时间试试的
页: [1] 2 3
查看完整版本: 哪个云计算平台可以参与云中的DevOps实施?