[IT技术] 哪个云计算平台可以参与云中的DevOps实施?

[复制链接]
tianzi3203 发表于 2023-10-14 00:05:22|来自:北京 | 显示全部楼层 |阅读模式
大模型技术发展如火如荼,国内外已经出现不少优秀开源项目,其中国内清华大学开源的ChatGLM-6B广受关注。
有需要算力的小伙伴,可以领取一下
师出名门,未来可期

ChatGLM-6B是一个基于GLM的生成式对话模型。由清华大学团队开发,旨在改进对话机器人的生成质量和逻辑。ChatGLM-6B采用了全新的训练方法,在其开源的模型中已经在大规模数据集上进行了训练,用户可体验高质量的对话机器人,也可以对其在用户自有数据集上微调,得到自己专属的大模型。
项目链接:https://github.com/THUDM/ChatGLM-6B
对于在做AIGC、大模型应用的用户,ChatGLM-6B是非常值得深入研究的项目。
ChatGLM-6B有何优势

生成质量高:对话更加自然、流畅,提供了更好的用户体验。
对话逻辑强:ChatGLM-6B能更好地理解上下文,生成有逻辑性、连贯的回复。
开源:相对于商业应用ChatGPT,研究者和开发者可以自由地使用、修改和分发模型和代码。推动相关研究和应用。
在趋动云上部署ChatGLM-6B的优势

有需要算力的小伙伴,可以领取一下
无需担心下载问题:趋动云上已经有小伙伴将十几G的ChatGLM-6B模型上传了,省却了大家下载的时间,一键勾选,即可使用。
硬件强大,多种型号可选:大模型对于内存、显存的要求比较高,普通用户很难有几十G的内存和显存。趋动云上有多种型号机型可选,内存最高可达几百G,单卡显存从6G到80G,方便根据需要自由选择,同时用户可以很方便的调用多GPU能力。
软件和环境配置简单:无需担心软件安装和版本不兼容,趋动云内置不同框架的多种不同版本的系统镜像,支持用户保存自定义镜像,满足大多数用户使用的同时,也方便大家针对自己的需要进行软件配置。
手把手教程:趋动云部署ChatGLM-6B

创建项目,配置PyTorch 2镜像:
创建一个新项目后,添加PyTorch 2 镜像,



添加ChatGLM-6B模型:
在添加数据这一步,选择chatglm-6b-230726模型,11G的模型文件就可以在项目中直接使用了


请注意添加后,该模型文件,所在的目录为/gemini/data-1,在后续设置中需要使用(在Python代码中填写模型路径)。
此时即可点击创建项目了,选择先不上传代码,待会从github上下载:


创建好之后,进入项目界面,现在我们选择运行代码:


而后系统会要求我们选择机型,算力君选择了s2.large,显存24GB,内存48GB,此时为了支持外网访问,我们开放一个端口(后续设置要使用):


而后等待系统分配机器:


系统分配完机器后,我们点击进入开发环境,在这里我们可以使用命令行也可以使用JupyterLab进行开发,在命令行依次输入:
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

python3 -m pip install --upgrade pip

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

pip install -r requirements.txt

然后切换到JuperLab下修改web_demo.py代码,将THUDM/ChatGLM2-6B改为/gemini/data-1:


将最后一行改为
demo.queue().launch(share=True, server_port=15432,inbrowser=True)

server_port 是刚才设置的端口号。
设置完保存就好了,此时一切都已经就绪了。
最后在命令行下输入
python web_demo.py

系统就已经部署成功了。
将上图中圈出来的网址拷贝到浏览器即可体验ChatGLM2-6B大模型的魔力了!
先问两个常识问题看看:



回答的还可以。

再考验一下它的总结能力:




找了一篇论文的摘要,总结结果有稍许不太准确,但大致意思是对的。

再看看它的数学推理怎么样:




对这些简单的问题表现还不错。
欢迎大家到趋动云GPU平台亲自体验一把ChatGLM2-6B的部署,对于熟悉趋动云后台的小伙伴,应该不超过5分钟就能跑起来。
有需要算力的小伙伴,可以领取一下
也期待更多从事大模型研究的小伙伴使用趋动云,做出更有影响力的工作!
全部回复20 显示全部楼层
wmywind 发表于 2023-10-14 00:05:38|来自:北京 | 显示全部楼层
pa[尴尬]
jiashaopu 发表于 2023-10-14 00:06:12|来自:北京 | 显示全部楼层
谁问你了
w66133 发表于 2023-10-14 00:07:07|来自:北京 | 显示全部楼层
怎么收费
help 发表于 2023-10-14 00:07:28|来自:北京 | 显示全部楼层
网上一堆的chatgpt直接用,这比它们有啥优势么?
紫色梦烙印 发表于 2023-10-14 00:07:36|来自:北京 | 显示全部楼层
太抽象了,这个开源小模型用来学习比较合适
tdmazi 发表于 2023-10-14 00:08:36|来自:北京 | 显示全部楼层
优势在于本地部署,模型也在本地。网上那些基本上是连接境外,万一那边来个啥手段就寄。
丰鹰 发表于 2023-10-14 00:08:43|来自:北京 | 显示全部楼层
想要保密的话,要是部署到自己的电脑上,也算本地部署了。部署到云上,还是国内的云,呃,我觉得还没有境外安全呢
shenzhen 发表于 2023-10-14 00:09:38|来自:北京 | 显示全部楼层
这玩意儿怎么自己灌语料进去,怎么把原来的语料删掉,比如不想让AI回答康乃馨的问题
姓本无名 发表于 2023-10-14 00:10:29|来自:北京 | 显示全部楼层
注册有168元算力金,相当于168块钱,可以去跑一段时间试试的
123下一页
发帖

快速回帖

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则