gpt2

用强化学习神包trl轻松实现GPT2可控文本生成

来源：投稿作者：Sally can wait 编辑：学姐模型github: lvwerra/trl: Train transformer language models with reinforcement learning. (github.com)https://github.com/lvwerra/trl 这个项目是复现 ”Fine-Tuning Language Models from H…

GPT(Generative Pre-Training)论文解读及源码实现(二)

本篇为gpt2的pytorch实现，参考 nanoGPT nanoGPT如何使用见后面第5节 1 数据准备及预处理 data/shakespeare/prepare.py 文件源码分析 1.1 数据划分下载数据后90%作为训练集，10%作为验证集 with open(input_file_path, r) as f:data f.read() n …

Gradio的web界面演示与交互机器学习模型，全局状态与会话状态《4》

全局状态和会话状态，对于程序员来说都是很熟悉的了，开发中会经常遇到，这里看下在Gradio中是怎么使用的，以及对GPT2的一点介绍一、Global State全局状态如果定义的函数想要访问外部的数据，可以将变量写在外面成为一…

GPT2从放弃到入门(三)

引言上篇文章我们看到了如何从零训练一个聊天机器人，本文在此基础上介绍各种生成策略的原理和实现。最后通过Gradio构建一个聊天机器人应用。定义生成框架 def generate(model,tokenizer,prompt,max_length255,temperature1.0,top_k50,top_p1.0,repetition_pen…

『NLP学习笔记』图解 GPT-2(可视化 Transformer 语言模型)

图解 GPT-2(可视化 Transformer 语言模型) 文章目录一. GPT-2和语言模型1.1. 什么是语言模型1.2 Transformer的语言模型1.3 和BERT的不同1.4 Transformer 组件的演变1.4.1 encoder组件1.4.2 decoder组件1.4.3 只有decoder组件的decoder模块1.5 GPT-2内部结构1.6 GPT-2内部结构…