ChatGPT原理,发展历程,使用场景等
一、是什么
ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。
正如奥特曼在他的推文中所说，“这才是科幻小说真正正确的地方。” ChatGPT 为我们提供了迄今为止最实用的应用程序，用于在我们与客户支持、助理等的对话中使用 AI。或者让 AI 编写我们的作业、博客文章、拨款提案（填空）。一些专家甚至推测，我们可能还需要几年时间才能用这项技术取代像谷歌这样的搜索引擎（并非所有人都同意）。
我一直在尝试 ChatGPT，它真的很令人兴奋。它可以解决复杂的数学问题并解释结果，为您撰写产品介绍，撰写关于一本书的文章，提供给定成分列表的收据，解释有关许多主题的复杂概念，提供有关最好的防晒霜的建议，为孩子们写一个关于任何你想要的故事，从你的输入中学习等等。而这一切都无需访问互联网。当然不是现在这样，但如果这个模型用专业信息训练，我相信它会成为任何主题（法律、健康、教育？）的专家顾问。
二、工作原理
OpenAI ChatGPT的工作原理其本质是强化学习训练加上自然语言处理。强化学习允许智能体通过不断尝试和学习，来改善其在特定环境中的表现。它是基于奖励机制，即智能体获得奖励的行为将被重复，而不获得奖励的行为将被避免。强化学习的本质就是通过不断探索和学习来获得最大化奖励的方法。对于自然语言处理，其核心是理解和生成人类语言，通常包括语音识别，语音合成，语法分析，语义理解和机器翻译等技术。其中语法分析和语义理解是核心部分，可以帮助计算机理解人类语言中的语法和语义信息。
添加微信好友, 获取相关信息
复制微信号
Li处理：语言识别（Language identification），ChatGPT是面向中国区之外的用户，因此用户输入的信息有多种语言，至于是那种语言需要先进行识别，识别之后既可以确定使用的是中文、还是英文、还是其它语言。
Ea处理：情感分析（Emotional analysis），ChatGPT对于输入信息进行了多种情感分析，如果情感不符合正能量方面的要求，ChatGPT会自动拒绝回答相关用户问题。这点也是非常必要的。Ea处理也需要基于PPO模型库来分析计算。
Ei处理：抽取信息 （Extract information），从用户输入的信息中提取关键特征，为下一步准备数据。
NER处理：命名实体识别（Named entity recognition），负责提取其中的人名、地名、专业术语等信息。
SS处理：句子相似性处理（Sentence Similarity），用户输入的信息可能存在错别字等信息，通过此步可以进行一个修正。
TC处理：文本分类（Text Classification)，把用户输入得信息进行分类，通过此步分类，好定位到下一步搜索用到的相关搜索索引。
Full Search 处理：全文搜索处理，ChatGPT是一个自然语言+搜索引擎集成的架构，通过Ei处理得到的数据就是全文搜索的输入数据，比如EI提取出 NER=，SS=，TC=，那么此步就可以去搜索相关索引，得到想要的答案。
TG处理：文本生成（Text Generation），上一步搜索的结果可能有多条数据，那么那一条最符合用户需求呢？则通过RM模型来进行选取，选取后生成对应的文本内容。
QA处理：问题解答（Question Answering），把上一步生成的答案进一步转换成适合问答的形式或格式。
三、发展历程
2022年11月底，人工智能对话聊天机器人ChatGPT推出，迅速在社交媒体上走红，短短5天，注册用户数就超过100万。
2023年2月2日，美国人工智能（AI）公司OpenAI发布ChatGPT试点订阅计划——ChatGPT Plus。ChatGPT Plus将以每月20美元的价格提供，订阅者可获得比免费版本更稳定、更快的服务，及尝试新功能和优化的优先权
2023年2月2日，微软官方公告表示，旗下所有产品将全线整合ChatGPT，除此前宣布的搜索引擎必应、Office外，微软还将在云计算平台Azure中整合ChatGPT，Azure的OpenAI服务将允许开发者访问AI模型。
2023年2月3日消息，IT 行业的领导者们担心，大名鼎鼎的人工智能聊天机器人 ChatGPT，已经被黑客们用于策划网络攻击时使用。
黑莓 (Black Berry) 的一份报告调查了英国 500 名 IT 行业决策者对 ChatGPT 这项革命性技术的看法，发现超过四分之三 (76%) 的人认为，外国已经在针对其他国家的网络战争中使用 ChatGPT。近一半 (48%) 的人认为，2023 年，将会出现有人恶意使用 ChatGPT 而造成“成功”的网络攻击。
当地时间2023年2月2日，ChatGPT的开发公司——美国人工智能公司OpenAI顺势推出了这一应用程序的付费订阅版本。
四、应用场景
会被人工智能替代的行业
不是孩子未来的发展方向
因为我们在有限的时间里
无法穷尽对技术的学习
那么人工智能无法替代的是什么？
评论里写出你的答案吧！
五、关于大型、微调和边缘语言模型
产品经理视角
大型语言模型将继续成为云服务和 API 的标准，其中多功能性和企业访问比延迟更重要。但是，尽管最近进行了架构 创新，但这些类型的语言模型对于大多数组织来说仍然是不切实际的，无论是学术界、公共部门还是私营部门。
“大型模型将变得更大、更强大、更通用、更多模式且训练成本更低。只有大型科技公司和资金雄厚的初创公司才能玩这个游戏，”
“大型模型非常适合原型设计、构建新颖的概念验证和评估技术可行性。由于成本，它们很少是实际部署的正确选择。如果使用 GPT-3，定期处理推文、Slack 消息、电子邮件等的应用程序将变得成本过高。”
微调的语言模型
微调模型通常比它们的大型语言模型对应物要小。
示例包括 OpenAI 的 Codex，它是 GPT-3 的直接后代，针对编程任务进行了微调。尽管仍包含数十亿个参数，但 Codex 比 OpenAI 更小，而且更擅长生成和完成计算机代码字符串。
微调可以提高模型执行任务的能力，例如回答问题或生成蛋白质序列（如 Salesforce 的ProGen的情况）。但它也可以加强模型对某些主题的理解，比如临床研究。
“微调……模型适用于具有大量训练数据的成熟任务，”徐说。“示例包括机器翻译、问答、命名实体识别、实体链接 [和] 信息检索。”
优势还不止于此。由于微调模型源自现有语言模型，微调模型几乎不需要太多时间（或计算）来训练或运行。（像上面提到的那些较大的模型可能需要数周时间，或者需要更多的计算能力才能在几天内进行训练。）它们也不需要像大型语言模型那样多的数据。GPT-3 在 45 TB 的文本上进行了训练，而 Codex 则在 159 GB 上进行了训练。
微调已应用于许多领域，但最近的一个特别强大的例子是 OpenAI 的 InstructGPT。
OpenAI 使用一种名为“从人类反馈中强化学习”的技术，收集了一组人类编写的关于提交给 OpenAI API 的提示的演示数据集，以及一组人类数据标签人员编写的提示。他们利用这些数据集创建了 GPT-3 的微调分支——除了是 GPT-3 的百分之一之外——显然不太可能生成有问题的文本，同时与用户的意图密切相关。
“我认为微调可能是目前行业中使用最广泛的方法，我认为短期内不会改变。目前，在较小的语言模型上进行微调允许用户更多地控制使用他们自己的特定领域数据来解决他们的专业问题，”科赫说。“公司没有分发用户可以自行微调的 [超大型语言] 模型，而是通过 API 提示将小样本学习商业化，您可以在其中为模型提供简短的提示和示例。”
边缘语言模型
边缘模型，有目的地缩小尺寸， 可以采用微调模型的形式——但并非总是如此。有时，他们会在小型数据集上从头开始训练，以满足特定的硬件限制（例如，电话或本地 Web 服务器硬件）。无论如何，边缘模型——虽然在某些方面受到限制——提供了许多大型语言模型无法比拟的好处。
六、思考与展望
随着大型、微调和边缘语言模型随着新研究的不断发展，它们可能会在更广泛采用的道路上遇到障碍。例如，与从头开始训练模型相比，微调模型需要更少的数据，但微调仍然需要数据集。根据领域的不同——例如，从一种很少说的语言翻译——数据可能不存在。
研究一些更底层的，大小模型都适用的问题
研究一些与特定领域结合的任务
做以数据为中心的任务
你学废了吗？
评论