自然语言处理-BERT处理框架-transformer

admin2024-07-02  18

 

目录

 

1.介绍

2.Transformer

        2.1 引言

        2.2 传统RNN网络的问题

        2.3 整体架构

        2.4 Attention

        2.5 Self-Attention如何计算

3.multi-headed机制

4. BERT训练方法


1.介绍

        BERT:当前主流的解决框架,一站式搞定NLP任务。(解决一个NLP任务时的考虑方法之一)

        BERT:google开源的框架

        BERT:自然语言的通用解决框架

                必备知识:Word2vec,RNN(了解词向量模型,RNN模型如何建模)

                重点:Transformer网络架构

                训练方法: BERT训练方法

                google开源提供预训练模型,直接使用

2.Transformer

        2.1 引言

        BERT时基于Transformer框架的,所以了解Tansformer就基本了解BERT。

        提出问题:transformer要做一件什么事呢??

        答:就像将自然语言翻译成计算机语言,让其学习。

        其基本组成依旧是机器翻译模型中常见的Seq2Seq网络。输入输出都很直观,其核心就是中间的网络架构了。

自然语言处理-BERT处理框架-transformer,第1张

        2.2 传统RNN网络的问题

        

自然语言处理-BERT处理框架-transformer,第2张

        可以看出这种依次计算的方式,计算效率不高,且后面的计算需要依赖前面的计算结果。 

预训练好的词向量就不会改变了,这种对于复杂语境应用不好。所以能不能让其并行计算,提高运算效率,且词向量的构成考虑到上下文的语境呢???

        答案:self-Attention机制来考虑进行并行计算,输出结果的是同时你算出来的,现在已经基本取代RNN了。

自然语言处理-BERT处理框架-transformer,第3张

        2.3 整体架构

自然语言处理-BERT处理框架-transformer,第4张

        接下来我们将围绕这几个问题来展开对Tansformer的介绍:
        1. 输入如何编码?
        2.输出结果是什么?

        3.Attemtion的目的?

        4.怎样组合在一起?


         2.4 Attention

        对于输入的数据,你的关注点是什么?(不同的数据,关注点不同,比如:一张带背景的人像,关注点是人像而不是背景)

自然语言处理-BERT处理框架-transformer,第5张

自然语言处理-BERT处理框架-transformer,第6张

        如何才能让计算机关注到这些有价值的信息?

        Self-Attention是计算机自己判断。

        每个词不能只考虑到自己,在训练的过程中,所有词构成句子,但是每个词分配的权重不同。在编码时,不能只考虑自己,要把上下文都融入,编码成向量。

例如:

自然语言处理-BERT处理框架-transformer,第7张

        it代表的东西不同,怎么让计算机识别出来呢?每个词都要考虑上下文,结合每个词对它的影响来进行编码。

自然语言处理-BERT处理框架-transformer,第8张

        2.5 Self-Attention如何计算

        其实,说到底,Self-Attention就是如何编码,提取特征。

自然语言处理-BERT处理框架-transformer,第9张

         1. 通过Embedding随机或者其他什么方式去初始化词向量表,自然语言处理-BERT处理框架-transformer,W^Q,W^K,W^v,第10张权重矩阵

         2. 训练这三个矩阵

自然语言处理-BERT处理框架-transformer,第11张

        得到自然语言处理-BERT处理框架-transformer,X*W^Q,第12张,自然语言处理-BERT处理框架-transformer,Q1,Q2,第13张同理得到自然语言处理-BERT处理框架-transformer,K1,K2;V1,V2,第14张 

 

自然语言处理-BERT处理框架-transformer,第15张

        当两个向量求内积,若是两个向量垂直表示其线性无关,其值为0,若是两个向量线性相关其值越大表示两个向量相关性越大。那么自然语言处理-BERT处理框架-transformer,q_i*k_j(i,j\in n),第16张表示上下文每个词相关性,值越大相关性越大。

自然语言处理-BERT处理框架-transformer,第17张

         为了不让分值随着向量维度增大而增加,让计算难度增大,最终除以自然语言处理-BERT处理框架-transformer,\sqrt{d_k},第18张

        每一个词的Attention计算

自然语言处理-BERT处理框架-transformer,第19张

        softmax后就得到整个加权结果 

自然语言处理-BERT处理框架-transformer,第20张

         经过上述一系列分析,Self-Attention解决了并行计算和词向量的构建编码考虑到了上下文语境的问题。

3.multi-headed机制

        

自然语言处理-BERT处理框架-transformer,第21张

自然语言处理-BERT处理框架-transformer,第22张

 

自然语言处理-BERT处理框架-transformer,第23张

自然语言处理-BERT处理框架-transformer,第24张

自然语言处理-BERT处理框架-transformer,第25张

4. BERT训练方法

        transformer中Encoder是重要的,就是编码方式。再将其进行下游任务微调,使其变成分类,预测等类型的任务。是自然语言处理的万金油模板。

自然语言处理-BERT处理框架-transformer,第26张

自然语言处理-BERT处理框架-transformer,第27张

自然语言处理-BERT处理框架-transformer,第28张

        

       

        

           

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!