【记录】NLP培训教程 学习过程
期间：
- NLP发展现状
- 基于Deep Learning的NLP的最近趋势
- GPU计算性能提升
- 传统NLP方法面临的挑战
- Big Data和Deep Learning给NLP带来的变革和机遇
- NLP的发展趋势，以及各行各业中的应用
- 数据挖掘Data Mining
- 文本挖掘Text Mining
- 文本分析Text Analytics
grouping
图像识别/分类
无监督的机器翻译
基于视频或图片的问答 visual question answering
chatbot
机器学习的一个问题：sparsity稀疏
一些Challenge：
Co-Reference Resolution 指代消解
- StanfordCoreNlp
- FudanNlp
- OpenNlp
- LTP
- 大数据= 大 + 数据
- Volume数量大
- Velocity速度
- 高效efficiency
- 即时realtime
- 动态dynamic
- 预测性predictive
- Variety类别多
普通大众：Big Data
学术界一般叫做：Large-Scale Data
Deep NLP= Deep Learning + NLP
NLP用途之一：垃圾邮件过滤
Representation 表现
Representation==features==code
主要就两个：CNN RNN
其他改进很多
Differentiable Programming 微分编程？
- Caffee
- Pytorch
- TensorFLow
深度网络的目标：学习到feature特征
Discriminative vs Generative Models
尤其是 最近出现的对抗网络：GAN
- Generative
- 联合概率
- 用途：分类
- Discriminative
- 条件概率
- 用途：判别
大部分的都可以用这两种：
- RNN = Recurrent Neural Network
- 机器翻译
- QA问答系统
- 自动生成图像描述
- CNN=Convolutional Neural Network
- 句子/文本分类
- 关系提取和分类
- 垃圾邮件检测
- 查询分类？
- 语义关系提取
VQA=Visual QA=Visual question answering
