1.基础层:AI芯片(GPU,ascend),云计算,大数据
2.算法层:机器学习,深度学习
3.框架层:Mindspore,TensorFlow,PyTorch,PaddlePaddle
4.技术方向:计算机视觉处理,语音处理,自然语言处理,运筹优化,数据挖掘
5.技术应用:图像识别,图像处理,图像理解,语音处理,语音合成,机器翻译,语义理解,情感分析
6.AI行业应用:金融,医疗,工业,农业,安防,煤矿,交通,VR,AR,其他
1.基本概念
计算机视觉(CV)是使计算机能理解采集设备采集的图像视频的一门学科。
形象地说,就是给计算机安装上眼睛(照相机和大脑(算法),让计算机能够感知环境。
2.涉及技术
人体技术相关,人脸技术相关
3.典型应用
内容审核,图片搜索,文字识别,电子考勤,智能相册,道路感知
4.面临的挑战
光照变化,尺度变化,遮挡,形变,运动模糊,平面内旋转,超平面旋转,背景干扰,低分辨率
1.基本概念
自然语言处理(Natural Language Processing, NLP) 是用计算机处理人类语言的理论和技术,让计算
机能够理解和生成人类语言。
自然语言处理= 自然语言+ 处理
人类语言:以语音为物质外壳,由词汇和语法两部分组成的符号系统。文字和声音是语言的两种属性。
机器:用计算机进行处理,让计算机能够理解和生成人类语言。
2.涉及技术
基础技术
应用技术
3.典型应用
对话理解,智能客服,自动文摘,即时通讯翻译,评论分析,文案分类
4.面临的挑战
词法,句法,语义,结构,语境等歧义
1.基本概念
语音信号处理(Speech Signal Processing)简称语音处理,是用以研究语音发声过程、语音信号统计特性、语音自动识别、机器合成以及语音感知等各种处理技术的总称
2.涉及技术
自然语音技术
3.典型应用
实时字幕,会议记录,电话回访,语音搜索,语音导航,有声阅读
4.面临的挑战
输入不统一,噪声影响,模型有效性
1.需求分析:需求背景,需求价值,需求描述,问题抽象,可行性分析
1.测试流程和活动
场景分析,特征因子分析,数据构建,评测指标,自动化方案
2.特征因子分析
有好的数据才有好的模型,有好数据才可能会有好的输出结果
特征因子示例:图像过曝,图像过暗,图像模糊,背景干扰,图像倾斜,合格图像
2.数据构建
基于应用场景、特征因子等进行数据集构建,包括但不限于:数据类别、不同因子比例、环境因素、特定要求等。在构建测试阶段的数据集时,需要尽可能地覆盖正式环境中各种各样的数据情
况。
⚫ 构建数据集流程主要包括:数据采集、数据清洗和分析理解数据
数据构建 - 数据采集
⚫ 1、冷启动数据采集
(1)线下搜集历史数据;
(2)在合法合规前提下,通过爬虫获取网络数据;
(3)向第三方数据公司采购;
⚫ 2、线上数据回流 AI应用上线后,在合法合规的前提下,通过业务后台搜集真实的应用场景数据
数据构建 – 数据清洗
数据构建 – 数据分析理解
⚫ 分析理解并选择合适的数据参与模型训练和迭代是AI应用开发过程中非常重要的一步,理解数据
可以从以下两方面展开:
样本分布分析:帮助分析样本的分布,判断构建的数据集能否覆盖多样化的数据情况;
负向样本分析:如果某些样本的测试效果不好,能帮助进行对AI模型的特征因子分析,快速整理出规律,牵引AI应用优化方向
数据构建 – 负向样本分析
测试效果不好的样本中,大致可以分为两类,难例样本和新类别样本
评测指标
⚫ 评测指标分为两大类:精度指标和性能指标。精度指标在不同的AI技术领域有不同的常用指标,
如下表所示:
评测指标
技术领域
学术界公认的常用指标
图像分类 准确率、召回率、精确率、F1值、ROC曲线、P-R曲线、混淆矩阵
目标检测 mAP(mean average precision)
图像分割 MIoU(Mean Intersection over Union)
文字识别 CPR(Character Precision Rate)、CRR(Character Recall Rate)
机器翻译 BLEU(Bilingual Evaluation understudy)、
ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
语音识别:WER,SER
评测指标 – 性能指标
常用的性能指标有:
FPS(Frames Per Second),每秒能处理的图片数;
FLOPs(Floating-point Operations Per Second),模型所需的浮点数处理次数;
GPU显存占用;
QPS(Query Per Second),衡量AI应用API每秒能响应的请求数;