)+{0,G>B;180,GYUV颜色空间
定义:电视信号彩色坐标系统。Y:亮度,U与V均为色差
公式:Y=0.3R+0.59G+0.11B
CMYK颜色空间
定义:任何一种颜料表现的颜色都可以用三基色按不同比例混合成C青,M品红,Y黄,K黑
8图像
定义:人视觉感受到的形象化信息 特点:直观形象
9图像技术
图像 数字化+变换+增强+压缩编码+恢复与重建
图像数字化
定义:将一幅图像从模拟形式转化为数字形式 过程:采样,量化,编码
图像变换:几何变换:缩放,平移,旋转;间接处理技术:傅立叶变换(FFT),离散余弦变换(DWT),离散小波变换(DWT)
图像增强
定义:根据一定要求,突出有用信息,减弱不需要信息,从而使有用信息加强的信息处理办法
分类:基于空间域的增强:直接对某一像元灰度值进行处理
基于频率域的增强:将图像从空间域按变换模型变换到频率域,在频率域处理,反变换到空间域。
主要方法:直方图增强,空域滤波法
图像的压缩编码
压缩比公式:图像数据压缩比=压缩前图像数据量/压缩后数据量压缩比越小,数据量越小,损失越多
图像的恢复与重建
定义:是一个信号处理过程,采用滤波方法,去除噪声重建原来图像。
方法:变换重建,投影重建,综合重建
10图像基本属性
分辨率+图像深度与颜色类型+显示深度+图像数据容量
分辨率:显示分辨率:确定显示图像区域大小
图像分辨率:决定组成一幅图像的像素数目
图像深度与颜色类型:图像深度:记录像素点所占位数;颜色类型:真彩色,伪彩色,直接色
显示深度:显示器可以显示的颜色数
图像数据容量:图像数据容量=图像总像素*图像深度/8(B)
11视频处理
视频分类:模拟视频+数字视频
模拟视频技术:对模拟电视信号进行处理的视频技术
光栅扫描方式:逐行扫描+隔行扫描
数字视频技术:过程:模拟视频信号经数字化处理得到数字视频信号
优点:便于计算机编辑处理,适合于网络应用,再现性好
缺点:处理速度慢,所需存储空间大
视频信号传输模式:单点传输+多点传输
单点传输=单播:需对等通信方,一对一
多点传输=组播/广播:一对多或多对多
视频流业务:直播+点播
直播:编码器实时地对信息进行编码,适合单播
点播:编码后将视频流储存取来,在离线状态下进行编码,适合组播
视频信号运动分析
定义:测量投影到平面上变化,分析运动结构,估计运参数
方法:根据两幅或多幅图像求解运动参数
基于光流分析的运动分析
三维视频处理:在二维视频信息基础上增加深度信息
12编码压缩必要性
庞大数据对计算机提出更高要求;图像采集时间性,存储时间有限
13编码压缩可能性
应用某种编码方法减少冗余达到压缩目的;冗余分类:空间/时间/结构/知识/视觉 冗余
14编码模型
压缩系统=编码器+解码器=(信源编码器+信道编码器)+(信道解码器+信源解码器)
压缩系统模型:
f(x,y)->信源编码器->信道编码器->信道->信道解码器->信源解码器->f^(x,y)
13统计编码
定义:根据消息出现概率的分布特性进行的压缩编码,是无损编码
分类:定长编码:给单个符号或定长符号赋相同长度的码字
边长编码:根据符号出现的概率赋长短不一的码字
包含:霍夫曼编码,香农-费诺编码,算数编码,游程编码
19JPEG
工作模式:基于DCT的顺序模式,基于DCT的累进模式,无损模式,分层模式
基本处理过程:
图像准备(像素,块,最小编码单元)->图像处理(预测器,DCT正变换)->量化->熵编码(霍夫曼编码,算数编码,行程编码)
层次:基本系统+扩展系统+特殊无损功能
20JPEG与JPEG2000的最主要差异
JPEG2000放弃了JPEG所采用的离散余弦变换编码方式,改用小波变换作为其核心算法,克服了压缩倍数高时所产生的方块效应,有压缩倍数高,支持有损、无损压缩,实现渐进传输等特点
21H.26X的码流结构
分为图像层(P),块组层(GOB),宏块层(MB),块层(B)4个层次。
22MPEG的目标
MPEG1:用于数字存储媒体1.5MB/s以下运动图像及音频编码
MPEG2:通用活动图像及其伴音编码(码率为1.5-100MB/s)
MPEG4:注重多媒体系统的交互性与灵活性,用于可视电话,对传输速率要求低,4.8-KB/s
MPEG7;多媒体内容描述接口
MPEG21:多媒体框架,为用户提供电子交易和使用环境
23多媒体计算机与普通计算机
多媒体计算机:能够对声音,图像,视频等多媒体信息进行综合处理的计算机;
普通计算机:是一种能够按照程序运行,自动、高速地处理海量数据的现代智能电子设备,由软硬件组成
24CCD(电荷耦合器件)
工作原理:由数千个光敏元件组成,当照相时,CCD排列成与取景器相对应的矩阵,光照在CCD上转换为电荷的大小取决于光强,CCD上每一个感应元件对应为一个像素,变成图像后,再进行模数转换。
特点:CCD上感应元件集成度越高,像素越多,分辨率越高
25CMOS(互补金属氧化物半导体)
工作原理:光照后,像素阵列发生光电效应,每个像素单元产生相应电荷,选通行像素单元,传输模拟处理单元,转换为数字图像后,进行信号输出,再进行模数转换。
特点:价格低,工艺简单,耗电量低。
26基于内容的检索多媒体系统的一般结构:特征提取子系统,查询子系统,插入子系统,数据库
27传统数据库技术与多媒体数据库技术的区别
传统数据库技术针对的是整数,实数,定长字节等规范数据,必须将现实世界抽象为规范数据,这要求设计者具有一定的技巧性。在有些情况下会特别困难,即使抽象完成也会造成部分原始信息的丢失甚至出现错误。
但当图像,声音,视频等多媒体信息引入计算机后,使得计算机能表达的信息范围大大扩展,但由于多媒体数据的不规范性,没有一致性的取值,相同的数量级,相似的属性集。
28流媒体
流媒体定义:在网络中使用流式传输技术的时基媒体
流式传输的两大种类:实时流式传输:保证带宽与网络连接匹配,使媒体可被实时观看到。
渐进流式传输:顺序下载,下载文件的同时可观看在线媒体,只能观看已下载部分。
流媒体系统的基本构成:
媒体内容制作,媒体内容管理,用户管理,视频服务器,客户端播放系统
流媒体系统制作流程:用媒体内容制作中的转码工具将多媒体文件压缩并转换为流媒体文件转发到视频服务器端传送出去。用户发送请求,经用户管理模块认证后,视频服务器向用户发送流媒体内容,用客户端软件播放。
29加密技术
三种加密技术:DES私钥密码,RSA公开密钥加密和签名方案,AES联邦信息处理标准
密码:对称密码:对信息进行明/密变换时,加密和解密使用相同的密码
非对称密码:对信息进行明/密变换时,加密和解密使用不同的密码
密码学对存储和传输中多媒体信息提供以下4方面保护:
机密性,数据完整性,鉴别,抗否认性
30数字水印
基本要求:不可见性,鲁棒性,安全性
算法:空域图像水印算法,经典空域图像水印算法,有最低有效位算法(LSB算法),基于统计的PashWork算法
31LSB嵌入与提取
嵌入:像素与255作与运算,把最低位置0后像素值与相应二值水印位作或运算
提取:把每个像素值与1做与运算
33音频水印嵌入与提取考虑因素
嵌入量受限于采样频率;水印算法适应于信号变化鲁棒性;水印算法兼顾人耳听觉特性;音频信号具有特定的攻击
34网格法嵌入:曲面用网格构成的面片来表示
35 MP3与MP4
MP3:是一种音频压缩技术,全称是动态影像专家压缩标准音频界面3,它被设计用来大幅度降低音频数据量。取自MPEG-1 Audio Layer3,是MPEG-1音频编码算法的一部分。压缩倍率高,且压缩后音乐保真度也高。
MP4:全称为MPEG-4,注重多媒体系统的交互性与灵活性,用于可视电话,以储存数码音讯和数码视讯为主,对传输速率要求低,为4.8-KB/s。与MP3相比,MP4的压缩比和保真度都更高。MP4文件是可执行文件,内部嵌入了播放器,并且保存了原始版权拥有者的web地址和版权声明。
36图形与图像的区别
两者在:数据描述,屏幕显示,适用场合,编辑处理,技术关键5个方面有区别。
数据描述:图形:用指令集合描述,描述对象任意放缩不失真
图像:用数字描述,描述对象在放缩时损失细节形成锯齿
屏幕显示:图形:用专门软件描述图形指令转换成屏幕上的形式与颜色
图像:将对象以一定分辨率分辨后将点的信息数字化显示,直接在屏幕上显示
适用场合:图形:轮廓不复杂,色彩不丰富的对象
图像:表现含有大量细节的对象
编辑处理:图形:用Draw程序编辑,并产生矢量图形
图像:用图像处理软件进行编辑处理
技术关键:图形:控制与再现
图像:压缩,编码,解码
37流媒体的应用
流媒体应用类型:按传输模式,实时性,交互性划分类型
传输模式:点到点:单播传输实现点到多点:组播传输实现
实时性:视频内容源是否实时产生和播放
交互性:流媒体的传输是单向还是双向
常见流媒体的应用:视频点播,视频广播,视频监视,视频会议,音乐播放,在线电台,Internet TV,电视上网,远程教学。