1、图像基本操作

数据读取-图像

#opencv读取的格式是BGR
import cv2 
import matplotlib.pyplot as plt
import numpy as np 
#jpnote中的魔法指令，把图像绘制出来就能展示出来，而不用调用plt.show()
%matplotlib inline 
#读取图像
img=cv2.imread('cat.jpg')
#读取图像的灰度图
img=cv2.imread('cat.jpg',cv2.IMREAD_GRAYSCALE) 
#保存图像，第一个参数是窗口名称，它是一个字符串。第二个参数是我们的对象
cv2.imwrite('mycat.png',img)
p = img #取整张图像的信息矩阵
p = img[0, ] #取第0行像素所有通道的信息矩阵
p = img[0, 0,] #取第0行第0个像素所有通道的信息矩阵
p = img[0, 0, 0] #取第0行第0个像素第0个通道信息矩阵

cv2.imshow('image',img)  # 图像的显示,第一个参数是窗口名称，它是一个字符串。第二个参数是我们的对象。你可以
根据需要创建任意,多个窗口，但可以使用不同的窗口名称

# cv.waitKey()是一个键盘绑定函数。其参数是以毫秒为单位的时间。该函数等待任何键盘事件指定的毫秒。如果您在这段
时间内按下任何键，程序将继续运行。如果**0**被传递，它将无限期地等待一次敲击键。它也可以设置为检测特定的按键，
例如，如果按下键esc(27)等
cv2.waitKey(1000)  # 表示图像显示1000毫秒后自动消失

img = cv.imread('messi5.jpg',0)
cv.imshow('image',img)
k = cv.waitKey(0)& 0xFF
if k == 27: # 等待ESC退出
    cv.destroyAllWindows()
elif k == ord('s'): # 等待关键字，保存和退出
    cv.imwrite('messigray.png',img)
    cv.destroyAllWindows()

# cv.destroyAllWindows()只会破坏我们创建的所有窗口。如果要销毁任何特定的窗口，请使用函数 cv.destroyWindow()
在其中传递确切的窗口名称作为参数。
cv2.destroyAllWindows()

#显示图片的 h*w*c 如果是灰度图就是h*w
img.shape # (414, 500, 3)

type(img) # numpy.ndarray

# 像素总数，也就是像素矩阵的数字个数
img.size 

img.dtype # dtype('uint8')

**

数据读取-视频

• cv2.VideoCapture可以捕获摄像头，用数字来控制不同的设备，例如0,1。
  
• 如果是视频文件，直接指定好路径即可。 ```python

  它的参数可以是设备索引或视频文件的名称。设备索引就是指定哪个摄像头的数字。正常情况下，一个摄像头会被连接，简单

  地传0(或-1)即可。你可以通过传递1来选择第二个相机，以此类推。在此之后，你可以逐帧捕获。但是在最后，不要忘记释放。

vc = cv2.VideoCapture(‘test.mp4’) while vc.isOpened():

# 逐帧捕获
ret, frame = vc.read()
# 如果正确读取帧，ret为True
if frame is None:
    break
if ret == True:
    gray = cv2.cvtColor(frame,  cv2.COLOR_BGR2GRAY)
    cv2.imshow('result', gray)
    if cv2.waitKey(1000) & 0xFF == 27:
        break

vc.release() cv2.destroyAllWindows()

<a name="rBwGp"></a>
## 
<a name="J7krm"></a>
## **截取部分图像数据**
```python
img=cv2.imread('cat.jpg')
cat=img[0:50,0:200] 
cv_show('cat',cat)

颜色通道提取

b,g,r=cv2.split(img) # 拆分通道

img=cv2.merge((b,g,r)) #合并通道

# 只保留R
cur_img = img.copy()
cur_img[:,:,0] = 0
cur_img[:,:,1] = 0
cv_show('R',cur_img)

边界填充

top_size,bottom_size,left_size,right_size = (50,50,50,50)

replicate = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size, 
                               borderType=cv2.BORDER_REPLICATE)
reflect = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, 
                             right_size,cv2.BORDER_REFLECT)
reflect101 = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size, 
                                cv2.BORDER_REFLECT_101)
wrap = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, right_size, 
                          cv2.BORDER_WRAP)
constant = cv2.copyMakeBorder(img, top_size, bottom_size, left_size, 
                              right_size,cv2.BORDER_CONSTANT, value=0)


import matplotlib.pyplot as plt
plt.subplot(231), plt.imshow(img, 'gray'), plt.title('ORIGINAL')
plt.subplot(232), plt.imshow(replicate, 'gray'), plt.title('REPLICATE')
plt.subplot(233), plt.imshow(reflect, 'gray'), plt.title('REFLECT')
plt.subplot(234), plt.imshow(reflect101, 'gray'), plt.title('REFLECT_101')
plt.subplot(235), plt.imshow(wrap, 'gray'), plt.title('WRAP')
plt.subplot(236), plt.imshow(constant, 'gray'), plt.title('CONSTANT')

plt.show()

• BORDER_REPLICATE：复制法，也就是复制最边缘像素。
• BORDER_REFLECT：反射法，对感兴趣的图像中的像素在两边进行复制例如：fedcba|abcdefgh|hgfedcb
• BORDER_REFLECT_101：反射法，也就是以最边缘像素为轴，对称，gfedcb|abcdefgh|gfedcba
• BORDER_WRAP：外包装法cdefgh|abcdefgh|abcdefg
• BORDER_CONSTANT：常量法，常数值填充。

数值计算

两个图像应具有相同的深度和类型，或者第二个图像可以只是一个标量值

img_cat=cv2.imread('cat.jpg')

img_cat2= img_cat +10 
img_cat[:5,:,0]
# array([[142, 146, 151, ..., 156, 155, 154],
       [108, 112, 118, ..., 155, 154, 153],
       [108, 110, 118, ..., 156, 155, 154],
       [139, 141, 148, ..., 156, 155, 154],
       [153, 156, 163, ..., 160, 159, 158]], dtype=uint8)
img_cat2[:5,:,0]
# array([[152, 156, 161, ..., 166, 165, 164],
       [118, 122, 128, ..., 165, 164, 163],
       [118, 120, 128, ..., 166, 165, 164],
       [149, 151, 158, ..., 166, 165, 164],
       [163, 166, 173, ..., 170, 169, 168]], dtype=uint8)

(img_cat + img_cat2)[:5,:,0] #Numpy加法是模运算,相当于% 256
# array([[ 38,  46,  56, ...,  66,  64,  62],
       [226, 234, 246, ...,  64,  62,  60],
       [226, 230, 246, ...,  66,  64,  62],
       [ 32,  36,  50, ...,  66,  64,  62],
       [ 60,  66,  80, ...,  74,  72,  70]], dtype=uint8)

cv2.add(img_cat,img_cat2)[:5,:,0] # OpenCV加法是饱和运算
# array([[255, 255, 255, ..., 255, 255, 255],
       [226, 234, 246, ..., 255, 255, 255],
       [226, 230, 246, ..., 255, 255, 255],
       [255, 255, 255, ..., 255, 255, 255],
       [255, 255, 255, ..., 255, 255, 255]], dtype=uint8)

OpenCV功能将提供更好的结果。因此，始终最好坚持使用OpenCV功能。

**

图像融合

这也是图像加法，但是对图像赋予不同的权重，以使其具有融合或透明的感觉

img_cat=cv2.imread('cat.jpg')
img_dog=cv2.imread('dog.jpg')

img_cat.shape # h*w*c(414, 500, 3)
img_dog = cv2.resize(img_dog, (500, 414)) # 缩放为指定大小，注意这里顺序是w*h
res1 = cv2.resize(img, (0, 0), fx=4, fy=4,  
                  interpolation=cv2.INTER_CUBIC) # 按比例缩放，cv2.INTER_CUBIC)插值方法

res = cv2.addWeighted(img_cat, 0.4, img_dog, 0.6, 0)

2、图像处理

图像阈值

ret, dst = cv2.threshold(src, thresh, maxval, type)

• src： 输入图，只能输入单通道图像，通常来说为灰度图
  
• dst： 输出图
• ret： 阈值
• thresh： 阈值
  
• maxval： 当像素值超过了阈值（或者小于阈值，根据type来决定），所赋予的值
  
• type：二值化操作的类型，包含以下5种类型： cv2.THRESH_BINARY； cv2.THRESH_BINARY_INV； cv2.THRESH_TRUNC； cv2.THRESH_TOZERO；cv2.THRESH_TOZERO_INV
  
• cv2.THRESH_BINARY 超过阈值部分取maxval（最大值），否则取0
  
• cv2.THRESH_BINARY_INV THRESH_BINARY的反转
  
• cv2.THRESH_TRUNC 大于阈值部分设为阈值，否则不变
  
• cv2.THRESH_TOZERO 大于阈值部分不改变，否则设为0
  
• cv2.THRESH_TOZERO_INV THRESH_TOZERO的反转 ```python ret, thresh1 = cv2.threshold(img_gray, 127, 255, cv2.THRESH_BINARY) ret, thresh2 = cv2.threshold(img_gray, 127, 255, cv2.THRESH_BINARY_INV) ret, thresh3 = cv2.threshold(img_gray, 127, 255, cv2.THRESH_TRUNC) ret, thresh4 = cv2.threshold(img_gray, 127, 255, cv2.THRESH_TOZERO) ret, thresh5 = cv2.threshold(img_gray, 127, 255, cv2.THRESH_TOZERO_INV)

titles = [‘Original Image’, ‘BINARY’, ‘BINARY_INV’, ‘TRUNC’, ‘TOZERO’, ‘TOZERO_INV’] images = [img, thresh1, thresh2, thresh3, thresh4, thresh5]

for i in range(6): plt.subplot(2, 3, i + 1) # subplot(nrows, ncols, index, kwargs) = subplot(pos, kwargs) 3位整数或三个单独的整数描述子图的位置。如果三个整数依次为nrows，ncols 和index，则 子图将在具有nrows 行和ncols列的网格上取得索引位置。索引从 左上角的1开始并向右增加。 plt.imshow(images[i], ‘gray’) #留疑，为何这里要加一个把参数表明输出是灰度图 plt.title(titles[i]) plt.xticks([]), plt.yticks([]) plt.show()

![image.png](https://cdn.nlark.com/yuque/0/2020/png/639303/1589705987071-507261bc-3a12-457f-ae5b-e61a5e97fb9c.png#align=left&display=inline&height=235&margin=%5Bobject%20Object%5D&name=image.png&originHeight=371&originWidth=591&size=116287&status=done&style=none&width=375)
<a name="CwcXx"></a>
## 图像平滑
```python
# 均值滤波
# 简单的平均卷积操作
blur = cv2.blur(img, (3, 3))

# 方框滤波
# 基本和均值一样，可以选择归一化
box = cv2.boxFilter(img,-1,(3,3), normalize=True) 
box = cv2.boxFilter(img,-1,(3,3), normalize=False)  

# 高斯滤波
# 高斯模糊的卷积核里的数值是满足高斯分布，相当于更重视中间的
aussian = cv2.GaussianBlur(img, (5, 5), 1)  

# 中值滤波
# 相当于用中值代替
median = cv2.medianBlur(img, 5)  # 中值滤波

形态学-腐蚀操作

img = cv2.imread('dige.png')

kernel = np.ones((3,3),np.uint8) 

# kernel=array([[1, 1, 1],
#               [1, 1, 1],
#               [1, 1, 1]], dtype=uint8)
erosion = cv2.erode(img,kernel,iterations = 1) # iterations表示迭代次数

pie = cv2.imread('pie.png') # 这里的pie是一个圆

kernel = np.ones((30,30),np.uint8) 
erosion_1 = cv2.erode(pie,kernel,iterations = 1)
erosion_2 = cv2.erode(pie,kernel,iterations = 2)
erosion_3 = cv2.erode(pie,kernel,iterations = 3)
res = np.hstack((erosion_1,erosion_2,erosion_3)) #np.hstack():在水平方向上平铺
res = cv2.resize(res, (0, 0), fx=0.4, fy=0.4,  
                  interpolation=cv2.INTER_CUBIC)

形态学-膨胀操作

跟腐蚀类似
dige_dilate = cv2.dilate(dige_erosion,kernel,iterations = 1)

开运算与闭运算

# 开：先腐蚀，再膨胀
img = cv2.imread('dige.png')

kernel = np.ones((5,5),np.uint8) 
opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)

# 闭：先膨胀，再腐蚀
img = cv2.imread('dige.png')

kernel = np.ones((5,5),np.uint8) 
closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)

梯度运算

# 梯度=膨胀-腐蚀
pie = cv2.imread('pie.png')
kernel = np.ones((7,7),np.uint8) 
gradient = cv2.morphologyEx(pie, cv2.MORPH_GRADIENT, kernel)

礼帽与黑帽

• 礼帽 = 原始输入-开运算结果
• 黑帽 = 闭运算-原始输入 ```python

  礼帽

  img = cv2.imread(‘dige.png’) tophat = cv2.morphologyEx(img, cv2.MORPH_TOPHAT, kernel)

黑帽

img = cv2.imread(‘dige.png’) blackhat = cv2.morphologyEx(img,cv2.MORPH_BLACKHAT, kernel)

<a name="jRMyD"></a>
## 图像梯度
梯度简单来说就是求导。<br />OpenCV 提供了三种不同的梯度滤波器，或者说高通滤波器：Sobel，Scharr 和 Laplacian。我们会意义介绍他们。<br />Sobel，Scharr 其实就是求一阶或二阶导数。Scharr 是对 Sobel（使用小的卷积核求解求解梯度角度时）的优化。Laplacian 是求二阶导数。
<a name="7EsbV"></a>
### Sobel算子
原理：[链接：Sobel算子](https://baike.baidu.com/item/%E7%B4%A2%E8%B4%9D%E5%B0%94%E7%AE%97%E5%AD%90/15805328?fromtitle=Sobel%E7%AE%97%E5%AD%90&fromid=11000092&fr=aladdin)<br />![1.png](https://cdn.nlark.com/yuque/0/2020/png/639303/1589803394965-54c71060-01bd-4f0b-b684-d2c7199ca013.png#align=left&display=inline&height=91&margin=%5Bobject%20Object%5D&name=1.png&originHeight=258&originWidth=1307&size=32965&status=done&style=none&width=461)<br />dst = cv2.Sobel(src, ddepth, dx, dy, ksize)

- ddepth:图像的深度
- dx和dy分别表示水平和竖直方向
- ksize是Sobel算子的大小，一般是3*3也就是上面的。
```python
#分别计算x和y方向
sobelx = cv2.Sobel(img,cv2.CV_64F,1,0,ksize=3)
#白到黑是负数，黑到白就是正数了，所有的负数会被截断成0，所以要取绝对值
sobelx = cv2.convertScaleAbs(sobelx)

sobely = cv2.Sobel(img,cv2.CV_64F,0,1,ksize=3)
sobely = cv2.convertScaleAbs(sobely)  

#再求和
sobelxy = cv2.addWeighted(sobelx,0.5,sobely,0.5,0)

#不建议直接计算
sobelxy=cv2.Sobel(img,cv2.CV_64F,1,1,ksize=3)
sobelxy = cv2.convertScaleAbs(sobelxy)

关于参数中的图像深度：参数ddepth = -1 表示设定输出图像的深度（数据类型）与原图像保持一致，但是我们在代码中使用的却是 cv2.CV_64F。因为一个从黑（灰度值为0）到白（灰度值为255）的边界的导数是整数，而一个从白到黑的边界点导数却是负数。如果原图像的深度是np.int8 时，所有的负值都会被截断变成 0，换句话说就是把把边界丢失掉。所以如果这两种边界你都想检测到，最好的的办法就是将输出的数据类型设置的更高，比如 cv2.CV_16S，cv2.CV_64F等。取绝对值然后再把它转回cv2.CV_8U。
链接：通道和位深的理解含义整理（CV_8UC1,CV_8SC1,CV_32FC1）

Scharr算子

Scharr 是对 Sobel（使用小的卷积核求解求解梯度角度时）的优化，Sobel 算子是高斯平滑与微分操作的结合体，所以它的抗噪声能力很好，如果 ksize=-1，会使用 3x3 的 Scharr 滤波器，它的的效果要比 3x3 的 Sobel 滤波器好（而且速度相同，所以在使用 3x3 滤波器时应该尽量使用 Scharr 滤波器）。

laplacian算子

如果邻域系统是4 邻域，Laplacian 算子的模板为： 如果邻域系统是8 邻域，Laplacian 算子的模板为：

和sobelx、sobely的对比（openCV官方文档）：

sobelxy,scharrxy,laplacian对比（唐宇迪课件）：

Canny边缘检测

• 1) 使用高斯滤波器，以平滑图像，滤除噪声。
  
• 2) 计算图像中每个像素点的梯度强度和方向。
  
• 3) 应用非极大值（Non-Maximum Suppression）抑制，以消除边缘检测带来的杂散响应。
  
• 4) 应用双阈值（Double-Threshold）检测来确定真实的和潜在的边缘。
  
• 5) 通过抑制孤立的弱边缘最终完成边缘检测。
  
•