用 TensorFlow 和 CNN 实现验证码识别

在本教程中，我们将使用 TensorFlow 和 卷积神经网络（CNN） 来构建一个验证码识别系统。TensorFlow 是一个流行的深度学习框架，支持构建和训练神经网络。通过构建卷积神经网络（CNN），我们可以自动从图像中提取特征并执行字符分类任务。

1. 环境准备

首先，我们需要安装 TensorFlow 和其他一些常用的图像处理库：

pip install tensorflow opencv-python numpy matplotlib pillow
更多内容访问ttocr.com或联系1436423940

tensorflow：TensorFlow 深度学习框架。

opencv-python：用于处理图像，进行预处理和特征提取。

numpy：用于处理数值数据，特别是数组和矩阵。

matplotlib：用于可视化图像和结果。

2. 数据集准备与图像预处理

验证码图像通常包含字符干扰、噪点、扭曲等，我们需要对图像进行预处理以提高识别的准确性。常见的预处理步骤包括：灰度化、二值化、去噪和字符分割。

(1) 图像预处理

在这个步骤中，我们将使用 OpenCV 对图像进行灰度化、二值化和去噪处理。

import cv2
import numpy as np

def preprocess_image(img_path):
# 读取图像
img = cv2.imread(img_path)

# 转换为灰度图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 使用 Otsu 的方法进行二值化
_, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)# 高斯模糊去噪
blurred = cv2.GaussianBlur(binary, (5, 5), 0)return blurred

示例图像路径

img_path = 'captcha_images/test1.png'
processed_img = preprocess_image(img_path)

显示处理后的图像

cv2.imshow('Processed Image', processed_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

(2) 提取字符区域

验证码中的每个字符通常由轮廓框住。我们将使用 OpenCV 的轮廓检测方法来提取字符区域，并将其分割开。

def extract_characters(processed_img):
contours, _ = cv2.findContours(processed_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
char_images = []
for contour in contours:
x, y, w, h = cv2.boundingRect(contour)
if w > 10 and h > 10: # 忽略小的噪点
char_img = processed_img[y:y+h, x:x+w]
char_images.append(char_img)

# 按照字符从左到右的顺序排序
char_images.sort(key=lambda x: x[0][0])  # 排序依据是字符的左上角 x 坐标
return char_images

提取字符区域

char_images = extract_characters(processed_img)

显示提取的字符

for i, char_img in enumerate(char_images):
cv2.imshow(f'Character {i+1}', char_img)
cv2.waitKey(0)

cv2.destroyAllWindows()

3. 构建卷积神经网络（CNN）

接下来，我们使用 TensorFlow 来构建卷积神经网络（CNN）。CNN 由多个卷积层和池化层组成，能够自动从图像中提取特征，并对图像进行分类。

(1) 定义 CNN 模型

我们将构建一个简单的 CNN，包括两个卷积层、两个池化层，并在最后使用全连接层输出验证码的类别。

import tensorflow as tf
from tensorflow.keras import layers, models

def create_cnn_model():
model = models.Sequential()
# 卷积层1
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))

# 卷积层2
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))# 展平层
model.add(layers.Flatten())# 全连接层
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dense(36, activation='softmax'))  # 36 类（假设验证码包含数字和字母）return model

创建模型

model = create_cnn_model()
model.summary()

4. 数据加载与训练准备

为了训练模型，我们需要准备图像数据集。我们将加载图像并将其调整为 28x28 的大小，这样便于 CNN 进行处理。同时，我们需要将图像像素值规范化到 [0, 1] 之间。

(1) 数据加载与标签预处理

验证码通常包含数字和字母，我们需要将每个字符的图像提取出来，并为每个图像分配一个标签。

import os
import numpy as np
import cv2
from tensorflow.keras.utils import to_categorical

def load_data(image_dir):
images = []
labels = []

for filename in os.listdir(image_dir):if filename.endswith('.png'):img_path = os.path.join(image_dir, filename)img = preprocess_image(img_path)img = cv2.resize(img, (28, 28))  # 将图像调整为28x28img = np.expand_dims(img, axis=-1)  # 添加通道维度# 假设标签是文件名中的数字或字母label = int(filename.split('_')[0])  # 例如 '1_test.png' -> '1'labels.append(label)images.append(img)images = np.array(images)
labels = np.array(labels)# 归一化
images = images.astype('float32') / 255.0# 标签 one-hot 编码
labels = to_categorical(labels, num_classes=36)return images, labels

加载数据

image_dir = 'captcha_images/train'
images, labels = load_data(image_dir)

分割训练集和测试集

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(images, labels, test_size=0.2, random_state=42)

5. 训练模型

接下来，我们使用训练集训练模型。我们将使用 交叉熵损失 和 Adam 优化器 来训练模型。

(1) 训练模型

编译模型

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

训练模型

history = model.fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_test, y_test))

6. 测试与预测

训练完成后，我们可以使用测试数据对模型进行评估，并进行预测。

(1) 测试模型

评估模型

test_loss, test_acc = model.evaluate(X_test, y_test)
print(f'Test accuracy: {test_acc:.4f}')

(2) 预测新的验证码
def predict(model, img_path):
img = preprocess_image(img_path)
img = cv2.resize(img, (28, 28))
img = np.expand_dims(img, axis=-1) # 添加通道维度
img = np.expand_dims(img, axis=0) # 添加批次维度
img = img.astype('float32') / 255.0

# 进行预测
prediction = model.predict(img)
predicted_label = np.argmax(prediction, axis=1)return predicted_label[0]

预测新的验证码

predicted_label = predict(model, 'captcha_images/test1.png')
print(f"Predicted label: {predicted_label}")