PaddleOCR提供了一系列测试图片，你可以通过点击这里来下载。
值得注意的是，PaddleOCR的模型更新速度远远快于DJL，这导致了一些DJL的优化滞后问题。因此，我们需要采取一些策略来跟上PaddleOCR的最新进展。
针对文本识别模型，你可以参考以下资源：
请注意，PP-OCRv4的识别模型使用的输入形状为3,48,320。此外，PP-OCRv4的识别模型默认使用的rec_algorithm为SVTR_LCNet，需要留意其与原始SVTR的区别。
默认的识别模型算法可以在这里找到。
模型的输入和输出在PpWordRecognitionTranslator.java中。
Criteria<Image, String> criteria = Criteria.builder()
.optEngine("PaddlePaddle")
.setTypes(Image.class, String.class)
.optModelPath(Paths.get("C:\\laker-1"))
.optTranslator(new PpWordRecognitionTranslator())
.build();
public class PpWordRecognitionTranslator implements NoBatchifyTranslator<Image, String> {
private List<String> table;
/**
* 准备方法，用于加载模型所需的数据。
*
* @param ctx 翻译上下文
* @throws IOException 如果读取数据时发生错误
*/
@Override
public void prepare(TranslatorContext ctx) throws IOException {
try (InputStream is = ctx.getModel().getArtifact("ppocr_keys_v1.txt").openStream()) {
// 从文本文件中读取表格数据
table = Utils.readLines(is, true);
// 在表格开头添加"blank"
table.add(0, "blank");
// 在表格末尾添加空字符串
table.add("");
}
}
/**
* 处理输出方法，将模型的输出转换为字符串。
*
* @param ctx 翻译上下文
* @param list 模型的输出列表
* @return 转换后的字符串
*/
@Override
public String processOutput(TranslatorContext ctx, NDList list) {
StringBuilder sb = new StringBuilder();
NDArray tokens = list.singletonOrThrow();
long[] indices = tokens.get(0).argMax(1).toLongArray();
int lastIdx = 0;
for (int i = 0; i < indices.length; i++) {
if (indices[i] > 0 && !(i > 0 && indices[i] == lastIdx)) {
// 将索引映射为相应的字符串并添加到结果字符串中
sb.append(table.get((int) indices[i]));
}
}
return sb.toString();
}
/**
* 处理输入方法，将图像数据转换为模型可接受的格式。
*
* @param ctx 翻译上下文
* @param input 输入图像
* @return 转换后的NDList对象
*/
@Override
public NDList processInput(TranslatorContext ctx, Image input) {
NDArray img = input.toNDArray(ctx.getNDManager());
int[] hw = resize32(input.getWidth());
// 调整图像大小、转换为张量并归一化
img = NDImageUtils.resize(img, hw[1], hw[0]);
img = NDImageUtils.toTensor(img).sub(0.5f).div(0.5f);
// 在第一个维度上添加一个维度，通常用于将单个图像添加到批处理中
img = img.expandDims(0);
return new NDList(img);
}
private int[] resize32(double w) {
// Paddle不依赖于宽高比
// 计算新的图像宽度，确保它是32的倍数
int width = ((int) Math.max(32, w)) / 32 * 32;
return new int[]{32, width};
}
}
这里有很多过时的了。
3,48,320我们就来优化这2点。
1.修改模型加载这个地方
Criteria<Image, String> criteria = Criteria.builder()
.optEngine("PaddlePaddle")
.setTypes(Image.class, String.class)
.optModelPath(Paths.get("C:\\laker-1"))
.optTranslator(new PpWordRecognitionTranslator2())
.build();
2.新增PpWordRecognitionTranslator2类
/**
* 处理输出方法，将模型的输出转换为字符串。
*
* @param ctx 翻译上下文
* @param list 模型的输出列表
* @return 转换后的字符串
* @throws IOException 如果处理输出时发生错误
*/
@Override
public String processOutput(TranslatorContext ctx, NDList list) throws IOException {
StringBuilder sb = new StringBuilder();
NDArray tokens = list.singletonOrThrow();
System.out.println("输出：" + tokens);
// 计算出每行中最大值的索引位置 ND: (20, 97) 即 20行 97列，97列
// 97列是初始化字典的行数，所以肯定是97列。
// 20为图片中可能的字符数
long[] indices = tokens.get(0).argMax(1).toLongArray();
// 字符置信度
float[] probs = new float[indices.length];
for (int row = 0; row < indices.length; row++) {
long dictIndex = indices[row];
if (dictIndex > 0) { // 剔除 blank
float[] v = tokens.get(0).get(row).toFloatArray();
NDArray value = tokens.get(0).get(new NDIndex("" + row + ":" + (row + 1) + "," + dictIndex + ":" + (dictIndex + 1)));
probs[row] = value.toFloatArray()[0];
System.out.println(table.get((int) dictIndex) + " " + probs[row]);
// 剔除置信度小于 0.6的
if (probs[row] < 0.6f) {
continue;
}
sb.append(table.get((int) dictIndex));
}
}
return sb.toString();
}
/**
* 处理输入方法，将图像数据转换为模型可接受的格式。
*
* @param ctx 翻译上下文
* @param input 输入图像
* @return 转换后的NDList对象
*/
@Override
public NDList processInput(TranslatorContext ctx, Image input) {
NDArray img = input.toNDArray(ctx.getNDManager());
System.out.println(img);
int[] hw = resize48(input.getWidth(), input.getHeight());
img = NDImageUtils.resize(img, hw[1], hw[0]);
// 将图像转换为张量，并进行归一化操作，减去0.5并除以0.5。
img = NDImageUtils.toTensor(img).sub(0.5f).div(0.5f);
// 在张量的第一个维度上添加一个维度，通常用于将单个图像添加到批处理中。
img = img.expandDims(0);
System.out.println("输入 ：" + img);
return new NDList(img);
}
/**
* 计算新的图像宽度和高度，确保宽度不超过48，并按比例调整高度。
*
* @param w 图像原始宽度
* @param h 图像原始高度
* @return 包含新的宽度和高度的整数数组
*/
private int[] resize48(double w, double h) {
double maxWhRatio = w / h;
int imgW = (int) (48 * maxWhRatio);
// 检查按比例调整高度后是否超过了目标宽度
int resizedW = (int) Math.ceil(48 * maxWhRatio);
return new int[]{48, resizedW};
}
输出为
// 原始图片 高 39，宽105
: (39, 105, 3) cpu() uint8
[ Exceed max print size ]
// resize后的 高 48，宽130
输入 ：ND: (1, 3, 48, 130) cpu() float32
[ Exceed max print size ]
// 字符识别个数为16个，字符是97个的英文字典
输出：softmax_2.tmp_0: (1, 16, 97) cpu() float32
[ Exceed max print size ]
[ 0.932977
1 0.99981683
+ 0.99966896
1 0.99980944
= 0.9967675
2 0.9998343
] 0.9975802
[1+1=2]