diff --git a/README.md b/README.md index 1fdcdf4..90f0a22 100644 --- a/README.md +++ b/README.md @@ -40,8 +40,17 @@ SmartJavaAI是专为JAVA 开发者打造的一个功能丰富、开箱即用的 JAVA AI算法工具包，致力于帮助JAVA开发者零门槛使用各种AI算法模型，开发者无需深入了解底层实现，即可轻松在 Java 代码中调用人脸识别、目标检测、OCR 等功能。底层支持包括基于 DJL (Deep Java Library) 封装的深度学习模型，以及通过 JNI 接入的 C++/Python 算法，兼容多种主流深度学习框架如 PyTorch、TensorFlow、ONNX、Paddle 等，屏蔽复杂的模型部署与调用细节，开发者无需了解 AI 底层实现即可直接在 Java 项目中集成使用，后续将持续扩展更多算法，目标是构建一个“像 Hutool 一样简单易用”的 JAVA AI 通用工具箱 +## 📱 SmartJavaAI Android 商业版 +**SmartJavaAI 现已支持 Android 移动端！** +如果您有移动端离线人脸识别的需求，我们推出了基于 SmartJavaAI 的 Android SDK 及演示 APP。 + +* 🚀 **核心能力**：毫秒级离线人脸检测、比对、注册与 1:N 搜索。 +* 📦 **开箱即用**：提供标准 SDK 接口与完整 Demo APK。 +* 💼 **商业授权**：Android 版本为商业授权版本。 + +👉 **[点击查看 Android 版演示截图、APK 下载及获取方式](./android.md)** @@ -49,7 +58,116 @@ SmartJavaAI是专为JAVA 开发者打造的一个功能丰富、开箱即用的 ## 🚀 能力展示
- +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - + + + + + + + +
+
+

人脸检测(Face Detection)

+ - 5点人脸关键点定位
+
+ 		+
+ +
+
+
+

人脸比对1：1
(Face Recognition)

+ - 人脸对齐
+
+ 		+
+ +
+
+
+

人证核验
(Face ID Verification)

+
+ 		+
+ +
+
+
+

人脸比对1：N
(Face Recognition)

+ - 人脸对齐
+ - 人脸注册
+ - 人脸库查询
+ - 人脸库删除
+
+ 		+
+ +
+
+
+

人脸属性检测

+ - 性别检测(GenderDetection)
+ - 年龄检测(AgeDetection)
+ - 口罩检测(Face Mask Detection)
+ - 眼睛状态检测(EyeClosenessDetection)
+ - 脸部姿态检测(FacePoseEstimation)
+
+ 		+
+ +
+
+
+

活体检测
(FaceLivenessDetection)

+ - 图片和视频活体检测
+
+ 		+
+ +
+
+
+

人脸表情识别
(FacialExpressionRecognition)

+ - 7种表情检测
+
+ 		+
+ +
+
+
+

图像分类
(Image Classification)

+
+ 		+
+ +
+
@@ -234,7 +352,33 @@ SmartJavaAI是专为JAVA 开发者打造的一个功能丰富、开箱即用的
+
+

语音合成(ASR)

+
+ 		+
+ +
+
+
+

CLIP

+ - 文搜图
+ - 图搜图
+ - 图搜文
+
+ 		+
+ +
+
@@ -260,3 +404,471 @@ SmartJavaAI是专为JAVA 开发者打造的一个功能丰富、开箱即用的 +## 📌 支持功能 + +- **人脸识别** + - 人脸检测：人脸区域检测、5点人脸关键点定位 + - 人脸识别：人脸512维特征提取、人脸对齐、1:1 人脸比对、1:N 人脸识别 + - 人脸库：人脸注册、更新、查询、删除(支持向量数据库milvus/sqlite) + - 人脸属性检测：性别、年龄、口罩、眼睛状态、脸部姿态 + - 静默活体检测：图片、视频活体检测 + - 人脸表情识别：7种表情识别 + - 人脸质量评估：亮度评估、清晰度评估、完整度评估、姿态评估、遮挡评估 +- **图像分类** + - 支持多种主流模型：集成 YOLOv8、YOLOv11 等分类模型 + - 支持自定义模型加载：可无缝加载并部署用户自行训练的分类模型 +- **目标检测** + - 支持多种主流模型：集成 YOLOv5、YOLOv8、YOLOv11、YOLOv12、Tensorflow Object Detection 等目标检测模型 + - 支持自定义模型加载：可无缝加载并部署用户自行训练的目标检测模型 + - 集成行人检测模型 +- **语义分割** + - 集成DeepLabV3模型 +- **实例分割** + - 集成YOLOv8-seg、YOLOv11-seg、Mask R-CNN等模型 +- **OBB旋转框目标检测** + - 集成YOLOv11-obb模型 +- **动作识别** + - 支持KINETICS400数据集中400个人类动作识别 +- **姿态估计** + - 集成YOLOv8-pose、YOLOv11-pose等模型 +- **零样本目标检测** + - 集成YOLOv8s_worldv2、owlv2_base_patch16模型 +- **CLIP** + - 支持提取图片及文本特征 + - 支持文搜图、图搜文、图搜图 +- **OCR文字识别** + - 支持PaddleOCR 3.0模型：集成最新PP-OCRv5、PP-OCRv4、表格结构识别模型(SLANet_plus)、文本行方向分类模型 + - 支持任意角度识别，方向校准 + - 支持通用文字识别，通用手写字识别 + - 支持表格识别 + - 支持中文车牌识别：单层/双层检测，颜色识别，支持12种中文车牌 +- **机器翻译** + - 集成NLLB-200模型：支持200+语言互相翻译 +- **语音识别(ASR)** + - 集成openai的whisper模型：支持100种语言 + - 集成vosk语音识别 + - 集成sherpa-onnx语音识别 +- **语音合成(TTS)** + - 集成sherpa-onnx：支持中文、方言、粤语、英文、德语等多种语言 + + +## 🌟 AI集成方式对比 + +| 方案 | 技术特点 | 优点 | 缺点 | +|---------------------|--------------------------------------------------------------------------|-------------------------------------------------------------------|-----------------------------------------------| +| **OpenCV** | 传统图像处理方案 | ✅ 提供java接口
✅ 轻量级部署
✅ 社区资源丰富 | ❌ 基于传统算法精度低(60%-75%)
❌ 需本地安装环境 | +| ‌**商业闭源SDK（如虹软等）**‌ | 商业级闭源解决方案 | ✅ 开箱即用
✅ 提供完整文档和SDK
✅ 支持离线活体检测 | ❌ 免费版需年度授权更新
❌ 商业授权费用高
❌ 代码不可控 | +| ‌**云API(阿里云)**‌ | SaaS化云端服务 | ✅ 零部署成本
✅ 支持高并发
✅ 自带模型迭代 | ❌ 网络延迟风险(200-800ms)
❌ 按调用量计费
❌ 有数据安全风险 | +| ‌**Python混合调用**‌ | 跨语言调用方案 | ✅ 可集成PyTorch/TF等框架
✅ 支持自定义算法
✅ 识别精度高 | ❌ 需维护双语言环境
❌ 进程通信性能损耗(30%+)
❌ 异常处理复杂度翻倍 | +| ‌**JNI/JNA**‌ | 跨语言底层调用方案 | ✅ 直接调用 C/C++ 高性能算法库
✅ 支持调用各种原生成熟库
✅ 可封装成通用工具Jar | ❌ 开发成本高，JNI更复杂
❌ 跨平台兼容性差 | +| ‌**DJL框架**‌ | 深度学习框架 | ✅ 纯Java实现
✅ 支持主流深度学习框架
✅ 可加载预训练模型(99%+) | ❌ 需掌握DL知识
❌ 需处理模型加载、预处理、后处理等复杂技术细节 | +| ‌**SmartJavaAI**‌ | java深度学习工具包 | ✅ 支持主流深度学习框架
✅ 提供丰富、开箱即用API
✅ 上手简单，单一Jar包集成 | 无 | + + + +## 🛠️包含组件 + +| 模块 | 介绍 | +|-----------------------|---------------------------| +| common | 基础通用模块，封装了公共功能，供各算法模块共享使用 | +| bom | 依赖管理模块 | +| face | 人脸功能模块 | +| vision | 通用视觉模块(目标检测等功能) | +| ocr | OCR文字识别模块 | +| translate | 机器翻译模块 | +| speech | 语音功能模块，包含 ASR 和 TTS | + +可以根据需求对每个模块单独引入，也可以通过引入`all`方式引入所有模块。 + +------------------------------------------------------------------------------- + + +## SmartJavaAI 架构图 + + + +------------------------------------------------------------------------------- + +## 📦 安装 + + +### 1、环境要求 + +- Java 版本：**JDK 8或更高版本** +- 操作系统：不同模型支持的系统不一样，具体请查看[文档](http://doc.smartjavaai.cn) + +### 2、Maven + +在项目的 `pom.xml` 的 `dependencies` 中可以一次性引入全部功能（如下所示）。 + +⚠️ **注意：不推荐直接引入全部依赖**，更推荐根据实际需求，按功能模块单独引入，避免引入不必要的包。 + +详细引入方式请查看 [文档](http://doc.smartjavaai.cn/install.html)、或查看[示例代码](https://gitee.com/dengwenjie/SmartJavaAI/tree/master/examples) + +```xml + + cn.smartjavaai + all + 1.1.1 + +``` + +### 3、完整示例代码 + +[示例代码](https://gitee.com/dengwenjie/SmartJavaAI/tree/master/examples) + +本项目在 `examples` 文件夹下提供了多个示例工程，用于演示各功能模块的使用方法： + +* `face-example`：人脸检测、人脸识别等功能示例 +* `vision-example`：通用视觉检测示例：目标检测、目标分割、图像分类等 +* `ocr-example`：OCR文字识别、车牌识别等功能示例 +* `translate-example`：机器翻译功能示例 +* `speech-example`：语音识别、语音合成功能示例 + +#### 运行方式 + +如果你只想运行某个示例，请按以下方式操作： + +1. 打开 IDEA（或你喜欢的 IDE） +2. 选择 **“Open”**，然后仅导入 `examples` 目录下对应的示例项目，例如： + + ``` + examples/face-example + ``` +3. IDEA 会自动识别并加载依赖。若首次导入，请等待 Maven 下载依赖完成。 +4. 请从我们提供的 百度网盘 中下载模型及其附带文件，并在示例代码中将模型路径修改为您本地的实际路径。 +5. 可通过查看每个 Java 文件顶部的注释了解对应功能，或参考 README 文件中对各 Java 文件功能的说明，运行相应的测试方法进行体验。 + + + +### 4、文档地址 + +[开发文档](http://doc.smartjavaai.cn) + +### 5、模型简介及下载 + +[模型下载](https://pan.baidu.com/s/1dlZxWEMULnaietMDUJh38g?pwd=1234) + +#### 人脸模块 + +**人脸检测模型(FaceDetection、FaceLandmarkExtraction)** + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|------------------------------|-------------|------------------------------|---------------------------------------------------------------------------------| +| MTCNN(均衡) | PyTorch | 使用最广泛的模型之一，经典多阶段人脸检测，速度与精度均衡 | [Github](https://github.com/timesler/facenet-pytorch) | +| SeetaFace6(均衡模型) | C++ | 中科视拓最新开放的开源免费的全栈人脸识别工具包 | [Github](https://github.com/seetafaceengine/SeetaFace6) | +| RetinaFace(高精度) | PyTorch | 基于单阶段检测的多尺度人脸检测 | [Github](https://github.com/biubug6/Pytorch_Retinaface) | +| RetinaFace_1080x720(高精度) | OnnxRuntime | 针对高分辨率图像优化的 RetinaFace 模型 | [Github](https://github.com/biubug6/Pytorch_Retinaface) | +| RetinaFace_640x640(高精度) | OnnxRuntime | 针对低分辨率图像优化的 RetinaFace 模型 | [Github](https://github.com/biubug6/Pytorch_Retinaface) | +| yolov5face_n_0.5_320x320(极速) | OnnxRuntime | YOLOv5 小型人脸检测模型，设计轻量，适合快速推理 | 无 | +| yolov5face_m_640x640(极速) | OnnxRuntime | YOLOv5 中型人脸检测模型 | 无 | +| UltraLightFastGenericFace(极速) | PyTorch | 针对边缘计算设备设计的轻量人脸检测模型 | [Github](https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB) | + +--- + +**人脸识别模型(FaceRecognition)** + + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-------------------------------|---------------------|--------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------| +| InsightFace_IR-SE50(高精度) | PyTorch | 这是对 ArcFace（论文）和 InsightFace（GitHub）的 PyTorch 重新实现 | [Github](https://github.com/TreB1eN/InsightFace_Pytorch) | +| InsightFace_Mobilefacenet(极速) | PyTorch | （轻量级）这是对 ArcFace（论文）和 InsightFace（GitHub）的 PyTorch 重新实现 | [Github](https://github.com/TreB1eN/InsightFace_Pytorch) | +| FaceNet | PyTorch | 基于 PyTorch 的 Inception ResNet（V1）模型仓库 | [Github](https://github.com/timesler/facenet-pytorch) | +| ElasticFace | PyTorch | 基于 CVPRW2022 论文《ElasticFace: Elastic Margin Loss for Deep Face Recognition》实现的人脸识别模型 | [Github](https://github.com/fdbtrs/ElasticFace) | +| SeetaFace6 | C++ | 中科视拓最新开放的开源免费的全栈人脸识别工具包 | [Github](https://github.com/seetafaceengine/SeetaFace6) | +| SphereFace-20A | PyTorch+OnnxRuntime | SphereFace:Deep Hypersphere Embedding for Face Recognition | [Github](https://github.com/wy1iu/sphereface) | +| DREAM_IJBA_RES18 | OnnxRuntime | DREAM block for Pose-Robust Face Recognition | [Github](https://github.com/penincillin/DREAM) | +| face.evoLVe | PyTorch | High-Performance Face Recognition Library based on PaddlePaddle & PyTorch | [Github](https://github.com/ZhaoJ9014/face.evoLVe) | +| VGGFace2 | PyTorch | PyTorch Face Recognizer based on 'VGGFace2: A dataset for recognising faces across pose and age'. | [Github](https://github.com/cydonia999/VGGFace2-pytorch) | + + +**静态活体检测(RGB)模型（Silent face-anti-spoofing、FaceLivenessDetection）** + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-----------|----------------|-------------------------|----------------------------------------------------------------------| +| MiniVision| OnnxRuntime | 小视科技的静默活体检测 | [Github](https://github.com/minivision-ai/Silent-Face-Anti-Spoofing) | +| IIC_FL(cv_manual_face-liveness_flrgb) | OnnxRuntime | 阿里通义工作室人脸活体检测模型-RGB | [魔塔](https://www.modelscope.cn/models/iic/cv_manual_face-liveness_flrgb/feedback) | +| SeetaFace6 | C++ | 中科视拓最新开放的开源免费的全栈人脸识别工具包 | [Github](https://github.com/seetafaceengine/SeetaFace6) | + + +**人脸表情识别模型(FacialExpressionRecognition、fer)** + +支持功能： +- 支持识别7种表情：neutral（中性）、happy（高兴）、sad（悲伤）、surprise（惊讶）、fear（恐惧）、disgust（厌恶）、anger（愤怒） + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|---------|-----------|--------------------------|----------------------------------------------------------------------| +| DensNet121 | PyTorch| FaceLib的densnet121表情识别模型 | [Github](https://github.com/sajjjadayobi/FaceLib/) | +| FrEmotion| OnnxRuntime | FaceRecognition-LivenessDetection-Javascript | [Github](https://github.com/Faceplugin-ltd/FaceRecognition-LivenessDetection-Javascript) | + + +**人脸属性识别模型(GenderDetection、AgeDetection、EyeClosenessDetection、FacePoseEstimation)** + +支持功能： +- 性别检测 +- 年龄检测 +- 闭眼检测 +- 人脸姿态检测 +- 戴口罩检测 + +| 模型名称 | 模型简介 | 模型开源网站 | +|------------|--------------------------|----------------------------------------------------------------------| +| SeetaFace6 | 中科视拓最新开放的开源免费的全栈人脸识别工具包 | [Github](https://github.com/seetafaceengine/SeetaFace6) | + + +**人脸质量评估模型(FaceQualityAssessment)** + +支持功能： +- 亮度评估 +- 清晰度评估 +- 完整度评估 +- 姿态评估 +- 遮挡评估 + +| 模型名称 | 模型简介 | 模型开源网站 | +|------------|--------------------------|----------------------------------------------------------------------| +| SeetaFace6 | 中科视拓最新开放的开源免费的全栈人脸识别工具包 | [Github](https://github.com/seetafaceengine/SeetaFace6) | + + +--- + +#### 图像分类模型(CLS) + +**YOLO 系列** + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-------------|----------------|------------|----------------------------------------------------------------------| +| YOLOV11-cls | OnnxRuntime | 最流行的图像分类模型 | [Github](https://docs.ultralytics.com/zh/models/) | +| YOLOV8-cls | OnnxRuntime | 最流行的图像分类模型 | [Github](https://docs.ultralytics.com/zh/models/) | + + +#### 目标检测模型 + +**YOLO 系列** + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|---------|----------------|-------------------------|----------------------------------------------------------------------| +| YOLOV12 | OnnxRuntime | 最流行的目标检测模型 | [Github](https://docs.ultralytics.com/zh/models/) | +| YOLOV11 | OnnxRuntime | 最流行的目标检测模型 | [Github](https://docs.ultralytics.com/zh/models/) | +| YOLOV8 | OnnxRuntime | 最流行的目标检测模型 | [Github](https://docs.ultralytics.com/zh/models/) | + +**Tensorflow系列** + +仅测试了以下Tensorflow目标检测模型 + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|---------|-------------|----------------|----------------------------------------------------------------------| +| EfficientDet | Tensorflow | Tensorflow目标检测 | [Github](https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf2_detection_zoo.md) | +| SSD MobileNet V2 | Tensorflow | Tensorflow目标检测 | [Github](https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf2_detection_zoo.md) | +| Faster RCNN Inception Resnet V2 | Tensorflow | Tensorflow目标检测 | [Github](https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf2_detection_zoo.md) | + +**SSD 系列** + +| 模型名称 | 引擎 | 骨干网络 | 输入尺寸 |
训练数据集
| 精度（mAP） |
推理速度
|
适用场景
| +| :-------- |------------------| ------------- | ----------- |--------------------------------------| -------------|-------------------------------------| -------------| +|SSD_300_RESNET5| PyTorch | ResNet‑50 | 300×300 | COCO | 中等 | 快 | 精度需求一般| +|SSD_512_RESNET50_V1_VOC| PyTorch | ResNet‑50 | 512×512 | Pascal VOC | 稍高 | 中等 | 精度优先、可接受略低速度的场景| +|SSD_512_VGG16_ATROUS_COCO| MXNet | VGG‑16 | 512×512 | COCO | 较高 | 中等 | 通用场景；对小目标有一定提升| +|SSD_300_VGG16_ATROUS_VOC| MXNet | VGG‑16 | 300×300 | Pascal VOC | 中等偏上 | 快 | VOC 数据集同类任务；资源受限时使用| +|SSD_512_MOBILENET1_VOC| MXNet | MobileNet‑1.0 | 512×512 | Pascal VOC | 中等 | 快 | 嵌入式/移动端设备；算力和内存都很有限| + +--- + +#### 语义分割模型 + + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|---------|---------|-------------------------|--------| +| DeepLabv3 | PyTorch | DeepLabv3 是一种图像分割模型，可以把图片里的每个像素分类出来 | 无 | +--- + +#### 实例分割模型 + + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-------------|---------|------------------------------------|------------| +| YOLOV8-SEG | OnnxRuntime | Ultralytics在COCO 数据集 上训练的模型 | [Github](https://docs.ultralytics.com/zh/tasks/segment/) | +| YOLOV11-SEG | OnnxRuntime | Ultralytics在COCO 数据集 上训练的模型 | [Github](https://docs.ultralytics.com/zh/tasks/segment/) | +| Mask R-CNN | MXNet | Mask R-CNN 是一种在目标检测基础上，同时为每个物体生成像素级分割区域的深度学习模型 | 无 | + + +#### CLIP模型(Connecting text and images) + + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-------------|-------------|--------------------|------------| +| clip-vit-base-patch32 | PyTorch | openai的图片及文本特征提取模型 | [Github](https://github.com/openai/CLIP) | + +--- + +#### OBB旋转框目标检测模型 + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-------------|---------|--------------------------------|------------| +| YOLOV11-OBB | OnnxRuntime | Ultralytics在DOTAv1 数据集 上训练的模型、通过引入一个额外的角度来更准确地定位图像中的对象 | [Github](https://docs.ultralytics.com/zh/tasks/segment/) | +--- + +#### 零样本目标检测模型 + +| 模型名称 | 引擎 | 模型简介 | 模型开源网站 | +|-------------|---------|--------------------------------|----------------------------------------------------------| +| YOLOv8s-worldv2 | PyTorch | 可根据描述性文本检测图像中的任何物体 | [官网](https://docs.ultralytics.com/zh/models/yolo-world/) | +| owlv2-base-patch16 | PyTorch | OWLv2是一种多模态模型，通过结合CLIP的骨干和ViT样的Transformer，实现零样本文本对象检测| [官网](https://huggingface.co/google/owlv2-base-patch16) | +--- + +#### 行人检测模型 + +| 模型名称 | 引擎 | 模型开源网站 | +|-------------|---------|-----| +| YOLOV8_PERSON | OnnxRuntime | [Github](https://github.com/YapaLab/yolo-face) | + +--- + +#### 人类动作识别模型 + +| 模型名称 | 引擎 | +|-------------|---------| +| VIT_BASE_PATCH16 | PyTorch | +| INCEPTIONV3_KINETICS400 | OnnxRuntime | +| INCEPTIONV1_KINETICS400 | OnnxRuntime | +| RESNET_V1B_KINETICS400 | OnnxRuntime | +--- + +#### 姿态估计模型 + + +| 模型名称 | 引擎 | 模型开源网站 | +|--------------|-------------|----------------------------------------------------------| +| YOLO11N-POSE | OnnxRuntime | [Github](https://docs.ultralytics.com/zh/tasks/pose/) | +| YOLO8N-POSE | OnnxRuntime | [Github](https://docs.ultralytics.com/zh/tasks/pose/) | +| SIMPLE_POSE | MXNet | 无 | +--- + +#### OCR 模型 + +支持功能： +- 支持简体中文、繁体中文、英文、日文四种主要语言 +- 手写、竖版、拼音、生僻字 +- 方向矫正 + +**文本检测模型** + +| 模型名称 | 模型简介 | 模型开源网站 | +| ------------| ------------------- |--------------------------------------------------------------------------------------------------------------| +| PP-OCRv5_server_det | 服务端文本检测模型，精度更高，适合在性能较好的服务器上部署 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | +| PP-OCRv5_mobile_det | 轻量文本检测模型，效率更高，适合在端侧设备部署 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | +| PP-OCRv4_server_det | 服务端文本检测模型，精度更高，适合在性能较好的服务器上部署 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | +| PP-OCRv4_mobile_det | 轻量文本检测模型，效率更高，适合在端侧设备部署 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | + +**文本识别模型** + +| 模型名称 | 模型简介 | 模型开源网站 | +| ------------|----------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------| +| PP-OCRv5_server_rec | （服务端）致力于以单一模型高效、精准地支持简体中文、繁体中文、英文、日文四种主要语言，以及手写、竖版、拼音、生僻字等复杂文本场景的识别。在保持识别效果的同时，兼顾推理速度和模型鲁棒性，为各种场景下的文档理解提供高效、精准的技术支撑。 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | +| PP-OCRv5_mobile_rec | （轻量）致力于以单一模型高效、精准地支持简体中文、繁体中文、英文、日文四种主要语言，以及手写、竖版、拼音、生僻字等复杂文本场景的识别。在保持识别效果的同时，兼顾推理速度和模型鲁棒性，为各种场景下的文档理解提供高效、精准的技术支撑。 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | +| PP-OCRv4_server_rec | （服务端）推理精度高，可以部署在多种不同的服务器上 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | +| PP-OCRv4_mobile_rec | （轻量） 效率更高，适合在端侧设备部署 | [Github](https://github.com/PaddlePaddle/PaddleOCR/blob/main/docs/version3.x/algorithm/PP-OCRv5/PP-OCRv5.md) | + + +**文本方向分类模型(cls)** + +| 模型名称 | 模型简介 | 模型开源网站 | +| ------------|------------------------------|------------| +| ch_ppocr_mobile_v2.0_cls | 原始分类器模型，对检测到的文本行文字角度分类 | [Github](https://paddlepaddle.github.io/PaddleOCR/latest/en/version2.x/ppocr/model_list.html?h=models+list#13-multilingual-detection-model) | +| PP_LCNET_X0_25 | （轻量）基于PP-LCNet_x0_25的文本行分类模型 | [Github](https://paddlepaddle.github.io/PaddleOCR/v3.1.0/version3.x/module_usage/textline_orientation_classification.html) | +| PP_LCNET_X1_0 | 基于PP-LCNet_x1_0的文本行分类模型 | [Github](https://paddlepaddle.github.io/PaddleOCR/v3.1.0/version3.x/module_usage/textline_orientation_classification.html) | + + +**表格结构识别(Table Structure Recognition)** + +| 模型名称 | 模型简介 | 模型开源网站 | +| ------------|------------------------------|------------| +| SLANet | 该模型通过轻量级骨干 PP-LCNet、CSP-PAN 融合与 SLA Head 解码，有效提升表格结构识别的精度与速度。 | [Github](https://paddlepaddle.github.io/PaddleOCR/v3.1.0/version3.x/module_usage/table_structure_recognition.html#_3) | +| SLANet_plus | （增强版）该模型通过轻量级骨干 PP-LCNet、CSP-PAN 融合与 SLA Head 解码，有效提升表格结构识别的精度与速度。 | [Github](https://paddlepaddle.github.io/PaddleOCR/v3.1.0/version3.x/module_usage/table_structure_recognition.html#_3) | + + +**车牌检测模型(License Plate Detection)** + +| 模型名称 | 模型简介 | 模型开源网站 | +|---------|--------------------------|------------| +| YOLOV5 | 基于YOLOV5训练，支持12种中文车牌 | [Github](https://github.com/we0091234/Chinese_license_plate_detection_recognition) | +| yolov7-lite-t | （超小型模型）YOLOv7-Lite 架构的轻量级车牌检测模型 | [Github](https://github.com/we0091234/Chinese_license_plate_detection_recognition) | +| yolov7-lite-s | YOLOv7-Lite 架构的轻量级车牌检测模型 | [Github](https://github.com/we0091234/Chinese_license_plate_detection_recognition) | + + +**车牌识别模型(License Plate Recognition)** + +| 模型名称 | 模型简介 | 模型开源网站 | +|--------|------------|------------| +| PLATE_REC_CRNN | CRNN中文字符识别 | [Github](https://github.com/Sierkinhane/CRNN_Chinese_Characters_Rec) | + + +--- + +#### 机器翻译模型 + +支持功能 +- 200多语言互相翻译 + +| 模型名称 | 模型简介 | 模型官网 | +|---------------|-----------------------------------------|-----------------------------------------------| +| NLLB-200 | Meta AI 开发的一个先进的单一多语言机器翻译模型 | [Github](https://github.com/facebookresearch/fairseq/tree/nllb) | +| OPUS_MT_ZH_EN | Helsinki-NLP团队开发的中英翻译模型，基于Transformer架构 | [huggingface](https://huggingface.co/Helsinki-NLP/opus-mt-zh-en) | +| OPUS_MT_EN_ZH | Helsinki-NLP团队开发的英中翻译模型，基于Transformer架构 | [huggingface](https://huggingface.co/Helsinki-NLP/opus-mt-en-zh) | + +--- + +#### 语音识别模型(ASR) + +这里仅介绍模型的开源项目，每个开源项目通常包含多个具体模型，本文不逐一列出。 + +| 模型名称 | 模型简介 | 模型官网 | +|---------|-------------------------------------------------------------------------|-----------------------------------------------| +| Whisper | OpenAI 开源的通用语音识别（ASR）模型，支持多语言转写和翻译，具有较高的识别精度，尤其在嘈杂环境中表现良好，适合离线和批量音频处理。 | [Github](https://github.com/ggml-org/whisper.cpp) | +| Vosk | 一个轻量级离线语音识别工具包，支持多种语言和平台（包括移动端与嵌入式设备），可在低资源环境中运行，适合实时语音识别场景。 | [Github](https://github.com/alphacep/vosk-api) | +| sherpa-onnx | Sherpa-ONNX 是一个基于 ONNX Runtime 的ASR 及 TTS 推理框架 | [Github](https://github.com/k2-fsa/sherpa-onnx) | + +#### 语音合成模型(TTS) + +这里仅介绍模型的开源项目，每个开源项目通常包含多个具体模型，本文不逐一列出。 + +| 模型名称 | 模型简介 | 模型官网 | +|---------|-------------------------------------------------------------------------|-----------------------------------------------| +| sherpa-onnx | Sherpa-ONNX 是一个基于 ONNX Runtime 的ASR 及 TTS 推理框架 | [Github](https://github.com/k2-fsa/sherpa-onnx) | + + +--- + +## 🙏 鸣谢 + +本项目在开发过程中借鉴或使用了以下优秀开源项目，特此致谢： + +- **[Deep Java Library](https://docs.djl.ai)** +- **[AIAS](https://gitee.com/mymagicpower/AIAS)** + +## 联系方式 + +如您在使用过程中有任何问题、建议，或希望进行技术交流与合作，欢迎添加微信与我联系，并加入用户交流群。 + +- **微信**: deng775747758 （请备注：SmartJavaAI） +- **Email**: 775747758@qq.com + + +🚀 **如果这个项目对你有帮助，别忘了点个 Star ⭐！你的支持是我持续优化升级的动力！** ❤️ + +## 献代码的步骤 + +1、在Gitee或者Github/Gitcode上fork项目到自己的repo + +2、把fork过去的项目也就是你的项目clone到你的本地 + +3、修改代码（记得一定要修改dev分支） + +4、commit后push到自己的库（dev分支） + +5、登录Gitee或Github/Gitcode在你首页可以看到一个 pull request 按钮，点击它，填写一些说明信息，然后提交即可。 + +6、等待维护者合并 + + +