A5-基于 MySQL 的轻量级数据去重系统

基于 MySQL 的轻量级数据去重系统，支持 CSV/XLSX 数据导入、智能去重、数据加密及仓库管理。

有详细的搭建教程

## ✨ 核心功能

### 🔄 数据去重

支持三种数据输入方式：

| 方式 | 说明 | 格式 |
|——|——|——|
| 📁 上传文件 | 直接上传表格文件 | CSV / TXT / TSV / XLSX |
| 📋 粘贴数据 | 复制粘贴逗号分隔数据 | 逗号/制表符分隔 |
| ✏️ 手动输入 | 逐行手动录入数据 | 每行一条 |

### 🏗️ 双仓库体系

| 仓库类型 | 用途 | 说明 |
|———-|——|——|
| 📦 去重数据仓库 | 执行数据去重 | 支持加密存储、批次管理、结果下载 |
| 🗂️ 原始数据仓库 | 存储原始数据文件 | 不参与去重，仅做文件管理 |

### 🔒 数据安全

– **AES-256-CBC 加密存储**：可选对去重仓库数据进行加密
– **Session 登录验证**：验证码保护，多设备互踢
– **管理员权限体系**：支持多管理员，可增删账号

### 📊 数据统计

– 首页仪表盘：9 项核心数据总览
– 仓库级统计：总数据、保留、重复、去重率
– 去重历史：每次去重的完整记录

### ⬇️ 数据导出

– 单个仓库：总数据 / 保留数据 / 重复数据 均可 CSV 下载
– 去重结果：每次去重结果可单独下载查看