登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
Gitee 2025 年度开源项目评选中
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
7
Star
0
Fork
18
src-openEuler
/
librepo
代码
Issues
1
Pull Requests
0
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
reposync并行检查本地已经存在的rpm
新建
#ICW9WK
需求
majianhan
创建于
2025-09-04 09:47
【特性描述】 为 reposync 在“跳过已下载 RPM 的校验阶段”(存在性/大小/校验和)引入并行处理能力: 通过可配置的并发度同时校验多个本地包(例如 --verify-workers=N),默认按系统资源与 I/O 类型自适应(I/O 密集优先)。 对 NAS 挂载(NFS/SMB/CephFS 等)或高时延/高吞吐存储,提升“已下载包跳过判断”的整体速度,减少无效等待。 功能等价于现有串行逻辑,不改变结果,仅优化执行效率与耗时,并保持日志与错误处理的可读性。 【特性竞争力】 显著提速:在高时延存储(NAS)场景下,跳过阶段可获得成倍加速,缩短仓库同步窗口。 资源利用更优:用并行 I/O 隐藏网络/存储时延,充分利用带宽与多核计算能力。 大规模友好:面对包含几十万包的大仓库时,稳定降低校验耗时,提高自动化镜像任务的可靠性与可预期性。 易于落地:以参数开关与合理默认值集成,向下兼容,对现有脚本改动最小。 P.S. 由于dnf-plugins-core的reposync的包下载校验等最终是从dnf->libdnf->librepo调到librepo的代码lr_download_packages,这个函数包括每个包的预检查,检验,续传判定,跳过等。整套逻辑都是一起的,dnf-plugins-core没办法单独修改跳过检验。可以给librepo提个issue,评估下是否可以可以改成并行处理。
【特性描述】 为 reposync 在“跳过已下载 RPM 的校验阶段”(存在性/大小/校验和)引入并行处理能力: 通过可配置的并发度同时校验多个本地包(例如 --verify-workers=N),默认按系统资源与 I/O 类型自适应(I/O 密集优先)。 对 NAS 挂载(NFS/SMB/CephFS 等)或高时延/高吞吐存储,提升“已下载包跳过判断”的整体速度,减少无效等待。 功能等价于现有串行逻辑,不改变结果,仅优化执行效率与耗时,并保持日志与错误处理的可读性。 【特性竞争力】 显著提速:在高时延存储(NAS)场景下,跳过阶段可获得成倍加速,缩短仓库同步窗口。 资源利用更优:用并行 I/O 隐藏网络/存储时延,充分利用带宽与多核计算能力。 大规模友好:面对包含几十万包的大仓库时,稳定降低校验耗时,提高自动化镜像任务的可靠性与可预期性。 易于落地:以参数开关与合理默认值集成,向下兼容,对现有脚本改动最小。 P.S. 由于dnf-plugins-core的reposync的包下载校验等最终是从dnf->libdnf->librepo调到librepo的代码lr_download_packages,这个函数包括每个包的预检查,检验,续传判定,跳过等。整套逻辑都是一起的,dnf-plugins-core没办法单独修改跳过检验。可以给librepo提个issue,评估下是否可以可以改成并行处理。
评论 (
2
)
登录
后才可以发表评论
状态
新建
新建
已接纳
已挂起
设计中
开发中
已完成
已验收
已拒绝
负责人
未设置
标签
sig/Base-service
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (29)
标签 (24)
master
openEuler-20.03-LTS-SP4
openEuler-22.03-LTS-SP4
openEuler-24.03-LTS-SP2
openEuler-24.03-LTS-Next
openEuler-24.03-LTS-SP3
openEuler-24.03-LTS
openEuler-22.03-LTS-SP3
openEuler-24.03-LTS-SP1
openEuler-25.09
openEuler-25.03
openEuler-23.09
openEuler-24.09
openEuler-23.03
openEuler-22.03-LTS-Next
openEuler-22.03-LTS-SP1
openEuler-22.03-LTS-SP2
openEuler-22.03-LTS
openEuler-22.09
openEuler-20.03-LTS-SP2
openEuler-21.09
openEuler-20.03-LTS-Next
openEuler-20.03-LTS-SP3
openEuler-20.03-LTS-SP1
openEuler-21.03
openEuler-20.09
openEuler-20.03-LTS
openEuler1.0
openEuler1.0-base
openEuler-25.09-release
openEuler-24.03-LTS-SP2-release
openEuler-25.03-release
openEuler-24.03-LTS-SP1-release
openEuler-22.03-LTS-SP4-release
openEuler-24.09-release
openEuler-24.03-LTS-release
openEuler-22.03-LTS-SP3-release
openEuler-23.09-rc5
openEuler-22.03-LTS-SP1-release
openEuler-22.09-release
openEuler-22.09-rc5
openEuler-22.09-20220829
openEuler-22.03-LTS-20220331
openEuler-22.03-LTS-round5
openEuler-22.03-LTS-round3
openEuler-22.03-LTS-round2
openEuler-22.03-LTS-round1
openEuler-20.03-LTS-SP3-release
openEuler-20.03-LTS-SP2-20210624
openEuler-21.03-20210330
openEuler-20.09-20200928
openEuler-20.03-LTS-20200606
openEuler-20.03-LTS-tag
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
预计工期
(小时)
参与者(1)
1
https://gitee.com/src-openeuler/librepo.git
git@gitee.com:src-openeuler/librepo.git
src-openeuler
librepo
librepo
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册