持久内存+RDMA让远程数据不再远-总结

VIP文章 2020-11-01 12:32:17 129 收藏
文章标签： 数据库 java 大数据 算法 python
最后发布:2020-11-01 12:32:17首次发布:2020-11-01 12:32:17
版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanzongshuai/article/details/109475304
版权

持久内存-RDMA让远程数据不再远

第一届「中国云计算基础架构开发者大会」（以下简称 CID）将在 2020 年 10 月 25 日举办。会中看到有新硬件PM结合RDMA的议题，这是数据库方面前沿技术，对下一代数据库发展有重要影响。听后进行总结。

正文

包括以下几个议题：PRMEM是什么、技术细节、性能、使用场景及开发的库。

1、什么是PMEM

本文为VIP专属文章，单击开通VIP
已标记关键词 清除标记
[SPDK/NVMe存储技术分析]008 - RDMA概述
weixin_30564785的博客
11-28 618
毫无疑问地，用来取代iSCSI/iSER(iSCSI Extensions for RDMA)技术的NVMe over Fabrics着实让RDMA又火了一把。在介绍NVMe over Fabrics之前，先科普一下RDMA。 1. DMA和RDMA的概念 1.1 什么是DMA? Direct Memory Access(DMA) is a capability provided that ...
表情包
插入表情
还能输入1000个字符 “速评一下”
SparkRDMA：使用RDMA技术提升Spark的Shuffle性能
Hadoop技术博文
11-16 2348
如下面的图片看不清，请参见 https://www.iteblog.com/archives/1964.html，或点击下面阅读原文即可。 Spark Shuffle 基础 在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节
分布式持久内存文件系统Octopus（ATC-17 ）分析（二）
Meditator_hkx的博客
01-30 1468
清华课题 Octopus 源码分析（二） 前言 论文摘要 设计框架 源码分析 include 头文件 Configuration.hpp common.hpp bitmap.hpp debug.hpp lock.h table.hpp global.h mempool.hpp hashtable.hpp storage.hpp filesystem.hpp TxManager.hpp Rdma...
分布式持久内存文件系统Octopus（ATC-17 ）分析（一）
Meditator_hkx的博客
01-25 2476
清华课题 Octopus 源码分析一 前言 论文摘要 设计框架 源码分析 清华课题 Octopus 源码分析（一） 前言 由于项目工作的需要，我们团队阅读了清华在文件系统方面的一个比较新颖的工作：Octopus。Octopus是一个基于持久内存 NVM 和远程直接内存访问 RDMA 技术的分布式内存文件系统。清华的陆游游老师现已将代码开源，可 点击此处 阅读。 这一工作
国民度No.1，Python到底做了什么？
CSDN学院
01-20 1万+
毫无疑问，Python 是当下最火的编程语言之一。可以说 Python 的崛起，将编程提高了一个层次，它不再只是程序员专用，各个岗位都在学习 Python，导致普及度和国民度瞬间上升，Python 对整个行业来说都是极其有利的。 正如 TIOBE 官方评价：Python 无处不在，其实自 2018 年开始，各行各业便开始布局 Python。 在教育界， 1、自 2018 年 3 月起，在计算机二级考试加入了“Python 语言程序设计”科目； 2、2018 年，浙江省信息技术教材宣布弃用 VB 语言
分布式持久内存文件系统Octopus（ATC-17 ）分析（四）
Meditator_hkx的博客
03-20 692
清华课题 Octopus 源码分析四 前言 论文摘要 设计框架 src目录源码分析 fs 模块 bitmapcpp lockcpp hashtablecpp storagecpp TxManagercpp filesystemcpp清华课题 Octopus 源码分析（四）前言由于项目工作的需要，我们团队阅读了清华在文件系统方面的一个比较新颖的工作：Octopus。Octopus是一个基于持久内存 N
分布式持久内存文件系统Octopus（ATC-17 ）分析（五）
Meditator_hkx的博客
03-22 935
清华课题 Octopus 源码分析（五） 前言 论文摘要 设计框架 src目录源码分析 fs 模块 TxManager.cpp filesystem.cpp 清华课题 Octopus 源码分析（五） 前言 由于项目工作的需要，我们团队阅读了清华在文件系统方面的一个比较新颖的工作：Octopus。Octopus是一个基于持久内存 NVM 和远程直接内存访问 RDMA...
分布式持久内存文件系统Octopus（ATC-17 ）分析（三）
Meditator_hkx的博客
03-19 579
清华课题 Octopus 源码分析（三） 前言 论文摘要 设计框架 源码分析 include 头文件 src 源文件 fs 模块 net 模块 client 模块 tools 模块 文件依赖关系分析 函数依赖关系分析 典型工作流程 清华课题 Octopus 源码分析（三） 前言 由于项目工作的需要，我们团队阅读了清华在文件系统方面的一个比较新颖的工作：Octopus...
RDMA分布式存储系统
ant的博客
03-13 2494
文献：基于RDMA的分布式存储系统研究综述 作者：陈游旻 RDMA是远程直接内存访问，是为了解决网络传输中服务器端数据处理的延迟而产生的。在对方主机cpu不参与的情况下远程读写异地内存，无内核干预和内存拷贝发生。起初，只应用在高性能计算领域，最近，由于在大规模分布式系统和数据中心中网络瓶颈越来越突出，逐渐走进越来越多人的视野。 硬件要求： 1. cpu和网卡都需要有独立的缓存系统 2. ...
一周一论文（翻译 总结）—— [DSN 18] RDMC A Reliable RDMA Multicast for Large Objects :一个面向大型对象的可靠的RDMA广播框架
Master-TJ的个人博客
11-14 976
目录 Abstract 1.Introduction 2. Background On RDMA 3. High level RDMC summary 4. System Design 4.1 External API 4.2 Architectural Details 4.3 Protocol 4.6 Insights from Using RDMA 5. Experi...
持久内存开发套件(Persistent Memory Development Kit-PMDK) - pmem.io: PMDK
RToax
11-14 87
目录 libpmemobj libpmemblk libpmemlog libpmem libpmem2 libvmem libvmmalloc libpmempool pmempool librpmem librpma libpmemset libvmemcache daxio pmreorder PMDK转换 C ++绑定 pmemkv 持久内存开发套件(pmdk) - pmem.io:PMDK 永久性存储器开发套件 https://pmem.io/pmdk/.
基于RDMA和NVM的大数据系统一致性协议研究
weixin_45585364的博客
09-09 352
基于RDMA和NVM的大数据系统一致性协议研究吴昊1,2, 陈康1,2, 武永卫1,2, 郑纬民1,21 清华大学计算机科学与技术系，北京 1000842 北京信息科学与...
读《FaSST: Fast, Scalable and Simple Distributed Transactions with Two-sided (RDMA) Datagram RPCs》
weixin_44162667的博客
07-05 343
FaSST: Fast,Scalable and Simple Distributed Transactions with Two-sided Datagram RPCs1 Introduction2 Background2.1 Fast distributed transactions2.2 RDMA3 Choosing networking primitives3.1 Advantage of...
读《Distributed Shared Persistent Memory》
weixin_44162667的博客
06-30 255
Distributed Shared Persistent Memory1 Introduction2 MOTIVATION2.1 Persistent Memory and PM Apps2.2 Shared Memory Applications2.3 Fast Network and RDMA2.4 Lack of Distributed PM Support3 DISTRIBUTED SH...
linux tcp在传输数据的时候断网了_选择最合适的协议 让传输数据更灵敏
weixin_39609527的博客
12-04 1
随着数据的爆发式增长以及移动互联网的快速演进，存储并处理海量数据正成为企业业务增长和保持竞争力的关键因素。为满足高性能存储的高速传输需求，英特尔最新推出了Ethernet 800系列网络适配器，该产品支持三种基于以太网的NVMe over Fabrics实现，即基于iWARP RDMA的NVMe over Fabrics，基于RoCE v2 RDMA的NVMe-oF和基于TCP的NVMe-oF。但...
新型硬件发展趋势及其对数据管理与分析的挑战（上）
idevede的博客
03-02 1万+
CCF于1月11日发布了最新一期《中国计算机科学技术发展报告》，对可群智协同计算、软件智能化开发技术等11个方向的研究进展做了详细介绍和讨论。加入CCF会员登录CCF官网，可在数字图书馆栏目下载和浏览。1 引言数据管理与分析系统的发展离不开硬件和软件技术的进步。硬件和软件是构成计算系统的两大要素，软件技术的发展既可以享受硬件技术升级在性能提升方面带来的直接红利，但又受到硬件自身特点和局限性的制约，...
干货: 五种常见数据复制技术详解
架构师技术联盟
08-01 950
根据IDC的相关数据统计，2018年全球的数据复制存储市场规模就已经超过了500亿美金，而其中而作为数据复制技术重要应用场景的数据备份和恢复软件市场的规模也同样蔚为可观。...
oracle 查询当天的数据_Oracle 发布全球最快的数据库机器 Exadata X8M | Linux 中国
weixin_39616339的博客
12-06 5
Exadata X8M 是第一台具有集成持久内存和 RoCE 的数据库机器。Oracle 还宣布推出 Oracle 零数据丢失恢复设备 X8M(ZDLRA)。-- Longjam DineshworiOracle 发布了新的 Exadata 数据库机器 X8M，旨在为数据库基础架构市场树立新的标杆。Exadata X8M 结合了英特尔 Optane DC 持久存储器和通过融合以太网(Ro...
JindoFS: 云上大数据的高性能数据湖存储方案
weixin_45906054的博客
11-05 99
本场视频链接：https://developer.aliyun.com/live/1546?spm=a2c6h.12873639.0.0.7dcd359fhRnsQ8&groupCode=apachesparkppt观看：https://www.slidestalk.com/AliSpark/0761944点击文末‘阅读原文’可直达链接EMR JindoFS背景计算存储分离已经成为云计算的...
基于机器学习场景，如何搭建特征数据管理中台？
AI科技大本营
01-04 4067
「免费学习 60+ 节公开课：投票页面，点击讲师头像」作者 | 陈迪豪，第四范式资深架构师编辑 | Jane出品 | AI科技大本营（ID：rgznai100）本文为CSDN即将推出的...
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值