Roger-Lv's space

程序员社区项目 开发模式 前后端分离，后端负责所有的设计、接口的定义，后端先行，前端协同，通过接口文档，采用apifox的文档进行对接。 敏捷开发，版本上线迭代，需求分析->功能设计->详细设计->编码实现。 开发工具 后端：IDEA 前端：VSCode 项目管理：giteazycode 包依赖管理：Maven3.6.0 数据库：Mysql5.7 数据库连接池和监控库：Druid 框架：Springboot 2.4.2 数据库图形化：Navicat 接口管理工具：APIPost7 Redis桌面工具：RedisDesktop 表建模：PDManager 原型设计：axure8 原型组件库: antdesign 代码生成器：easycode（idea的plugin市场） 一些插件：mybatis（类->dao->数据库），easycode（由数据库表生成相应代码）, preconditions（参数校验） node.js 架构设计 传统项目 [SpringMVC框架（详解）-CSDN博客](https://blog.csdn.net/H2003101...

Rust异步编程 123456789101112let mut handles = Vec::new();for index in 1..=100 { let handle = tokio::spawn( async_http_client.get(format!("www.example.com/items/{}", index)) ); handles.push(handle);}for handle in handles { let result = handle.await;} 比较使用异步编写的示例与同步编写的相同示例 - 对于大量并发 Web 请求，异步版本比同步请求快约 60%

Rust基础学习 Learn Rust - Rust Programming Language (rust-lang.org) 【一起学Rust】Rust介绍与开发环境搭建_rust开发-CSDN博客 包管理工具：cargo 命令行： cargo new [name]：创建一个新的Rust项目 cargo build：构建项目 cargo run：运行项目 cargo test：运行测试 cargo doc：生成文档 cargo update：更新依赖项 cargo clean：清除构建输出 cargo publish：将软件包发布到crates.io上 cargo install [package]: 安装指定软件包 cargo uninstall [package]: 卸载指定软件包 Rust 全面指南：从基础到高级，一网打尽 Rust 的编程知识_rust语言-CSDN博客 语法 变量声明 1234567//定义变量可以使用let关键字，例如：let x = 10; //会被自动推断为i32类型let y: i32 = 20;//上述默认为不可变变量,若要可变变量需要加...

Lecture2-RPC and Threads 2.1 GO语言 ❓ why we use go in this class 1️⃣ go提供类许多便捷的工具，如threads、锁以及线程间同步。此外，还有RPC包也十分重要。 2️⃣ go是type safe 以及memory safe的，其垃圾回收机制（garbage collected）十分有效 3️⃣ threads + GC 是十分具有吸引力的 2.2 threads 2.2.1 为什么要关注多线程 📖 多线程是在本课程中实现并发的一个重要工具，在分布式系统中，并发十分有趣。比较常见的情况是：一个程序需要同时和多台计算机（a bunch of other computers）通信，客户端可能会同时和多台服务器通信，一台服务器可能会同时响应来自不同客户端的多条请求。假如我的程序同时有 7 件不同的事情在进行，我想要一种简单的方式实现它能同时做 7 件不同的事情，多线程就能很好的解决它。 在 Go 的文档中，它把线程称为 goroutine，goroutine 真的很像大家所说的线程。 2.2.2 如何理解多线程 假设有...

Lecture 3-GFS [(289条消息) 谷歌文件系统GFS理解_小炮车的博客-CSDN博客_google文件系统gfs](https://blog.csdn.net/SwjtuPC/article/details/123652626?ops_request_misc=&request_id=&biz_id=102&utm_term=GFS PRIMARY&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-123652626.142^v47^pc_rank_34_ctr25,201^v3^add_ask&spm=1018.2226.3001.4187) 这门课程的主要内容是“大型存储”，GFS是这门课里有关如何构建大型存储系统的众多案例学习的第一篇。存储是一种关键的抽象，很多系统要么是设计的简单易用的存储接口，要么是基于底层存储进而构建。在分布式系统中，可能有各种各样重要的抽象可以应用在分布式系统中，但是实际上，简单的存储接...

CoRE-learning：Learnability with Time-Sharing Computational Resource Concerns ‍https://doi.org/10.1093/nsr/nwae204‍ 一般认为，人工智能机器学习技术应用涉及算法、数据、算力“三要素”。经典机器学习理论关注算法与数据对学习性能的影响，推导出的机器学习泛化误差界所包含的重要项通常涉及假设类复杂度和样本复杂度，两者分别与算法和数据有关，而对“三要素”中的算力缺乏考虑，尽管现实场景中算力资源的供给分配直接影响到最终学习性能。 在近期发表于《国家科学评论》（National Science Review, NSR）的Perspective文章中，南京大学周志华教授提出了“计算资源高效学习（CoRE-learning）”理论框架，这是第一个考虑了算力资源供给调度对机器学习性能影响的学习理论框架。 CoRE理论框架： 作者定义了“机器学习吞吐率”并引入了对资源动态分配调度策略的考虑，使得算力资源的供给分配对机器学习泛化性能的影响可以被抽象地在学习理论中进行研究，不仅有助于指导设计出...

MIT 6.824: Lecture 1-Introduction Lecture 1-Introdunction 1.1为什么分布式： 连接不同物理实体 通过隔离实现安全 通过复制实现容错 并行的cpu、mem、disk、net实现扩展 1.2分布式系统： Hadoop（ hdfs , yarn , MapReduce ) Spark 批处理 Storm ， Flink 流处理 Hbase K/V分布式数据库 Kafka 消息队列 1.3Lab: 1-MapReduce 2-Raft:管理复制和剔除 3-k/v server 4-shard k/v service 1.4 Infrastructure-Abstraction storage :star: communications computation-MapReduce 1.5 Implementation: examples: RPC, Threads,Lock 1.6Performance: scalability-> 2 * computers-> 2 * throughput 1.7 Faul...

日本数据基础设施-调研 1）法律法规 促进数据流通与利用基本法 日本的促进数据流通与利用基本法并不是一个单独的具体法律名称，而是对日本在数据流通与利用方面进行的一系列法律和政策探索的统称。以下是一些关键点，概述了日本在这一领域的实践和政策框架： 多方协作机制 : 日本通过政府、产业界和行业协会的协作，推动数据流通与利用。政府层面成立新机构专项推进，如“数字厅”取代IT综合战略本部，统筹推进全国数字社会建设、数字化转型。 《综合数据战略》 : 数字厅作为责任部门推动实施《综合数据战略》，旨在建立一个放心高效的数据使用机制，推动数据在国内以及跨国安全、高效流通。 数据基础设施建设 : 产业层面积极建设数据基础设施、研发数据安全技术、建设数据交易市场。例如，NTT集团构建数据协作平台——全球可信数据空间，推动跨企业、跨行业、跨国界的数据利用与协作。 数据社会联盟 : 成立数据社会联盟，对产业数据空间等领域的技术标准进行规范，推进数字技术研发和数据流通领域标准及规范的建立。目前正在开发跨学科的数据协作平台DATA-EX。 数据流通利用基础 : 日本政府以及各行业组织在...

案例研究 7.1 分布式文件系统 GFS (459条消息) 什么是簇：什么是卷_tianwailaibin的博客-CSDN博客 【MIT 6.824】学习笔记 3: GFS - 知乎 (zhihu.com) 7.2 分布式协调服务 Zookeeper 什么是ZooKeeper？ - 知乎 (zhihu.com) zookeeper原理详解 - 知乎 (zhihu.com) [Zookeeper纸上谈兵——Zookeeper与CAP原则-CSDN博客](https://blog.csdn.net/qq_38194699/article/details/109016025?ops_request_misc={"request_id"%3A"171939403416800178545807"%2C"scm"%3A"20140713.130102334.pc_all."}&request_id=171939403416800178545807&biz_id=0&utm_medium=...

分布式系统基础 3.1 分区 在分布式系统中，分区是指将数据分成若干个部分，分别存储在不同的节点上，以达到提高系统性能和可扩展性的目的。分区是分布式系统中数据管理的基础。 在分区中，通常采用哈希算法对数据进行划分。具体来说，首先根据数据的某个属性进行哈希计算，得到一个哈希值，然后将这个哈希值映射到某个节点上，将对应的数据存储到这个节点上。通过这种方式，相同属性的数据会被分配到同一个节点上，从而提高数据访问的效率。 分区可以带来以下好处： 提高系统的可扩展性：由于数据被分割成多个部分，每个部分可以分别存储在不同的节点上，因此可以更容易地进行横向扩展，增加节点数量来提高系统的处理能力。 提高系统的性能：由于相同属性的数据被分配到同一个节点上，因此可以更快地访问这些数据，从而提高系统的处理效率。 提高系统的容错性：当某个节点发生故障时，只有该节点上的数据会受到影响，而其他节点上的数据仍然可以正常访问，从而提高了系统的容错性。 但是，分区也会带来一些挑战和问题，如数据的一致性和分区策略的选择等。因此，在设计分布式系统时，需要仔细考虑分区策略和数据一致性等问题，以确保系统的正确性和稳定...