Memoey Hierarchy
Contents1存储器技术Memory Technology存储技术之间的关系The relationship between memory technologies存储器层次结构一般框架 A common Framework for Memory HierarchySRAMDRAM闪存Flash磁盘存储器Disk Storage2.cache基本原理和组织Fundamentals and Organization性能优化Performance Optimizations存储规则政策 Advanced Replacement Policies缓存一致性Cache CoherenceCache分块和矩阵算法 Going Faster: Cache Blocking and Matrix Multiply3,虚存储器Virtual Memory加快地址转换:TLB4,RISC-V指令系统RISC-V instruction system内存访问排序控制状态寄存器访问系统5.DGEMM优化DGEMM optimization结合cache分块和子字并行1存储器技术Memory...
SESS: Saliency Enhancing with Scaling and Sliding
论文阅读分享已同步至知乎,全文请移步知乎Link 来自SAIVT Lab, Queensland University of Technology, Australia的一篇关于优化图像目标识别的工作。 Background 背景部分1 Saliency maps 显著图在计算机视觉中,显著图是一种突出显示人们的眼睛首先关注的区域或机器学习模型最相关区域的图像。 参考 VGG2014:Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps知乎 2 Class Activation Mapping 类激活映射 类别激活图只是这些视觉模式在不同空间位置的存在的加权线性和。通过简单地将类别激活图上采样到输入图像的大小,我们就可以识别与特定类别最相关的图像区域。 参考Learning Deep Features for Discriminative Localization知乎 Deep Saliency Methods...
DaDianNao: A Machine-Learning Supercomputer
知乎原文 文章《DaDianNao: A Machine-Learning Supercomputer》介绍了一种专为机器学习设计的高性能计算架构——DaDianNao,它通过独特的内存管理方式解决了神经网络计算中的关键瓶颈,特别是在处理全连接层时的内存带宽限制问题。DaDianNao系统利用多芯片分布式存储和高密度eDRAM(嵌入式动态随机存取内存)来优化存取模式,显著提高处理大型神经网络模型的效率。 该系统采用“分块(tiling)”策略来减少内存流量和提高操作能效,通过将数据划分为较小的块或“瓦片”,并行处理这些瓦片,以最大化数据复用并减少频繁的内存访问。每个瓦片有其专用的缓冲区和处理单元,这有助于快速且能效地完成计算。 此外,DaDianNao还包含特定的硬件组件,如神经功能单元(NFU),该单元专为执行神经网络操作而设计,能够支持包括卷积和池化在内的多种操作,是系统实现高计算密度和性能提升的关键。 总的来说,DaDianNao通过其创新的内存和计算架构,在处理复杂的机器学习模型方面,比传统的CPU和GPU架构具有明显的优势。
Open MPI setting
如何Open MPI:确保在编译 Open MPI 时启用了 InfiniBand 支持。要确保 Open MPI 在编译时启用了 InfiniBand 支持,你需要在安装过程中包括对 InfiniBand 驱动(如 OFED)和相关库(如 RDMA CM 和 Verbs)的支持。下面是详细的步骤,这些步骤假设你从源代码编译 Open MPI: 安装 InfiniBand 依赖项在编译 Open MPI 之前,你需要确保安装了所有必要的 InfiniBand 开发库。这通常包括但不限于 libibverbs,librdmacm 等。在大多数 Linux 发行版中,你可以使用包管理器来安装这些: 对于基于 Debian 的系统(如 Ubuntu): 1$ sudo apt-get install libibverbs-dev librdmacm-dev 对于基于 RHEL 的系统(如 CentOS): 1$ sudo yum install libibverbs-devel rdma-core-devel 下载 Open MPI 源代码你可以从 Open MPI...
Hello World
Welcome to HeatherHong! This is my very first post. Check documentation for more info. If you get any problems, you can leave comment in comment or you can ask me on GitHub. Quick StartCreate a new post1$ hexo new "My New Post" More info: Writing Run server1$ hexo server More info: Server Generate static files1$ hexo generate More info: Generating Deploy to remote sites1$ hexo deploy More info: Deployment
