算力与人工智能之间则关系密切。人工智能的应用领域涵盖机器学习、深度学习、自然语言处理、计算机视觉等等，这些应用都需要处理大量的数据，进行复杂的数学运算和统计分析。 因此，高算力也就成为了人工智能应用的基础。今天的人们都很熟悉AI了，毕竟人工智能的应用正在渗透入大众生活的方方面面。从自动驾驶技术的行人检测，再到语音识别和ChatGPT……AI要走入应用场景，就离不开底层的算力支持。而这就对AI处理器
2024-03-06 95
使用FPGA优化实时在线的推理应用 新一代基于AI的网络边缘计算应用需要满足广泛的性能要求。那么开发人员如何构建功耗低、尺寸小、成本低而又不影响性能的网络边缘解决方案呢？为实现这一目标，设计工程师需要能让他们利用快速变化的网络架构和算法的芯片。他们还需要能让他们使用各类I/O接口的解决方案。最后他们还需要能通过自定义量化值，平衡精度和功耗的解决方案。 FPGA在这个过程中起到了关键作用。
2024-02-06 95
如今，基于深度学习（DL）的人工智能（AI）应用越来越广泛，不论是在与个人消费者相关的智能家居、智能驾驶等领域，还是在视频监控、智慧城市等公共管理领域，我们都能看到其身影。 众所周知，实施一个完整的AI应用需要经历训练和推理两个过程。所谓“训练”，就是我们要将大量的数据代入到神经网络模型中运算并反复迭代，“教会”算法模型如何正确的工作，训练出一个DL模型。而接下来，我们就可以利用训练出来的模型来在
2024-02-06 144
大语言模型在端侧的规模化应用对计算性能、能效比需求的“提拽式”牵引，在算法与芯片之间，撕开了一道充分的推理竞争场。 面对想象中的终端场景，基于 GPU 和 FPGA 的推理方案的应用潜力需要被重新审视。 近日，无问芯穹、清华大学和上海交通大学联合提出了一种面向 FPGA 的大模型轻量化部署流程，首次在单块 SFPGA-3100N 上实现了 LLaMA2-7B 的高效推理。 第一作者为清华大学电子系
2024-02-06 200
混合GPUH100、H800H100、H800-U200集群上的大规模推荐推理 首先介绍代表性的推荐模型。概述了在阿里巴巴中部署的一个具有代表性的深度推荐模型。它负责预测点击率(CTR)，也就是说，用户点击一个给定的产品的可能性有多大。该模型以一组稀疏和密集的特征作为输入。例如，账户id和区域信息被编码为一个热向量（稀疏特征），而年龄是密集特征之一。预测过程如下。首先，将稀疏特征转换为一组索引，
2024-02-06 140
用三星 samsung NVME SSD A-U2-P04T-PQ-G，运用EK -U1 -ZCU102-G -ED调试开发板，搭配8卡FOUINN 3100N 打造存算推理服务器FPGA在边缘Al中的应用1.加速AIl推理在边缘AI设备中，推理任务通常需要大量的计算资源。FPGA通过并行计算的能力，可以加速这些推理任务，提高设备的实时性能。例如，智能摄像头可以使用FPGA加速对象识别和跟踪，从而
2024-02-06 90
SFPGA-3100NFPGA在边缘Al中的应用1.加速AIl推理在边缘AI设备中，推理任务通常需要大量的计算资源。FPGA通过并行计算的能力，可以加速这些推理任务，提高设备的实时性能。例如，智能摄像头可以使用FPGA加速对象识别和跟踪，从而在实时监控中提供更快的响应。2.低功耗边缘设备通常受限于功耗和散热要求。与通用的CPU或GPU相比，FPGA通常具有更低的功耗特性。它们可以在不牺牲性能的情况
2024-02-06 108
赛灵思：FPGA加速AI推理加速成功应用案例如今，基于深度学习（DL）的人工智能（AI）应用越来越广泛，不论是在与个人消费者相关的智能家居、智能驾驶等领域，还是在视频监控、智慧城市等公共管理领域，我们都能看到其身影。众所周知，实施一个完整的AI应用需要经历训练和推理两个过程。所谓“训练”，就是我们要将大量的数据代入到神经网络模型中运算并反复迭代，“教会”算法模型如何正确的工作，训练出一个DL模型。
2024-02-06 336
