设计范例
智能视频分析，使用 Zynq UltraScale+ MPSoC ZCU104 评估套件以及 Xilinx Vitis／Vitis AI，构建智能视频分析解决方案，包括但不仅限于智慧城市、智能零售、ADAS、机器人视觉以及医疗成像等应用。
最新下载
Xilinx此前推出的 Vitis/Vitis AI 统一软件平台，可以让包括软件工程师和 AI 科学家在内的广大开发者都能受益于硬件灵活应变的优势。历经五年、投入总计 1000 个人工年而打造，Vitis 统一软件平台无需用户深入掌握硬件专业知识，即可根据软件或算法代码自动适配和使用赛灵思硬件架构。
最新视频
由Xilinx专家对Vitis/Vitis AI和Vitis 加速库的最新特性介绍和基于Vitis AI的应用案例介绍。
Xilinx 助力2020 WAIC，将展示 Xilinx 在 AI 基数技术中的产品和技术, 本次大会展示的是Xilinx此前推出的 Vitis/Vitis AI 统一软件平台，可以让包括软件工程师和 AI 科学家在内的广大开发者都能受益于硬件灵活应变的优势。
最新博客
本社区致力于为Xilinx 用户及生态合作伙伴提供一个分享、讨论和相互协作解决问题的交流社区，注册即可浏览论坛内容或者参与讨论。在社区论坛中可以浏览感兴趣的话题，也可以建立自己的主题库。同时强烈建议您使用论坛的“搜索”功能，快速找到您需要的答案。
计算机视觉
能够在 Zynq SoC／MPSoC 中实现计算机视觉算法，而 FPGA 则可帮助开发人员创建响应最快且可重配置的视觉导向系统。这些系统每秒每瓦的执行帧速率比基于 GPU 的其它SoC 高 42 倍。在 Zynq 及 FPGA器件 中实现计算机视觉算法，通常需要软硬件团队非常紧密的协作，因而限制了软件开发人员利用技术平台的高性能功能的能力。SDSoCSDSoC 与 OpenCV 库相结合，现已为全新的用户群敞开了使用 Zynq 平台的大门。此外，Xilinx 还将在 2017 年上半年推出支持 OpenVX 图形设计的框架。
OpenCV 库函数对于开发大量计算机视觉应用至关重要。Xilinx 基于 OpenCV 函数的计算机视觉库将帮助您通过 SDx 或 HLxHLx 环境在 FPGA 架构下轻松构建和加速计算机视觉功能。此外，Xilinx 库函数不仅与 OpenCV 一致，而且还针对性能、资源利用和易用性进行了优化。
这些函数从简单（左）到复杂（右）分为三个级别。
| Level 1 | Level 2 | Level 3 | ||
|---|---|---|---|---|
| 绝对差 | 通道合并 | 方框 | 缩放／调整尺寸 | 方向梯度直方图 (HOG) |
| 累积 | 通道提取 | 高斯 | StereoRectify | ORB |
| 累积的平方 | 颜色转换 | 中值 | 仿射变换 | SVM（二进制） |
| 累积加权 | 转换位深度 | 索贝尔 | 视角变换 | OTSU 阈值转换法 |
| 算术加法 | 查表 | 定制卷积 | 快速角点 | 均值转移跟踪 (MST) |
| 算术减法 | 直方图 | LK 密度光流算法 | ||
| 按位：AND、OR、XOR、NOT | 梯度相位 | 扩大 | Harris 角点 | Canny 边缘检查 |
| 像素依次相乘 | 最小／最大位置 | 侵蚀 | 重新映射 | 图像渐增 |
| 积分图像 | 平均值与标准偏差 | 双边 | 平衡直方图 | 颜色检测 |
| 梯度幅值 | 阈值转换法 | StereoLBM | ||
立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC/MPSoC 及 FPGA 设计您的计算机视觉系统 。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
机器学习
机器学习与深度学习得到了开发社区的广泛关注，因为这是一项可为嵌入式视觉等众多应用增强智能性的技术。虽然不是一个新学科，是算法相对较新的突破，但为算法培训以及在经济上更可行的高效计算平台获得大量的数据集，带来了极其迅速的技术关注和采用。
Xilinx Zynq SoC/MPSoC是机器学习的理想选择，与嵌入式 GPU 及典型的 SoC 相比，图像速率每秒每瓦可提高 6 倍。Xilinx 的reVISION 堆栈消除了传统设计的障碍，允许您快速利用训练过的网络并将其部署在 Zynq SoC 和 MPSoC 上 用于推论。
特性:
立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC/MPSoC 及 FPGA 设计您的计算机视觉系统 。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
连接与传感器支持
AI 革命加速了各种类别的传感器技术的发展演进。此外，它也带来了对全新水平传感器融合的要求，能够以不同的组合方式整合多种类型的传感器，创建了系统环境以及这种环境下各种目标的全面完整视图。不管今天规定了什么传感器配置，也不管明天实现了什么传感器配置，都需要通过硬件可重配置性满足未来需求。仅 Xilinx 全可编程器件就能提供这种水平的可重配置性。
基于 Zynq 的视觉平台可提供稳健的任意连接及传感器接口。Zynq 传感器及连接优势包括：
立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC / MPSoC 及FPGA 设计您的机器学习系统。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
自定义分辨率
| 传感器类 | Zynq SoCs/MPSoCs | 优势与可选方案 |
|---|---|---|
| MIPI 接口／摄像头支持 | 96 个 MIPI 信道 18 至 48 个支持达 8K 的摄像头 |
带宽提高 8 倍 仅 8K 选项 自定义分辨率 |
| 视频接口 | HDMI 2.0（输入／输出）、DisplayPort 1.2/1.4、12G-SDI、MIPI-DSI | 大量 4K 接口可进行组合，支持 8K 及自定义分辨率 |
| 高带宽传感器：RADAR、 LiDAR… | 48x: CAN/CAN-FD、 1GbE (AVB)、 SPI | 比任何其它 SOC 都多的智能传感器接口 （多达 48 个通道） |
| 低带宽传感器：加速器、力扭矩…… | I2C、 UART、 GPIO | 比任何其它 SOC 都多的较低带宽 IO 通道 |
| 数据传输与存储接口 | USB 2.0, 3.0, PCIe Gen 1.0/2.0/4.0 (PL) x4, x8, 10GE, SATA 3.1, NAND/NOR, SD/eMMC | 对高带宽数据传输与存储接口的支持业界领先 |
reVISION 堆栈的目标是 Zynq SoC 和 MPSoC。Xilinx 及其生态系统成员制造的几款电路板可使用 reVISION 堆栈实现开发。下面是该堆栈支持的电路板清单，包括生产就绪型系统级模块 (SOM)。
| 基本 Zynq 电路板 | ZCU102 | ZCU104 | ZC702 | ZC706 |
|---|---|---|---|---|
| 器件 | ZU9 (16nm) | ZU7 (16nm) | Z7020 (28nm) | Z7045 (28nm) |
| CPU | 达 1.5GHz 的四路 Cortex A53 | 达 1.0GHz 的双路 Cortex A9 Cortex A53 | ||
| INT8 下的峰值 GOPS | 7857 | 5386 | 571 | 2331 |
| 片上存储器 (MB) | 4.0 | 4.8 | 0.6 | 2.4 |
| 输入 | USB3、 MIPI、 HDMI | USB3、 MIPI、 HDMI | HDMI* | HDMI* |
| 输出 | HDMI、 DisplayPort | HDMI、 DisplayPort | HDMI | HDMI |
| 视频编解码器单元 | 不 | 4K60 编码／解码 | No | No |
| reVISION 支持 | xFopencv、 xFdnn | xFopencv、 xFdnn | xFopencv、 xFdnn | xFopencv、 xFdnn |
| 传感器输入 | Sony IMX274 | Quad OnSemi AR0231 | StereoLab Zed Stereo | eCon 摄像头 |
|---|---|---|---|---|
| 规范 | 3840x2160 @ 60 FPS | 1920x1080 @ 30 FPS | 3840x1080 @ 30 FPS | 1920x1080 @ 60 FPS |
| 接口 | 通过 FMC 实现的 MIPI | 通过 FMC 实现的 MIPI | USB 3 | USB 3 |
* 需要 HDMI IO FMC 卡
摄像头模块与 FMC
| 开发板名 | 描述 | 供应商 |
|---|---|---|
| PicoZed 套件 (Zynq-7000) | PicoZed™ 是一款高度灵活、加固型 SOM，基于 Xilinx Zynq®-7000 All Programmable SoC。设计人员可在引脚兼容的封装中灵活实现 7010、7015、7020、和 7030 Zynq-7000 All Programmable SoC 器件之间的移植。 | Avnet |
| MicroZed 套件 (Zynq-7000) | MicroZed™ 是基于 Xilinx Zynq®-7000 All Programmable SoC 的低成本开发板。 它独特的设计既可用作基本 SoC 实验的独立评估板，也可配合载卡用作嵌入式的模块上系统(SOM)。 | Avnet |
| UltraZed-EG SOM (Zynq UltraScale+ MPSoC) | UltraZed-EG™ SOM 是一款高度灵活的坚固系统级模块 (SOM)，基于 Xilinx Zynq® UltraScale+™ MPSoC。UltraZed-EG SOM 外形小巧 (2.0” x 3.5”)，全面整合了所有必要功能，包括：
|
Avnet |
| Mercury+ XU1 (Zynq UltraScale+ MPSoC) | Mercury+ XU1 片上系统 (SoC) 模块将 Xilinx Zynq UltraScale+™ MPSoC (ZU6/9/15) 与快速 DDR4 ECC SDRAM、eMMC 闪存、四路 SPI 闪存、双路千兆位以太网 PHY、双路 USB 3.0 及 RTC 进行高度整合，形成了一个功能强大的完整嵌入式处理系统。 (查看供货情况) |
Enclustra |
| Mercury ZX1 (Zynq-7000) | Mercury ZX1 片上系统 (SoC) 模块将 Xilinx Zynq-7000 (Zynq-7030/35/45) 全可编程 SoC 器件与快速 DDR3 SDRAM、NAND 闪存、四路 SPI 闪存、千兆位以太网 PHY、双路快速以太网 PHY 及 RTC 进行高度整合，形成了一个功能强大的完整嵌入式处理系统。 (查看供货情况) |
Enclustra |
| Atlas I-Z7e (Zynq-7000) | Atlas-I-Z7e™ 是一款低功耗小型系统级模块 (SoM)，包含 Xilinx® Zynq™-7000 All-Programmable SoC。 Zynq-7000 架构由封装在单个芯片中的双核 800 MHz ARM® Cortex™-A9 和 28nm 可编程逻辑组成。 | iVeia |
| Atlas II-Z7x (Zynq-7000) | Atlas-II-Z7x 是一款高性能小型处理模块，包含 Xilinx ® Zynq-7000 全可编程 SoC。Zynq 器件在单一器件中高度集成 1 个 28nm FPGA 和两个 ARM® Cortex™-A9 处理器。 | iVeia |
| Atlas II-Z8 (Zynq UltraScale+ MPSoC) | Atlas-II-Z8 系统级模块 (SoM) 是一款高级高性能异构计算架构，位于一款仅为信用卡大小的模块上。 | iVeia |
| Atlas III-Z8 (Zynq UltraScale+ MPSoC) | Atlas-III-Z8 具有最大的 Zynq® UltraScale+ MPSoC 器件，支持高灵活 I/O 的另外两个分组。Atlas-III 基板插槽可支持 Atlas-II 器件。 | iVeia |
| TE0726 (Zynq-7000) | TE0726“Zynqberry”是一款 Rasberry Pi 兼容型 FPGA 模块，高度集成 Zynq-7010、512 MByte DDR3L SDRAM、4 个 USB 端口、一个以太网端口以及用于配置与工作的 16 MByte 闪存。 | Trenz Electronic |
| TE0715 (Zynq-7000) | TE0715 是一款工业级 Zynq-7000 SoM，具有 4 个 MGT 链路、一个千兆位以太网收发器、32 位宽 1 Gb DDR3 SDRAM、一个 32Mb QSPI 闪存存储器以及支持所有板载电压的强大开关模式电源。 | Trenz Electronic |
| TE0720 (Zynq-7000) | TE0720 是一款工业级 SoC 模块，集成一款 Zynq-Z020、一款千兆位以太网收发器（物理层）、32 位位宽 8 GBit (1 GByte) DDR3 SDRAM、用于配置和工作的 32 MByte 闪存以及支持所有板载电压的强大开关模式电源。 | Trenz Electronic |
| TE0808 (Zynq UltraScale+ MPSoC) | TE0808-03 是一款工业级 MPSoC 模块，集成一款 Zynq UltraScale+、64 位位宽 2 GByte (4 x 512 MByte) DDR4 SDRAM、用于配置和工作的 64 MByte (2 x 32 MByte) 闪存、20 Gb 收发器，以及支持所有板载电压的强大开关模式电源。 | Trenz Electronic |
| Arty Z7-20 (Zynq-7000) | Arty Z7 是一款围绕 Xilinx Zynq-7000™ 全可编程片上系统 (AP SoC) 设计的、可随时使用的开发平台。Zynq-7000 架构将一款双核 650 MHz ARM Cortex-A9 处理器与 Xilinx 7 系列现场可编程门阵列 (FPGA) 逻辑紧密集成。这一配对将围绕一款功能强大的处理器提供一系列独特软件定义外设及控制器，无论您正在进军哪个应用领域，都可进行量身定制。 | Digilent, Inc. |
| ZyngDVP | ZingDVP 嵌入式视觉套件建立在无缝集成 HDMI（或摄像头链路）输入输出的 Zynq-7045 SoC 基础之上。ZingDVP 可帮助客户在机器视觉、VR 和视频分析领域创建高度差异化的强大设计 | V3 Technology |
| EagleGo HD (Zynq-7000) | EagleGo HD 嵌入式视觉套件建立在无缝集成 ARM Cortex-A9 处理器和 FPGA 逻辑的 Zynq-7000 可编程 SoC 基础之上。EagleGo HD 可帮助客户在工业控制、机器视觉、视频图像处理以及测量测试领域创建高度差异化的强大设计。 | V3 Technology |
| ZURA SOM* (Zynq UltraScale+ MPSoC) | ZURA“Zynq UltraScale+ for Radio & ADAS”系统级模块采用 ZU3EG-SFVA625。(计划发布： Q1 CY17) (查看供货情况) |
V3 Technology |
| Eiger | Eiger 是一款基于 Zynq-7020 的低成本小型智能摄像头，不仅可连接各种传感器模块，而且还能够以软件及硬件形式提供图像处理解决方案。此外，还包括开发环境 Eiger-EMU。 | Regulus |
嵌入式视觉是一个复杂程度日益提升的多学科领域。为扩大项目提供专家支持，有助于确保产品的成功推出。Xilinx 联合了大量在嵌入式视觉系统设计方面有着广泛经验的资深设计服务公司。这些联盟计划成员公司已通过 Xilinx 认证程序，可确保他们是您系统开发需求的最佳支持者。
| 成员 | 区域 | 说明 | IP | 开发板 | 软件 |
|---|---|---|---|---|---|
| Digital Design Corporpation (DDC) | 北美 | DDC 是一个 Xilinx 高级设计服务合作伙伴，专门提供高端解决方案，特别是高带宽、高复杂性或极小尺寸、重量及功耗 (SWaP) 的设计。DDC 提供广泛的解决方案，从系统规范到全方位电路板，再到针对尽可能最小化部件而优化的 IP 块，无所不包。DDC 工程师可充分利用超过 20 年的丰富经验以及种类繁多的 DDC 创建和部署的知识产权 (IP)“构建块”。这些构建块经过验证，系统性能高，可缩短周期时间并降低风险。 | |||
| Fidus | 北美 | Fidus 是 Xilinx 高级设计服务计划的就职北美成员，处于 Xilinx 视频解决方案开发的最前沿。我们将传感器与视频融合在一起，可为嵌入式视觉市场提供差异化服务。Fidus 最近开发了一款实境增强解决方案，该解决方案需要实时图像传感器数据与视频提供相结合，支持实时显示。这一开发涉及 Xiinx IP 视频内核、图像传感器运行以及 Northwest Logic 的 MIPI CSI/DSI IP。 | |||
| Hardent, Inc. | 北美 | Hardent 是一家为世界各地主要电子设备和组件制造商提供电子设计服务、培训解决方案、IP 产品、管理咨询的专业服务公司。Hardent 的资深电子设计工程师团队可为客户带来快速突破技术障碍并加速产品上市进程所需的各种技能和专业技术。 | |||
| Regulus | 日本 | 日本 Regulus 是一个 Xilinx Alliance 计划成员，始终致力于在各种应用中为嵌入式视觉及视频处理提供设计服务，业务涉及智能摄像头、机器视觉以及自主汽车（如无人机）等。我们不仅开发了众多内部 IP 核、参考板和量产摄像头电路板，而且还设计提供了大量客户项目。 | |||
| Libertron | 韩国 | 自 1998 年成立以来，Libertron 就一直是设计服务、专利产品与培训的领先提供商，主要提供有关 FPGA 及系统级开发服务的专业逻辑实现方案。我们主要基于 Xilinx 嵌入式处理器面向有关 FPGA 的各种设备及算法实现方案提供与高速数据传输及控制单元有关的项目。此外，我们还提供 FPGA 逻辑设计，以及包括嵌入式软件移植在内的电路板设计服务。并为企业及大学提供各种用于开发及教育的现成 FPGA 电路板。作为一家 Xilinx 授权培训提供商 (ATP)，我们可提供各种与 FPGA 及嵌入式系统有关的培训服务。 | |||
| Missing Link Electronics | 北美 | Missing Link Electronics (MLE) 是一家总部位于硅谷的科技公司，在加州圣何塞以及德国新乌尔姆设有分部。我们一直都在帮助汽车、政府及航空航天、工业以及测量测试市场的主要创新企业更迅速地构建更好的嵌入式系统。 | |||
| OKI IDS | 日本 | OKI IDS 是 Xilinx Alliance 计划的高级设计服务成员，已基于 Xilinx 全可编程 FPGA 和 SoC 设计并提供了大量嵌入式视觉及视频项目。OKI IDS 最近使用其强大的专家实力将基于 C/C++ 的原有系统转换成了 Zynq-7000 并在 FPGA 框架下加速了计算密集型移动对象检测算法。 | |||
| Omnitek | EMEA（欧洲、中东、非洲） | Omnitek 是嵌入式视觉及视频 IP 以及设计服务的领先供应商。我们的核心优势是在 Xilinx 全可编程器件的各种计算引擎上的算法设计及最佳实现方案。我们的设计方案包括从摄像头传感器输入到显示输出的图像处理流水线的各个环节。小型 IP 的优势包括较低的系统成本和最高的性能功耗比，可帮助我们超越 ASIC/ASSP 和 GPU 解决方案。 | |||
| V3 Technology | 中国 | V3 Technology 是 Xilinx Alliance 计划的认证设计服务成员，主要基于 Xilinx FPGA 和 SoC 提供嵌入式视觉及视频解决方案与服务。V3 解决方案包含 Zynq-7000 与 MPSoC 开发板、预先构建了 Linux/Android 工作环境的 SOM，以及参考设计。V3 已成功帮助高端机器学习客户通过使用其设计服务快速将产品推向市场。 | |||
| Xylon | EMEAI | Xylon 是 Xilinx Alliance 计划的高级成员，是知识产权 (IP) 内核、Xilinx FPGA 与全可编程 SoC 的高级设计解决方案以及相关服务的提供商。Xylon 自从 1995 成立以来，已经基于 Xilinx 技术及 Xylon logiBRICKS IP 核设计提供了 300 多款基于全可编程的视觉及视频设计。 |
| 成员 | 类型 | 说明 |
|---|---|---|
| ArrayFire | 计算机视觉、机器学习 | ArrayFire 是高性能计算软件开发与编码服务的行业领导者。ArrayFire 专门从事软件解决方案开发，帮助工程师、研究人员以及科学家充分利用 FPGA 及其它加速器的各种功能解决各行各业的复杂计算问题，包括国防情报、生命科学、油气、金融、制造以及媒体等。 |
| The MathWorks | 计算机视觉、机器学习、传感器融合 | 算法开发是图像处理与计算机视觉的核心，因为每种情况都是独一无二的，而且良好的解决方案需要多重设计迭代。MathWorks 提供的综合环境可深入了解您的图像及视频数据，开发算法并探索实现方案权衡。统计与机器学习 Toolbox™ 可为描述数据、分析数据和建模数据提供各种功能及应用。您不仅可采用描述性统计及图形进行探索性数据分析，可针对数据拟合概率分布，而且还可为 Monte Carlo 仿真生成随机数字并进行假设检验。回归与分类算法有助于您通过数据得出推论，并构建推测模型。 |
| MulticoreWare | 机器学习 | MulticoreWare 可提供整个范围的服务相关性卷积神经网络 (CNN)：(1) 将 Torch7 与 Caffe 等基础架构框架移植至 Xilinx 平台；(2) 数据标签：为培训神经网络创建标签数据集；(3) CNN 分类器是面部、唇动、人类语音、汽车、行人以及视频识别的神器；(4) 广播、汽车、流量监控与监视的专门应用。 |
| Avnet | 计算机视觉、传感器融合 | 嵌入式视觉是嵌入式系统与机器视觉（有时也叫计算机视觉）两种技术的融合。嵌入式系统是所有基于微处理器的系统，它不是通用计算机。嵌入式系统无处不在，在汽车、厨房电器、消费类电子设备、医疗设备以及大量其它地方都能看到。机器视觉使用数字处理及智能算法解释图像或视频的意图。 |
| Concurrent EDA | 计算机视觉、机器学习、传感器融合 | Concurrent EDA 始终致力于使用其自己的专利设计自动化技术面向广泛的图像处理、信号处理、数据处理、安全及矩阵数学应用开发一系列完整的预构建、高性能、全面验证的 FPGA 内核。 |
设计范例
reVISION 堆栈包含 4 款初始设计实例（未来还会更多），旨在帮助您在极短的时间启动运行。这些设计实例将帮助您轻松了解 Xilinx 全可编程 SOC 在高性能嵌入式视觉应用中的明显优势。接下来简单介绍这 4 款设计实例。
这些设计示例将在 2017 年 5 月提供。立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC/MPSoC 及 FPGA 设计您的计算机视觉系统 。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
能够在 Zynq SoC／MPSoC 中实现计算机视觉算法，而 FPGA 则可帮助开发人员创建响应最快且可重配置的视觉导向系统。这些系统每秒每瓦的执行帧速率比基于 GPU 的其它SoC 高 42 倍。在 Zynq 及 FPGA器件 中实现计算机视觉算法，通常需要软硬件团队非常紧密的协作，因而限制了软件开发人员利用技术平台的高性能功能的能力。SDSoCSDSoC 与 OpenCV 库相结合，现已为全新的用户群敞开了使用 Zynq 平台的大门。此外，Xilinx 还将在 2017 年上半年推出支持 OpenVX 图形设计的框架。
OpenCV 库函数对于开发大量计算机视觉应用至关重要。Xilinx 基于 OpenCV 函数的计算机视觉库将帮助您通过 SDx 或 HLxHLx 环境在 FPGA 架构下轻松构建和加速计算机视觉功能。此外，Xilinx 库函数不仅与 OpenCV 一致，而且还针对性能、资源利用和易用性进行了优化。
这些函数从简单（左）到复杂（右）分为三个级别。
| Level 1 | Level 2 | Level 3 | ||
|---|---|---|---|---|
| 绝对差 | 通道合并 | 方框 | 缩放／调整尺寸 | 方向梯度直方图 (HOG) |
| 累积 | 通道提取 | 高斯 | StereoRectify | ORB |
| 累积的平方 | 颜色转换 | 中值 | 仿射变换 | SVM（二进制） |
| 累积加权 | 转换位深度 | 索贝尔 | 视角变换 | OTSU 阈值转换法 |
| 算术加法 | 查表 | 定制卷积 | 快速角点 | 均值转移跟踪 (MST) |
| 算术减法 | 直方图 | LK 密度光流算法 | ||
| 按位：AND、OR、XOR、NOT | 梯度相位 | 扩大 | Harris 角点 | Canny 边缘检查 |
| 像素依次相乘 | 最小／最大位置 | 侵蚀 | 重新映射 | 图像渐增 |
| 积分图像 | 平均值与标准偏差 | 双边 | 平衡直方图 | 颜色检测 |
| 梯度幅值 | 阈值转换法 | StereoLBM | ||
立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC/MPSoC 及 FPGA 设计您的计算机视觉系统 。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
机器学习与深度学习得到了开发社区的广泛关注，因为这是一项可为嵌入式视觉等众多应用增强智能性的技术。虽然不是一个新学科，是算法相对较新的突破，但为算法培训以及在经济上更可行的高效计算平台获得大量的数据集，带来了极其迅速的技术关注和采用。
Xilinx Zynq SoC/MPSoC是机器学习的理想选择，与嵌入式 GPU 及典型的 SoC 相比，图像速率每秒每瓦可提高 6 倍。Xilinx 的reVISION 堆栈消除了传统设计的障碍，允许您快速利用训练过的网络并将其部署在 Zynq SoC 和 MPSoC 上 用于推论。
特性:
立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC/MPSoC 及 FPGA 设计您的计算机视觉系统 。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
AI 革命加速了各种类别的传感器技术的发展演进。此外，它也带来了对全新水平传感器融合的要求，能够以不同的组合方式整合多种类型的传感器，创建了系统环境以及这种环境下各种目标的全面完整视图。不管今天规定了什么传感器配置，也不管明天实现了什么传感器配置，都需要通过硬件可重配置性满足未来需求。仅 Xilinx 全可编程器件就能提供这种水平的可重配置性。
基于 Zynq 的视觉平台可提供稳健的任意连接及传感器接口。Zynq 传感器及连接优势包括：
立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC / MPSoC 及FPGA 设计您的机器学习系统。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
自定义分辨率
| 传感器类 | Zynq SoCs/MPSoCs | 优势与可选方案 |
|---|---|---|
| MIPI 接口／摄像头支持 | 96 个 MIPI 信道 18 至 48 个支持达 8K 的摄像头 |
带宽提高 8 倍 仅 8K 选项 自定义分辨率 |
| 视频接口 | HDMI 2.0（输入／输出）、DisplayPort 1.2/1.4、12G-SDI、MIPI-DSI | 大量 4K 接口可进行组合，支持 8K 及自定义分辨率 |
| 高带宽传感器：RADAR、 LiDAR… | 48x: CAN/CAN-FD、 1GbE (AVB)、 SPI | 比任何其它 SOC 都多的智能传感器接口 （多达 48 个通道） |
| 低带宽传感器：加速器、力扭矩…… | I2C、 UART、 GPIO | 比任何其它 SOC 都多的较低带宽 IO 通道 |
| 数据传输与存储接口 | USB 2.0, 3.0, PCIe Gen 1.0/2.0/4.0 (PL) x4, x8, 10GE, SATA 3.1, NAND/NOR, SD/eMMC | 对高带宽数据传输与存储接口的支持业界领先 |
reVISION 堆栈的目标是 Zynq SoC 和 MPSoC。Xilinx 及其生态系统成员制造的几款电路板可使用 reVISION 堆栈实现开发。下面是该堆栈支持的电路板清单，包括生产就绪型系统级模块 (SOM)。
| 基本 Zynq 电路板 | ZCU102 | ZCU104 | ZC702 | ZC706 |
|---|---|---|---|---|
| 器件 | ZU9 (16nm) | ZU7 (16nm) | Z7020 (28nm) | Z7045 (28nm) |
| CPU | 达 1.5GHz 的四路 Cortex A53 | 达 1.0GHz 的双路 Cortex A9 Cortex A53 | ||
| INT8 下的峰值 GOPS | 7857 | 5386 | 571 | 2331 |
| 片上存储器 (MB) | 4.0 | 4.8 | 0.6 | 2.4 |
| 输入 | USB3、 MIPI、 HDMI | USB3、 MIPI、 HDMI | HDMI* | HDMI* |
| 输出 | HDMI、 DisplayPort | HDMI、 DisplayPort | HDMI | HDMI |
| 视频编解码器单元 | 不 | 4K60 编码／解码 | No | No |
| reVISION 支持 | xFopencv、 xFdnn | xFopencv、 xFdnn | xFopencv、 xFdnn | xFopencv、 xFdnn |
| 传感器输入 | Sony IMX274 | Quad OnSemi AR0231 | StereoLab Zed Stereo | eCon 摄像头 |
|---|---|---|---|---|
| 规范 | 3840x2160 @ 60 FPS | 1920x1080 @ 30 FPS | 3840x1080 @ 30 FPS | 1920x1080 @ 60 FPS |
| 接口 | 通过 FMC 实现的 MIPI | 通过 FMC 实现的 MIPI | USB 3 | USB 3 |
* 需要 HDMI IO FMC 卡
摄像头模块与 FMC
| 开发板名 | 描述 | 供应商 |
|---|---|---|
| PicoZed 套件 (Zynq-7000) | PicoZed™ 是一款高度灵活、加固型 SOM，基于 Xilinx Zynq®-7000 All Programmable SoC。设计人员可在引脚兼容的封装中灵活实现 7010、7015、7020、和 7030 Zynq-7000 All Programmable SoC 器件之间的移植。 | Avnet |
| MicroZed 套件 (Zynq-7000) | MicroZed™ 是基于 Xilinx Zynq®-7000 All Programmable SoC 的低成本开发板。 它独特的设计既可用作基本 SoC 实验的独立评估板，也可配合载卡用作嵌入式的模块上系统(SOM)。 | Avnet |
| UltraZed-EG SOM (Zynq UltraScale+ MPSoC) | UltraZed-EG™ SOM 是一款高度灵活的坚固系统级模块 (SOM)，基于 Xilinx Zynq® UltraScale+™ MPSoC。UltraZed-EG SOM 外形小巧 (2.0” x 3.5”)，全面整合了所有必要功能，包括：
|
Avnet |
| Mercury+ XU1 (Zynq UltraScale+ MPSoC) | Mercury+ XU1 片上系统 (SoC) 模块将 Xilinx Zynq UltraScale+™ MPSoC (ZU6/9/15) 与快速 DDR4 ECC SDRAM、eMMC 闪存、四路 SPI 闪存、双路千兆位以太网 PHY、双路 USB 3.0 及 RTC 进行高度整合，形成了一个功能强大的完整嵌入式处理系统。 (查看供货情况) |
Enclustra |
| Mercury ZX1 (Zynq-7000) | Mercury ZX1 片上系统 (SoC) 模块将 Xilinx Zynq-7000 (Zynq-7030/35/45) 全可编程 SoC 器件与快速 DDR3 SDRAM、NAND 闪存、四路 SPI 闪存、千兆位以太网 PHY、双路快速以太网 PHY 及 RTC 进行高度整合，形成了一个功能强大的完整嵌入式处理系统。 (查看供货情况) |
Enclustra |
| Atlas I-Z7e (Zynq-7000) | Atlas-I-Z7e™ 是一款低功耗小型系统级模块 (SoM)，包含 Xilinx® Zynq™-7000 All-Programmable SoC。 Zynq-7000 架构由封装在单个芯片中的双核 800 MHz ARM® Cortex™-A9 和 28nm 可编程逻辑组成。 | iVeia |
| Atlas II-Z7x (Zynq-7000) | Atlas-II-Z7x 是一款高性能小型处理模块，包含 Xilinx ® Zynq-7000 全可编程 SoC。Zynq 器件在单一器件中高度集成 1 个 28nm FPGA 和两个 ARM® Cortex™-A9 处理器。 | iVeia |
| Atlas II-Z8 (Zynq UltraScale+ MPSoC) | Atlas-II-Z8 系统级模块 (SoM) 是一款高级高性能异构计算架构，位于一款仅为信用卡大小的模块上。 | iVeia |
| Atlas III-Z8 (Zynq UltraScale+ MPSoC) | Atlas-III-Z8 具有最大的 Zynq® UltraScale+ MPSoC 器件，支持高灵活 I/O 的另外两个分组。Atlas-III 基板插槽可支持 Atlas-II 器件。 | iVeia |
| TE0726 (Zynq-7000) | TE0726“Zynqberry”是一款 Rasberry Pi 兼容型 FPGA 模块，高度集成 Zynq-7010、512 MByte DDR3L SDRAM、4 个 USB 端口、一个以太网端口以及用于配置与工作的 16 MByte 闪存。 | Trenz Electronic |
| TE0715 (Zynq-7000) | TE0715 是一款工业级 Zynq-7000 SoM，具有 4 个 MGT 链路、一个千兆位以太网收发器、32 位宽 1 Gb DDR3 SDRAM、一个 32Mb QSPI 闪存存储器以及支持所有板载电压的强大开关模式电源。 | Trenz Electronic |
| TE0720 (Zynq-7000) | TE0720 是一款工业级 SoC 模块，集成一款 Zynq-Z020、一款千兆位以太网收发器（物理层）、32 位位宽 8 GBit (1 GByte) DDR3 SDRAM、用于配置和工作的 32 MByte 闪存以及支持所有板载电压的强大开关模式电源。 | Trenz Electronic |
| TE0808 (Zynq UltraScale+ MPSoC) | TE0808-03 是一款工业级 MPSoC 模块，集成一款 Zynq UltraScale+、64 位位宽 2 GByte (4 x 512 MByte) DDR4 SDRAM、用于配置和工作的 64 MByte (2 x 32 MByte) 闪存、20 Gb 收发器，以及支持所有板载电压的强大开关模式电源。 | Trenz Electronic |
| Arty Z7-20 (Zynq-7000) | Arty Z7 是一款围绕 Xilinx Zynq-7000™ 全可编程片上系统 (AP SoC) 设计的、可随时使用的开发平台。Zynq-7000 架构将一款双核 650 MHz ARM Cortex-A9 处理器与 Xilinx 7 系列现场可编程门阵列 (FPGA) 逻辑紧密集成。这一配对将围绕一款功能强大的处理器提供一系列独特软件定义外设及控制器，无论您正在进军哪个应用领域，都可进行量身定制。 | Digilent, Inc. |
| ZyngDVP | ZingDVP 嵌入式视觉套件建立在无缝集成 HDMI（或摄像头链路）输入输出的 Zynq-7045 SoC 基础之上。ZingDVP 可帮助客户在机器视觉、VR 和视频分析领域创建高度差异化的强大设计 | V3 Technology |
| EagleGo HD (Zynq-7000) | EagleGo HD 嵌入式视觉套件建立在无缝集成 ARM Cortex-A9 处理器和 FPGA 逻辑的 Zynq-7000 可编程 SoC 基础之上。EagleGo HD 可帮助客户在工业控制、机器视觉、视频图像处理以及测量测试领域创建高度差异化的强大设计。 | V3 Technology |
| ZURA SOM* (Zynq UltraScale+ MPSoC) | ZURA“Zynq UltraScale+ for Radio & ADAS”系统级模块采用 ZU3EG-SFVA625。(计划发布： Q1 CY17) (查看供货情况) |
V3 Technology |
| Eiger | Eiger 是一款基于 Zynq-7020 的低成本小型智能摄像头，不仅可连接各种传感器模块，而且还能够以软件及硬件形式提供图像处理解决方案。此外，还包括开发环境 Eiger-EMU。 | Regulus |
嵌入式视觉是一个复杂程度日益提升的多学科领域。为扩大项目提供专家支持，有助于确保产品的成功推出。Xilinx 联合了大量在嵌入式视觉系统设计方面有着广泛经验的资深设计服务公司。这些联盟计划成员公司已通过 Xilinx 认证程序，可确保他们是您系统开发需求的最佳支持者。
| 成员 | 区域 | 说明 | IP | 开发板 | 软件 |
|---|---|---|---|---|---|
| Digital Design Corporpation (DDC) | 北美 | DDC 是一个 Xilinx 高级设计服务合作伙伴，专门提供高端解决方案，特别是高带宽、高复杂性或极小尺寸、重量及功耗 (SWaP) 的设计。DDC 提供广泛的解决方案，从系统规范到全方位电路板，再到针对尽可能最小化部件而优化的 IP 块，无所不包。DDC 工程师可充分利用超过 20 年的丰富经验以及种类繁多的 DDC 创建和部署的知识产权 (IP)“构建块”。这些构建块经过验证，系统性能高，可缩短周期时间并降低风险。 | |||
| Fidus | 北美 | Fidus 是 Xilinx 高级设计服务计划的就职北美成员，处于 Xilinx 视频解决方案开发的最前沿。我们将传感器与视频融合在一起，可为嵌入式视觉市场提供差异化服务。Fidus 最近开发了一款实境增强解决方案，该解决方案需要实时图像传感器数据与视频提供相结合，支持实时显示。这一开发涉及 Xiinx IP 视频内核、图像传感器运行以及 Northwest Logic 的 MIPI CSI/DSI IP。 | |||
| Hardent, Inc. | 北美 | Hardent 是一家为世界各地主要电子设备和组件制造商提供电子设计服务、培训解决方案、IP 产品、管理咨询的专业服务公司。Hardent 的资深电子设计工程师团队可为客户带来快速突破技术障碍并加速产品上市进程所需的各种技能和专业技术。 | |||
| Regulus | 日本 | 日本 Regulus 是一个 Xilinx Alliance 计划成员，始终致力于在各种应用中为嵌入式视觉及视频处理提供设计服务，业务涉及智能摄像头、机器视觉以及自主汽车（如无人机）等。我们不仅开发了众多内部 IP 核、参考板和量产摄像头电路板，而且还设计提供了大量客户项目。 | |||
| Libertron | 韩国 | 自 1998 年成立以来，Libertron 就一直是设计服务、专利产品与培训的领先提供商，主要提供有关 FPGA 及系统级开发服务的专业逻辑实现方案。我们主要基于 Xilinx 嵌入式处理器面向有关 FPGA 的各种设备及算法实现方案提供与高速数据传输及控制单元有关的项目。此外，我们还提供 FPGA 逻辑设计，以及包括嵌入式软件移植在内的电路板设计服务。并为企业及大学提供各种用于开发及教育的现成 FPGA 电路板。作为一家 Xilinx 授权培训提供商 (ATP)，我们可提供各种与 FPGA 及嵌入式系统有关的培训服务。 | |||
| Missing Link Electronics | 北美 | Missing Link Electronics (MLE) 是一家总部位于硅谷的科技公司，在加州圣何塞以及德国新乌尔姆设有分部。我们一直都在帮助汽车、政府及航空航天、工业以及测量测试市场的主要创新企业更迅速地构建更好的嵌入式系统。 | |||
| OKI IDS | 日本 | OKI IDS 是 Xilinx Alliance 计划的高级设计服务成员，已基于 Xilinx 全可编程 FPGA 和 SoC 设计并提供了大量嵌入式视觉及视频项目。OKI IDS 最近使用其强大的专家实力将基于 C/C++ 的原有系统转换成了 Zynq-7000 并在 FPGA 框架下加速了计算密集型移动对象检测算法。 | |||
| Omnitek | EMEA（欧洲、中东、非洲） | Omnitek 是嵌入式视觉及视频 IP 以及设计服务的领先供应商。我们的核心优势是在 Xilinx 全可编程器件的各种计算引擎上的算法设计及最佳实现方案。我们的设计方案包括从摄像头传感器输入到显示输出的图像处理流水线的各个环节。小型 IP 的优势包括较低的系统成本和最高的性能功耗比，可帮助我们超越 ASIC/ASSP 和 GPU 解决方案。 | |||
| V3 Technology | 中国 | V3 Technology 是 Xilinx Alliance 计划的认证设计服务成员，主要基于 Xilinx FPGA 和 SoC 提供嵌入式视觉及视频解决方案与服务。V3 解决方案包含 Zynq-7000 与 MPSoC 开发板、预先构建了 Linux/Android 工作环境的 SOM，以及参考设计。V3 已成功帮助高端机器学习客户通过使用其设计服务快速将产品推向市场。 | |||
| Xylon | EMEAI | Xylon 是 Xilinx Alliance 计划的高级成员，是知识产权 (IP) 内核、Xilinx FPGA 与全可编程 SoC 的高级设计解决方案以及相关服务的提供商。Xylon 自从 1995 成立以来，已经基于 Xilinx 技术及 Xylon logiBRICKS IP 核设计提供了 300 多款基于全可编程的视觉及视频设计。 |
| 成员 | 类型 | 说明 |
|---|---|---|
| ArrayFire | 计算机视觉、机器学习 | ArrayFire 是高性能计算软件开发与编码服务的行业领导者。ArrayFire 专门从事软件解决方案开发，帮助工程师、研究人员以及科学家充分利用 FPGA 及其它加速器的各种功能解决各行各业的复杂计算问题，包括国防情报、生命科学、油气、金融、制造以及媒体等。 |
| The MathWorks | 计算机视觉、机器学习、传感器融合 | 算法开发是图像处理与计算机视觉的核心，因为每种情况都是独一无二的，而且良好的解决方案需要多重设计迭代。MathWorks 提供的综合环境可深入了解您的图像及视频数据，开发算法并探索实现方案权衡。统计与机器学习 Toolbox™ 可为描述数据、分析数据和建模数据提供各种功能及应用。您不仅可采用描述性统计及图形进行探索性数据分析，可针对数据拟合概率分布，而且还可为 Monte Carlo 仿真生成随机数字并进行假设检验。回归与分类算法有助于您通过数据得出推论，并构建推测模型。 |
| MulticoreWare | 机器学习 | MulticoreWare 可提供整个范围的服务相关性卷积神经网络 (CNN)：(1) 将 Torch7 与 Caffe 等基础架构框架移植至 Xilinx 平台；(2) 数据标签：为培训神经网络创建标签数据集；(3) CNN 分类器是面部、唇动、人类语音、汽车、行人以及视频识别的神器；(4) 广播、汽车、流量监控与监视的专门应用。 |
| Avnet | 计算机视觉、传感器融合 | 嵌入式视觉是嵌入式系统与机器视觉（有时也叫计算机视觉）两种技术的融合。嵌入式系统是所有基于微处理器的系统，它不是通用计算机。嵌入式系统无处不在，在汽车、厨房电器、消费类电子设备、医疗设备以及大量其它地方都能看到。机器视觉使用数字处理及智能算法解释图像或视频的意图。 |
| Concurrent EDA | 计算机视觉、机器学习、传感器融合 | Concurrent EDA 始终致力于使用其自己的专利设计自动化技术面向广泛的图像处理、信号处理、数据处理、安全及矩阵数学应用开发一系列完整的预构建、高性能、全面验证的 FPGA 内核。 |
reVISION 堆栈包含 4 款初始设计实例（未来还会更多），旨在帮助您在极短的时间启动运行。这些设计实例将帮助您轻松了解 Xilinx 全可编程 SOC 在高性能嵌入式视觉应用中的明显优势。接下来简单介绍这 4 款设计实例。
这些设计示例将在 2017 年 5 月提供。立即开始利用现有的 Xilinx 及生态系统设计硬件、模块和生产就绪型系统级模块 (SOM) ，围绕 Zynq SoC/MPSoC 及 FPGA 设计您的计算机视觉系统 。
第一时间 了解 reVISION 新闻及 Xilinx 更新信息。
欢迎参加 Xilinx 论坛 讨论。
