深耕自适应计算 助力AVB领域加速创新

【数字视听网讯】自适应和智能计算的全球领先企业——赛灵思公司近日以线上会议形式举办了媒体沟通会，赛灵思大中华区核心市场事业部 (CMG)市场及业务开发总监酆毅(Bob Feng)介绍了赛灵思的有关情况及业务进展。Bob表示，赛灵思是一家跨越多元化应用领域的公司。赛灵思和很多传统的专用平台或通用平台的半导体公司不同，赛灵思横跨十几个和行业大趋势发展有关的专业市场。和其他通用平台相比，比如说PC和CPU，赛灵思平台最大的不同是赛灵思更多覆盖的是基础建设里面设备的应用，除了数据中心和有线无线，赛灵思整个业务体系里面的核心市场覆盖了六大垂直市场，汽车、工业物联网、视觉、医疗和科学、航空航天、测试测量及仿真、专业音视频和广播、消费电子等领域，这些领域的年收入份额不断扩大，从最新的财报看已经占了公司主要业务收入的60%以上。

酆毅(Bob Feng)市场及业务开发总监，大中华区核心市场事业部 (CMG)赛灵思公司 

广播电视和专业音视频应用业务占赛灵思2021年财年大概10%左右的份额，赛灵思对于基础设施的设备应用非常广泛。赛灵思专业音视频和广播细分市场，主要针对以下几种应用，一个是影院级别的应用，另外是大型现场活动设备方面的应用，另外还有专业音频，尤其是专业音频的处理和数字混音器的应用及数字标牌更专业音视频领域等。

在消费类细分市场，和专注于电视解码芯片的厂商、专注于PC的X86的提供商以及专注于其他的手机主芯片的提供商都保持着良好的合作关系。

在电视领域，比如电视面板的时序控制器，赛灵思FPGA是与每一次面板的更新迭代如影随形，当新兴面板革命性应用兴起的时候，总是可以看到在timing controller芯片中FPGA的应用。

其次，Bob表示，高保真音响、投影机、无人机也是赛灵思覆盖的应用领域。无人机领域Flying Camera( 飞行摄像头 )的使用，其通过赛灵思器件实现专业级的摄影设备。此外，相机、游戏、智能云台，流媒体、打印机，甚至可以看到有很多相关的智能家居上的应用。无论是方兴未艾的AI智能门锁，刷脸门锁替代刷指纹的门锁，机器人的使用，陪伴型机器人和玩具机器人，尤其在疫情期间得到了加速度的发展。

另外，还有家居健康相关的网关设备、户外运动设备、智能家电设备，甚至汽车后装市场设备也都是赛灵思所支持的应用领域。所以大家可以看到赛灵思所覆盖的消费类市场领域用也是一个非常广泛的应用海洋，他们里面的分门别类是没可能被一两个专门的电视主芯片也好，或者是手机主芯片来去覆盖的，也只有像赛灵思这样的通用、灵活应变的的平台，才能全面满足这一块市场的广泛应用。

目前广电行业里头最方兴未艾的基础架构的更新是所谓的Video over IP，也就是说从传统的基带SDI video 向video over IP进行转换。美国电影电视工程师协会 (SMPTE)推出的ST 2110 媒体传输标准，被国内的几大广电主流厂商和终端用户广泛采用。比如中央电视台作为电视台内部设备更新的一个基准。

这里面最关键的一个诉求是IP基础架构的可扩展性。因为我们知道从视频的扩展，像SDI、HDSDI、3GSDI到后来的12GSID来覆盖SDHT和4K的迭代的过程中，周期相当漫长，而且基础建设的更新耗费巨大。而新兴的Video over IP的基础架构,能够让这些更新迭代往将来的标准进行发展，能够更容易、更快的实现，从经济的考量上会比以前的效果更佳。

除此之外，还有终端设备，无论是摄像头、桌面交换机、转换器，由于疫情的原因，广播行业在内容制作上尤其是相关实时现场内容的制作，遭遇了前所未有的更大挑战。其中一个例子就是居家办公这种跨全球性的政府命令，导致了很多新闻制作的背景尤其是在美国一些本地的新闻制作台，很多主播和导播不得不在家里进行内容的直播。这个对于终端设备的产生和使用提出了非常高的要求。

从专业音视频的角度来说，主要是由电子标牌、LED墙和KVM进行推动的，今年疫情期间，虽然户外现场活动和大型集会都处于收敛之中，使得LED墙显示设备业务员受到了相当的阻碍，但是推动远程工作模式的KVE平台却获得了飞速发展。与此同时，LED墙也找到了非常有特色的疫情时代的应用：比如背景制作等。在专业音频和IP音频转换上来说，当所谓的把专业音视频制作平民化之后，疫情作为一个推手，推动远程居家专业音视频制作的时候，市场对于设备的迭代提出了更高的要求，尤其是小型化、快速化。这对以前大家传统印象里面的专业设备尺寸，还有重量，还有复杂度都提出了非常高的要求。

流媒体终端，大家可以看到Video over IP或者AV over IP不只是在广电业里面得到广泛的采用，在专业音视频里面，尤其是在KVM领域电子显示墙，LED墙，甚至是企业级投影机里的AV over IP (这里主要指的是1G和10G的可拓展性的设备的推广)，也在疫情中得到了极大的推动。

协同工作这里主要指的是视频会议，更多的朝向远程的工作协同发展。也就是说不只是一个简单的视频的发布或者直播，更多的是一个高质量、低时延工作协同的考量。

最后，酆总表示，从设计平台来讲，赛灵思主推Zynq UltraScale+ SoC平台。

由于疫情的影响，直播行业快速增长，新闻业有一些主播必须在家里面进行新闻直播，KVM坐席管理系统被越来越多地应用于远程工作流的管理。事实上，疫情使得任何能够使能远程工作流的设备和模式都得到了一个大力发展和推广机会。

远程制作利用PTZ摄像头远程能够控制摄像头的跟踪和缩放。电子白板除了直接的视频内容的远程直播之外，还有现场的交流。电子白板通过远程的采播对延时和图象质量提出了非常高的要求。播客这样的应用大大促进了了麦克风和流媒体设备的增加。最后LED背景墙的用途就是在疫情期间用来代替背景的内容，就是说当旅行不再变成触手可及的时候，以前需要旅行来解决的背景内容现在往往通过大型的高清、高质量的LED背景墙来实现。 最后在整个疫情期间，大家可以看到更多的机器学习在助力内容制作，尤其是体育节目的制作。不管是内容的分析，还是对目标的跟踪，各个方面都体现了内容制作技术的更新迭代。

最后，整个疫情让我们非常清晰的看到，专业高质量的内容制作不再是以前局限于少数金字塔塔尖的应用，更多的是他开始走向大众，更多趋向了平民化。

从广播电视这个行业我们可以看到，远程的管理工作流会更广泛的虚拟化，专业音视频设备会与终端用户更贴近;多通道4K和8K 60帧/120帧 + HDR需求所带来的庞大数据需要灵活可拓展性25G、100G，甚至到400G的通信平台;8K内容采集工作系统在今年会有更多的部署。很多时候大家会有一些争议，是先有8K视频演播设备的还是需要现有8K内容。很多时候会被人垢病说我现在没有8K内容为什么需要先打造8K 设备。其实早年4K的时候同样有抱怨没有4K内容。其实这都不会成为问题，有了演播设备就一定会有采集工作系统来补上8K内容的短缺。

此外，用于多摄像头和单摄像头事件目标跟踪的机器学习将会有越来越广泛的部署。刚才讲了在体育比赛里面的一些目标跟踪。

最后是内容的保密性需求将进一步提升。当内容制作平民化之后，内容制作和接触不再是某些个别人的专利的时候，一些敏感内容的保密性就变得越来越重要了，这对设备设计平台提出了很高的要求，需要拥有相关保密性的功能。

从专业音视频角度来说，跟广播业能够很清晰看到一部分的融合就是AV over IP，AV over 1G到10G这些方面。电子背景墙市场的拓展，从早期的显示标牌，用一个城市主干道上的电视标牌的应用或者说大型演播现场或者大型活动现场的应用，拓展到室内，甚至企业和虚拟影院制作等等，然后我们可以看到企业和教育领域的音视频应用会有迫切的升级需求。KVM这个领域，也不再是以前传统政府和军事部门的应用，而是会越来越广泛地拓展到企业、机构等领域。

交互式标牌不再只是一个简单的Storytelling(将故事)这么一个演播作用，更多是交互式的，会有一个定向的机器学习对于目标识别的相关内容进行播放。因为交互式标牌在观众的识别角度看，可以看出来是男的、女的，或者年龄层级，多多少少根据大数据都可以做出相关内容的推送。这对专业领域的交互式标牌应用来说，会带来更精准的观众覆盖。

最后在视频会议中，事实上无论是重要的人讲的重要的话，还是内容的质量和自动转录等等都对音视频提出了更高的要求。与广播领域一致的是当视频内容和演播的触点变得更加广泛的时候，端到端保密性变得更加的重要，对设计设备的保密性功能提出了更高要求。

从技术的角度上来讲，从图像本身，因为我们毕竟是在讲一个音视频，尤其是视频方面的图像，从视频图像的角度来说，视频内容本身对更高帧数，更快帧率和更高色彩饱和度的要求会越来越专业。与此同时，新兴的HDR的也对更多的像素、更快的像素和更好的像素提出了需求。所以，向更高的分辨率、更高的帧速率和更高的动态范围发展这三点是视频内容制作的永久的推手，是用来满足人作为消费者眼睛所享受内容的永无止境的追求。

更高的分辨率、更高的帧速率和更高的动态范围也意味着其需要更多的带宽，对于相关的传输，存储、传播和压缩技术以及分析和虚拟化等工作流程和操作，也都会提出更新迭代的要求。

无论从HDSDI到12G和ST2110的演进，和DP1.1到DP1.4，DP2.0,和IP USB的演进和HDMI1.4到USB的演进，和1G到100G以太网.像素的变化推动了标准的演进和技术的升级。对于压缩来讲，从早期的DVD级别MPEG-2，一直到现在针对8K实现的AV1和H.266 等，除此之外还有各种各样跟内容制作息息相关的JPEG 2000/TICO相关的所谓的视觉无损压缩的要求和共存都提出了非常严苛的要求。

此外，在音视频这个行业，AI的介入一定是从事件检测分析介入的，这种用于事件检测分析的解码器和编解码器的优化，对于设计平台提出了要求。最后就是，我们看到的另一个趋势是， 所有平台都在往虚拟化、库化和容器化转换。

赛灵思灵活应变的高性能平台，在专业音视频和广播设备领域拥有独特的优势。既能满足8K和IP音视频需求，4K视频的编解码需求求，而且支持提高费效比的机器学习应用和自适应加速器及虚拟化应用。在消费类我们更多看到智能家居、机器人、智能音箱、8K和投影仪上的应用。

（编辑：bingjiling）