赛事转播由观众当导播?“自由视角”技术让冬奥观赛身临其境******
你是否想象过,通过任意视角“无死角”观察比赛细节的新体验——随意滑动手机屏幕,比赛转播画面便相应转换角度,当选定角度松开手指,画面即以新的视角和位置播放;借助“子弹时间”技术,在比赛过程中“凝固时空”,全方位观看运动员的竞技瞬间……
“这个技术让我们坐在家里却好像置身赛场,360度想看哪里就看哪里,紧紧跟上瞬息万变的赛场形势。”使体育赛事观众感到新奇的这一体验,是国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”中,由优酷参与研发的历时两年多研发的“自由视角”视频技术所带来的。该技术于2021年4月亮相“相约北京”冬季体育冰上项目测试活动,分别在国家体育馆、五棵松体育馆运行测试。
赛事转播新技术的惊艳亮相,进一步推动着科技创新与冬奥赛事深度融合。通过我国企业自主研发的“自由视角”视频技术对冬奥冰雪项目进行示范播出,观众可使用电视、手机或VR设备,通过自主交互连续改变视角和位置,既可以让画面静止以观察某一个比赛瞬间的不同角度,又可以让画面保持流动而不打断比赛,让观众自己当“导播”,突破传统的定点和被动式观赏赛事,提升用户观赛体验。
观众体验自由视角观赛
“我们看到的画面并不是由相机单纯拍摄的,而是通过算法渲染出来,根据三维程序补充出来的。”优酷“自由视角”系统课题负责人盛骁杰介绍,在测试活动中,国家体育馆内的U型架上共架设40台相机,总长度达210米。通过三维重建和渲染,可以渲染出任意时长和帧率的精彩特效片段,相当于1200台相机同时拍摄拼接的效果。无须特殊装备,也不用专门的带宽,仅需手持5G手机,搭配5G网络,冰雪“发烧友”就可以便捷实现高质量的交互式观赛。
据了解,在内容生产上,“自由视角”技术能嵌入转播信号,实现多角度、清晰的即时三维比赛细节还原。针对冰球比赛,这一技术以重点镜头和氛围镜头为侧重,能够让观众感受到冰球赛事独特的魅力。此外,该技术可协助裁判更快速、精准地做出判罚,还能使运动员和教练员在日常训练中多角度直观回顾场上细节。“它可以直接植入到普通的转播当中,比如场上比赛的某一瞬间,观众或裁判没看清楚,系统可以随时生成一个360度的信号提供给裁判和转播商,能够很好地解决判罚和观赏方面的问题。”盛骁杰说。
“‘自由视角’技术的目标是建立交互式多维度观赛体验系统。具体来讲,我们想实现全新的观赛体验。”“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”项目负责人、北京大学博雅特聘教授陈宝权表示,这一技术的第一个特点是实现了多视点观赛功能,第二个是交互性,观众可以决定自己的视点,选择其最舒适的视角去看精彩的比赛。同时,“自由视角”技术还实现了多终端的观看,除通过电视收看外,还支持手机端和VR设备观看。“戴着VR设备,不需要手的交互,而是通过人们身体的自然交互,VR设备的视角能使我们进一步达到身临其境的观赛体验。”
工作人员对自由视角视频直播作测试
事实上,在应用于北京冬奥会赛事转播前,“自由视角”技术已成功落地多档综艺节目及CBA、CUBA等体育赛事场景。而测试活动中所使用的“自由视角”技术和以往的应用有所不同,项目组形成了具有自主知识产权的端到端自由视角点播和直播系统,将8K“自由视角”系统从现场阵列采集、云端三维重建、编码传输到终端解码渲染都做到了端到端实时处理,从而达到能够支持冬奥相关赛事直播的技术水平。(孔繁鑫)
邬贺铨谈2023年ICT发展十大期待:元宇宙要尽快从炒作转到务实******
光明网讯(记者 李政葳)“2023年我国经济发展仍然充满不确定性,中国经济发展进入动能转换期,需发挥TFP中数据作为新生产要素作用,以数字化转型为ICT产业发展开拓广阔空间。”1月6日,由中国工信出版传媒集团主办、北京信通传媒·通信世界全媒体承办的“2023ICT行业趋势年会”上,中国工程院院士邬贺铨这样说。
“极不平凡的2022年,ICT产业可谓负重前行。”展望2023年,在充满不确定性的发展环境与互联网进入下半场的时代背景下,邬贺铨提出了十大期待:
期待一:5G向5G-Advanced演进
邬贺铨表示,移动通信已经进入5G时代,从应用、性能和技术层面,5G相比前几代在技术上有了很大的发展,应用场合有了很大的扩展,性能有了很大的提升,开创了移动通信新的时代。5G-Advanced作为5G后续阶段的增强演进,致力于提升个人实时交互体验,增强蜂窝物联网能力,不断探索上行超宽带、实时宽带交互和感知定位等新场景,基站的低碳将取得可喜进展。其研究方向将聚焦于:网络智能化、行业网融合、家庭网融合、天地网融合、AR/VR融合、用户面增强、确定性通信能力增强、网络切片能力增强、通感一体增强、组播广播增强。
期待二:5G推动星地融合
当下,移动通信难以做到对边疆、应急和海洋等低成本广覆盖。不过,用手机直连卫星(同步轨道、低轨、北斗)可实现单向发送救援短报文。低轨卫星的出现提供了可使用小型终端直接接入的可能,但卫星过顶时间短,需要数百到上万颗卫星组成星座。基于此,邬贺铨认为,卫星移动通信系统发展方向是与地面移动通信5G网络融合。不过,星地融合目前依然面临挑战,例如,终端与星间往返时延大,小区半径上百公里,中心和边缘处的终端到卫星的传输时延相差很大。邬贺铨建议,星地网络协同设计进而推动卫星移动通信发展。
期待三:6G的研究从愿景开始
随着5G进入规模商用阶段,6G正进入概念形成和技术储备的关键时期。未来,6G将实现人、物理世界和数字世界的智慧联接,实现多空间深度融合。在邬贺铨看来,发展6G没必要一味求“快”,它更大的意义在于覆盖5G到不了的地方,将许多目前的“不可能”变为“可能”。哪些技术将有望成为6G研究的关键呢?对此,邬贺铨认为,物理层技术增强(超大规模MIMO、全双工)、新物理维度(智能超表面、全息、轨道角动量)、新频谱技术(太赫兹、可见光)、融合技术(通感一体、通信+AI)、网络技术(内生智能网络、分布式自治网、确定性网络、算力感知网、星地一体网、网络内生安全)等技术将成为关键。
期待四:5G+工业互联网构建数实融合平台
对于中小企业使用公有云,邬贺铨认为,可以通过5G在工业互联网构建企业上云的一个平台。5G核心网的用户面,可以为一组用户组成一个5G局域网的用户群,可以实现第二层包的转发,缩短转发的距离。相对WiFi来讲,它有更好的覆盖以及更好的业务的隔离。
期待五:IPv6+提升对数据流感知与管控能力
“十四五”时期是加快数字化发展、建设网络强国和数字中国的重要战略机遇期,我国IPv6发展处于攻坚克难、跨越拐点的关键阶段。邬贺铨指出,IPv6使得我国有了与发达国家相比起步还不算晚的机会,而且我国因原来使用私有地址,故对比地址数更为看重IPv6的可编程空间。因此,我国率先在IETF标准化组织倡议并积极开发“IPv6+”新功能,现在IETF关于“IPv6+”新功能的文稿中由我国提交的占60%,我国在“IPv6+”系统与产品开发创新的努力为全球“IPv6+”标准发展作出积极贡献。
期待六:云网融合+算网协同打造互联网新基建
在《“十四五”数字经济发展规划》中明确指出,要推进云网协同和算网融合发展,加快构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系,加快实施“东数西算”工程,推进云网协同发展,提升数据中心的跨网络、跨地域数据交互能力,加强面向特定场景的边缘计算能力,强化算力统筹和智能调度。邬贺铨表示,从国家的要求以及从业务和应用发展来看,云网融合和算网融合是自然的一种选择。云网融合+算网协同打造的新型信息基础设施,既夯实了互联网行业发展的基础,也为ICT产业创新再出发提供了用武之地。
期待七:抓住摩尔定律持续的机遇
邬贺铨认为,伴随芯片技术进步的是对开放统一跨架构编程模型的需要。基于标准的统一软件堆栈,对源自不同厂商的CPU、GPU、XPU、FPGA、AI加速器等底层硬件能力做统一描述并通过各种不同的高性能库去封装,允许使用业界标准的编程语言直接对这些硬件能力进行编程,统一代码维护,能显著提升开发效率。同时,得益于芯片技术进展,5G的高带宽低时延特点也将得以发挥。
期待八:AI自动生成内容将迎来爆发式增长
针对AI前景,邬贺铨以OpenAI公司为例。AI研究公司OpenAI成立于2015年,股东有马斯克、PayPal和微软等。OpenAI 2020年开发出了GPT-3语言模型(拥有1750亿个参数),2022年12月1日基于GPT-3的聊天机器人ChatGPT开放测试,因其高质量的内容回答迅速走红,上线5天就超百万用户,挑战传统搜索引擎。
AIGC(人工智能自动生产内容)作为基于大规模数据训练的大模型,将颠覆现有内容生产模式,可以实现以十分之一的成本,以百倍千倍的生产速度,创造出有独特价值和独立视角的内容。AIGC不仅用于内容生成,其新思路和途径也可用在工业领域。
期待九:WEB3.0支持数字资产与实物资产关联
Web1.0是PC互联网;Web2.0是移动互联网;Web3.0是价值互联网,它是去平台中心化或者说是用户中心化,利用区块链、智能合约等,构建在区块链基础上去中心化的互联网新应用形态,通过确权使用户在网上创造的作品成为数字藏品(NFT--非同质化通证,即可信数字权益凭证),实现平台与用户利益分享。邬贺铨指出,Web3.0可以应用到博客、游戏、数字藏品,实现数字资产与实物资产关联,催生数字藏品创作市场及相应的工作岗位。
期待十:元宇宙要尽快从炒作转到务实
元宇宙是指人类运用数字技术构建的,由现实世界映射或超越现实世界,可与现实世界交互的虚拟世界。狭义的元宇宙是一种基于AR/VR/MR等技术,整合了用户化身、内容生产、社交互动、在线游戏、虚拟货币支付的网络空间。元宇宙源于现有技术的集成但尚未成熟,而且沉浸式的XR、全息影像和感官互联等需要很高的带宽,5G也难以支持。
邬贺铨指出,元宇宙前景还不清晰,目前主要面向消费的应用(沉浸式文旅、高体验游戏、感官互动等),未来还可进行产业应用(数字创意设计、开发平台、虚拟办公空间等)。元宇宙尽管充满着想象空间,奈何研发成本高、研发周期长,且难成大众刚需,短期内很难看到回报。不过,元宇宙要尽快从炒作转到务实,虚拟世界是网络空间的一种生态但不代表互联网未来。
(文图:赵筱尘 巫邓炎)