追光逐电！北大颠覆相机概念

中共中央总书记、国家主席、中央军委主席习近平10月26日下午在参观国家“十三五”科技创新成就展时强调，坚定创新自信紧抓创新机遇，加快实现高水平科技自立自强。

北大计算机学院

黄铁军教授团队牵头完成

重大原始创新项目

脉冲视觉模型

打破现有用图像记录视觉信息的基本方式

而是把一组光子变成一个比特

把一个光的变化过程直接转成一个比特流

实现了超高速摄像

百万像素超高速脉冲相机

01

“追光逐电”一直是黄铁军教授团队追逐的目标，如何让飞速即逝的物体能够定格并清晰地展示出来，这是目前困扰视觉芯片和系统行业高端应用的难点和痛点。

超高速脉冲相机颠覆了图像和视觉的固有思维，具有高速、实时、智能的特点，在高铁实时监测、高频电弧放电检测、六马赫风洞观测等场景中均有典型应用。

02

“照相术的产生经历了漫长的历史。”黄铁军介绍说，1827年，法国人约瑟夫·尼埃普斯采用他发明的“日光蚀刻法”，在白蜡板上敷上一层薄沥青，然后利用阳光和原始镜头，曝光时间8小时，拍摄下了窗外的景色，这是人类的第一张照片。1839年，法国人L.J.M.达盖尔发明银版摄影法：镀银铜板暴露在碘或溴蒸汽里，产生一层均匀的卤化银感光表面，曝光需要半个小时左右，受到不同光强照射的卤化银分解程度不同，利用水银蒸汽对曝光的银盐涂面进行显影。1888年，美国柯达公司生产出了新型感光材料“胶卷”：将溴化银感光材料附着在塑料片上作为载体，曝光时间缩短到秒级别甚至毫秒级。

银版照相法拍摄的世界第一位程序员Ada Lovelace，摄于1845年

尽管技术不断翻新，但其实只是剪掉了胶片这个“小辫子”，并未改变采用图像和视频记录光这种基本方式。图像意味着曝光这段时间光的变化过程“坍塌”为静止画面，而视频也只是每秒数十幅静态图像，无法记录速度高于帧率的物理现象，也不能做到连续成像，两帧图像曝光之间的间隔时段甚至完全丢失。

黄铁军教授团队的重大原始创新项目“超高速脉冲相机”就是要彻底剪去“心中的辫子”，颠覆图像和视觉的固有思维。

脉冲相机模拟灵长类视网膜编码原理，每个像素独立将光信号转换成比特流，准确、完整记录光的时空变化过程，推翻了沿用近两个世纪的图像和视频概念，有望从源头重塑包括采集、表示、编码、检测、跟踪和识别在内的整个视觉信息处理体系。

超高速脉冲相机的技术原理：从光子流到比特流

在探索视觉信息处理新路径的过程中，黄铁军教授团队与北京大学生命科学学院和医学部深度合作，项目团队已经研制出超高速脉冲视觉感知芯片、相机和系统，两款超高速脉冲视觉感知芯片和相机的空间分辨率分别为10万像素（400*250）和100万像素（1000*1000），时域采样率为4万赫兹，打破了“帧率天花板”，比传统视频快千倍，实现了超高速连续成像和高速目标实时检测跟踪识别。目前，整套项目已经收获了26项知识产权，其中包括2款芯片、2项软件著作权和中美日韩等国授权专利。

获得中美日韩等国家和欧洲的专利授权

尽管技术原理具有颠覆性突破，超高速脉冲相机的研发却无需“另起炉灶”，它的“高性能”建立在“高成熟”光电器件基础上，能够适应多种光照环境，更加适合机器视觉任务的实时化、全天候、多环境应用，在成熟的CMOS图像传感芯片生产线即可生产。

03

让脉冲相机飞入寻常百姓家

在黄铁军的心目中，希望让这项含金量极高的重大原始创新项目落地应用，将全世界所有相机都替换成脉冲相机，让所有视觉应用走向光速，让高速摄像飞入寻常百姓家，创造更多的社会和经济价值。

“首先，我们要形成脉冲相机技术知识产权和标准体系。脉冲视觉模型、芯片和基于该体系的脉冲视觉算法是全新视觉技术体系，发挥器件、芯片、算法、应用多个层面的先发优势，加快形成脉冲相机知识产权和标准体系，培养一批专门人才，带动行业发展，建立中国引领的视觉技术流派和产业体系。”

“第二，破解传统高速相机困局，开辟新的应用场景，创造新的产业增长点。超高速脉冲视觉芯片具有低功耗、低冗余、高时间分辨率的特性，适应多种光照环境等特性，使得它在工业制造、国防、交通、体育等众多行业展现出应用潜力，有望创造新的应用场景，上下游相关产业也将受带动效应迎来多轮增长。”

“第三，项目将带动半导体等相关产业发展。超高速脉冲视觉芯片采用成熟集成电路工艺就能生产，‘点石成金’般实现高速视觉，对所有视频和视觉应用都将带来深刻影响，应用推广将为半导体产业带来强大需求，带动相关产业发展。”

为了推动北大人的科研原始创新项目尽快服务国家重大战略，早日实现这些社会和经济价值，推进产学研深度融合发展，10月20日，北京大学和北大科技成果转化基金联合孵化的脉冲视觉（北京）科技有限公司正式注册成立，同时启动了超高速脉冲相机的产业化进程。

北京大学科技成果转化基金是由北京大学、北京市科技创新基金以及其他多家知名投资机构共同发起设立的北京大学第一支科技成果转化基金。作为耐心资本，基金将聚焦高端“硬技术”领域，以原始创新为主要投资阶段，致力于推动科技成果转化，助力国家创新能力提升。

国家“十三五”科技创新成就展

北京大学“超高速脉冲相机”项目展台

黄铁军由衷地表示：

面壁十年图破壁，不做加法做减法，回到问题源头，才能实现更大突破。

数码相机剪掉了物理胶片的“辫子”，但没剪掉“心中的胶片”。脉冲相机推翻沿用近两个世纪的图像和视频思维定势，完成数码相机尚未完成的数字化革命，释放出光电器件和芯片的高速能力，点石成金，追光逐电，开创视觉技术全新天地，这从一个侧面诠释了“北大是常为新的”。

黄铁军，北京大学计算机学院教授，北京智源人工智能研究院院长，中国计算机学会会士，中国人工智能学会会士，国家杰出青年科学基金获得者、长江学者和万人计划科技创新领军人才。

主要研究方向为智能视觉信息处理，对高效视频编码标准和视觉大数据分析处理技术体系作出了重要贡献，提出了脉冲视觉模型并开发了超高速脉冲视觉芯片和系统。发表学术论文300多篇，作为主要起草人制定国家标准、国际标准和IEEE标准20多项，授权中国和国际发明专利100多项。获国家技术发明二等奖（2017，序1）和国家科学技术进步二等奖两次（2012序2，2010序4）。

来源：北京大学融媒体中心、科技开发部

图片、视频：脉冲视觉（北京）科技有限公司

封面图片：视觉中国

文字：韩芳

文字编辑：燕元、安宁

视频编辑：陈波、王昆

排版：孙萌

责编：张宁