18

11月

2022

0000

计算传播研究中的计算机视觉分析:基于B站政务视频的研究案例与讨论

导 读


本文基于视觉框架理论,运用计算机视觉分析方法,基于B站政务视频数据,探索风格层次的视觉框架(包括人脸呈现、感知亮度、图像熵等元素)分布特征与层级差异,及其对于视频传播效果的影响。

随着图文多媒体、短视频等新传播形态的兴起,运用机器自动化方法对视觉文本(图片、视频等)进行分析的计算机视觉技术在计算传播研究中得到重视[1],但立足中国场景的具体实证研究仍较少。本文通过对B站政务视频视觉框架特征及其传播影响的实证研究探讨计算机视觉分析技术在传播研究中的具体运用。


   基于视觉框架理论的

计算机视觉分析及案例介绍

基于社会建构主义的元理论取向,潘忠党指出架构分析(framing analysis)是一个关于人们在建构社会现实中如何交往的研究领域,并可分为话语呈现(文本再现)、话语构建(框架建构的行动及过程)、话语接收(架构效果及其心理机制)三大范畴,框架有四个栖身之所——传播者的认知、传播者建构的文本、文本接收者的认知以及传播活动和文本流通的场景(即文化)[2]。具体到文本层面,“框架”(frame)概念描述传者提供给受者如何理解符号的诠释规则(“诠释的基模”,schemata of interpretation)[3];代表人们“选择感知到的现实的某部分,将它们凸显在传播的文本中,以此宣导关于被描述对象的某种问题定义、因果解释、道义评估以及处理方法”[4];作为话语单元的“核心组织观念或故事脉络”,它决定了符号表达手法的选择,构成论说特定议题或事件的“意义体系”,从而使其“具有意义”(make sense)[5]。过往研究讨论了如何确定新闻框架、框架的具体构成、架构效果以及行动者围绕框架构建展开的商议、斗争等实践过程,使得“框架理论”或“架构分析”成为传播研究中一个勾连文本、实践与效果的重要理论领域。

但在以往的框架分析中,主要依赖文本(文字)材料,忽视对于视觉的分析。随着视觉媒介的蓬勃发展,视觉图像在框架构建与呈现中扮演的角色日趋得到重视,视觉框架为框架理论的发展提供了一个重要的新方向。Rodriguez和Dimitrova为此提出了分析视觉框架的四层次模型:(1)外延层次,(2)风格层次,(3)内涵层次,(4)意识形态层次。[6]其中,“外延层次”(denotative level of framing)指视觉主题(topic),主要关注图像“描绘了什么事或什么人”的问题;“风格层次”(stylistic level of framing)主要关注视觉中实际显示的对象(objects)和离散元素(discrete elements),即视觉图像的内容(如呈现人脸、细节)及其视觉特征(如亮度、熵值、色彩等图像特有的元素);“内涵层次”(connotative level of framing)可类比文字报道的隐喻,主要关注图像中的视觉符号(如旗帜)象征的话语与社会意义;“意识形态层次”(ideological level of framing)主要关注视觉图像背后隐含的意识形态导向,即视觉服务于什么利益、展现了谁的声音等态度与价值问题。

在这四个层次中,风格层次的视觉框架识别依赖较高的技术门槛,诸如亮度、熵值等元素均需要借助计算机视觉识别技术,因此成为计算机视觉分析的主要领域,本文在实证层面将重点关注这一视觉框架层次。

具体地,本研究将以B站政务视频为分析对象。随着政务新媒体的快速发展,政务传播与沟通已经进入视频领域,其中B站作为面向年轻群体(Z世代)的新媒体也已受到政务新媒体的关注与重视,但对其的实证分析较少。因此,作为一项探索性的计算机视觉计算传播研究,本文基于B站政务视频的数据挖掘,探索风格层次的视觉框架特征及其对传播效果的影响。


研究问题与假设

基于上文的视觉框架理论,本研究对政务视频的实证分析聚焦风格层次框架,主要包括三个维度:人脸呈现、感知亮度与图像熵值。

其中,人脸呈现指B站视频封面图中是否包含人脸,由于封面图是视频尚未进入观看状态前的直观呈现,是影响受众观看视频行为的关键要素,拥有人脸可能对视频的传播效果具有影响。相关实证研究表明,人格化策略的运用能够有效提升主流媒体短视频的传播效果,人格化的空间呈现方式,即人脸“更近的距离”与“竖屏拍摄”带来更好的传播效果[7];有人脸出现的视觉图像会吸引更多的注意力,并唤起积极的情感反应[8]。

亮度(brightness)是受众感知视觉图像的重要指标,影响着人们对于接近性与深度的感知,并在吸引受众注意力以及影响视觉感知记忆方面扮演重要角色[9]。研究发现较高的亮度对人们的信息判读能力有正向影响[10],能为受众带来更好的观看体验[11]。图片感知亮度还可能影响受众对图片情感的判断,受众对高感知亮度的图片有着更积极的评价,正面情感图片比负面情感图片的感知亮度普遍更高,对于同一张中性图片,较亮的那张也更可能获得积极评价[12]。

图像熵(entropy)概念基于信息熵概念,指图像中像素的异质性,反映了图像包含信息量的大小,图像熵值越大其所蕴含的信息越多,因此被较多地用来评价图像质量。在视觉图像中,较高的熵值意味着单位面积下能传递的信息和细节元素更丰富,因此会带来积极的感知与较高的审美评价[13]。

基于上述概念和文献讨论,本文提出如下研究问题和假设:

研究问题1:B站政务视频风格层次的视觉框架特征(包括封面图人脸比例、视觉感知亮度、图像熵值)如何?

研究问题2:不同层级(中央级、省级、地市级、县级及以下)的B站政务视频风格层次的视觉框架特征(包括人脸比例、感知亮度、图像熵值)是否存在差异?

研究假设1:B站政务视频封面图的人脸呈现对其传播效果具有显著正向影响。

研究假设2:B站政务视频的感知亮度对其传播效果具有显著正向影响。

研究假设3:B站政务视频的图像熵值对其传播效果具有显著正向影响。


研究方法

本研究对象来自国内政府机构及其下属部门在B站上开设并运营的账户。我们于2022年2月录得578个B站政务号,并以至少发布10个以上视频作为标准,获得活跃账户383个(占总数的66.26%)。然后通过简单随机抽样从中抽取200个B站政务号作为研究样本,并依据其运营主体的行政层级分为四类(由两位编码员编码,信度系数Kappa值为0.86)——中央级(占比9.0%)、省级(28.5%)、地市级(41.5%)、县级及以下(21.0%)。对于政务视频样本的获取,我们希望聚焦播放量较高的热门视频,因此通过“账号主页-最多播放”方式使样本账号的视频以播放量倒序排列,并采用Python程序抓取每个B站政务号播放量位居前10的视频(截至2022年2月15日),最终获得了N=2000个政务视频,作为本文的视觉研究样本。

以下说明主要变量的测量方式:

(一)风格层次视觉框架的测量。视频封面图的人脸呈现:本研究通过腾讯AI开放平台中的人脸识别板块确定图像中是否包含人脸(https://cloud.tencent.com/product/facerecognition)。

视频的本质是连续的图片帧,因此视频图像的视觉信息来源于单个帧相关信息特征的集合。本研究将2000个B站政务视频借助“JPG Converter”进行逐帧切分并每1秒从中抽取1帧进行采样分析,以采样帧作为分析“感知亮度”与“图像熵”的样本。

感知亮度:我们通过测量每一个视频所有抽样帧的感知亮度并进行算术平均得到该视频图像的感知亮度。具体地,通过Python程序OpenCV库将RGB色彩模式下的采样帧转化为CIELab表色体系并获取在该表色体系下的L通道,以此作为一个采样帧的感知亮度。Lab表色模式由国际照明委员会(CIE)在1976年正式公布,是CIE组织确定的一个理论上包括了人眼可见的所有色彩的模式,由L、a、b三个通道组成,其中a/b为两个色彩通道,L通道则为亮度通道——仅有L值影响色彩明暗变化,其取值范围为0-100。运用该模式的方法也已被证明更接近于人类的视觉亮度感知[14],并已被其他计算传播研究采用[15]。需要注意的是,该亮度值仅考虑图像本身的特征,并不考虑额外的亮度影响因素(如计算机显示器亮度设置带来的差异)。

图像熵值:我们依据香农熵公式测量图像熵,计算公式如下:

其中P(xi)表示图像中灰度值为i的像素在图像中所占的比例,该公式表明所有像素均为黑色的帧其熵值将会为0,而高度纹理化的帧将会有更高的熵值(最大不超过8)[16]。为计算每一个采样帧的图像熵,研究首先使用Python程序OpenCV库将所有采样帧转化为灰度图片,用以降低图像信息维度并提高运算处理速度。每一个样本视频的熵由该视频所有采样帧熵值的平均值计算得出。

(二)视频传播效果的测量。本研究对视频传播效果的测量分为“传播广度”(播放量)、“传播认同度”(包含点赞、投币、收藏、转发数)以及“传播参与度”(评论、弹幕数)三个维度,并参考文献[17][18],将传播广度、认同度、参与度分别赋予比重0.5/0.3/0.2,对各指标加权结果取自然对数以平滑数值,最终形成B站政务视频传播效果(计算公式如下):

C传播效果=ln[0.5B播放+0.3(D点赞+T投币+S收藏+Z转发)+0.2(D弹幕+P评论)]

(三)其他控制变量的测量。除了主要考察的风格层次的视觉框架外,我们还测量了外延层次的视觉框架(即视频主题),结合B站对视频的分区以及人工编码分为六类:新闻资讯(26.35%)、形象宣传(9.95%)、政务信息(2.35%)、民生服务(6.50%)、知识传播(23.65%)、生活娱乐(31.20%)。其他变量包括:视频文本层面的变量如标题字符长度、标题中是否含感叹号与问号,视频元数据层面的变量如视频时长(以秒为单位测量),以及账号属性层面的变量如账号粉丝数、总发布视频数。

研究发现

(一)B站政务视频的风格层次视觉框架特征及其差异。首先,研究发现在总计2000张封面图中,出现可识别人脸的为805个,占比40.25%。就不同层级而言:中央级B站政务视频中封面图出现人脸的占比为47.22%,省级为43.16%,地市级为37.47%,县级及以下为38.81%,卡方检验显示层级之间的人脸比例差异达到显著程度(p<.001),中央和省级政务视频封面图包含的人脸比例高于地市级与县级及以下。

其次,研究发现B站政务视频的感知亮度平均值为49.64。分层级看,中央级政务视频图像的感知亮度平均值为48.15,省级平均值为46.41,地市级平均值为51.00,县级及以下的平均值为51.96。方差分析显示各层级政务视频的感知亮度存在显著差异(p<0.001),地市级与县级及以下层级的视觉图像感知亮度平均值高于中央与省级机构,即在受众视觉观感上更明亮。

再次,研究发现B站政务视频的图像熵值平均值为6.69。其中,中央级政务视频的视觉图像熵值的平均值为6.76,省级平均值为6.72,地市级平均值为6.60,县级及以下平均值为6.79。方差分析显示各层级政务视频的图像熵值存在显著差异(p<0.05),中央、省级与县级及以下政务视频的图像熵值相较于地市级更高,即前三者发布的视觉图像的信息与细节丰富程度比后者更高。

(二)B站政务视频传播效果的影响因素分析。回归分析发现(见表1):风格层次的三个视觉框架特征均对政务视频的传播效果具有显著影响。其中,人脸呈现对总体传播效果(β=0.055,p<0.001)以及传播认同度(β=0.032,p<0.05)均有显著正向影响,即视频封面图中出现人脸有利于传播效果,研究假设1成立;感知亮度(β=-0.050,p<0.01)对传播效果产生显著的负向影响,即图像的高感知亮度反而不利于视频传播效果,假设2不成立;图像熵值(β=0.042,p<0.05)对传播效果具有显著的正向影响,即拥有高图像熵值、信息更丰富的视频画面会对传播效果产生有利影响,假设3成立。总体上,风格层次的视觉框架只能解释传播效果变异的1%左右,说明在控制其他变量的情况下,该组变量的解释力有限。

表1:B站政务视频传播效果影响因素回归分析结果

其他对B站政务视频传播效果影响较大的变量包括:(1)外延层次的视觉框架(即视觉主题)——相对于生活娱乐主题,新闻资讯和形象宣传类的政务视频具有显著更高的传播效果;(2)账号层级——相对于县级及以下政务账号,中央级、省级和地市级账号的政务视频的传播效果更高;(3)账号其他特征——粉丝数多以及发布视频总数更多的活跃账号的视频传播效果更高;(4)视频文本特征——标题中含有感叹号和问号的视频的传播效果均更高。


小结与讨论

本文以B站政务视频为实证研究样本,探索了风格层次的视觉框架——特别是人脸呈现、感知亮度、图像熵等元素的分布特征与层级差异,及其对视频传播效果的影响。研究利用计算机视觉技术突破了以往研究限于人工无法分析的视觉框架(特别是感知亮度、图像熵),实现了对于B站政务视频的计算传播分析;进而检验了视觉框架对于传播效果的影响。研究表明,无论是风格层次还是外延层次,在控制其他变量的情况下,均对政务视频的传播效果具有显著的独立影响(尽管其解释力较低)。

其中,封面图人脸的呈现对于政务视频的传播效果起到了显著的正向影响,可被视为人格化传播的效果,对政务新媒体的运营实践具有启示。图像熵值对于政务视频的传播效果也呈现显著的正向影响,证实了拥有丰富信息与细节的视觉图像有利于提高传播效果。不过,图像感知亮度却对政务视频的传播效果产生负向影响。本文认为,原因可能在于B站政务视频的感知亮度普遍处于较高水平。前人研究曾设置较亮、中立、较暗分组下样本平均感知亮度分别为52.07、43.15、34.60,而本研究中视频平均感知亮度为49.64,高于中立亮度组数值而接近较高亮度组,而在较高亮度基础上更高水平感知亮度的使用则可能对传播效果带来负向影响[19]。当然这一点还需在未来研究中得到更仔细的分析。

本文是对计算传播研究中的计算机视觉分析的一次探索性应用。研究主要证实了在中国场景下结合方兴未艾的媒介实践(如政务视频、短视频等)进行视觉计算分析的重要价值:不但可以增加对于视频等视觉传播内容的分析维度,而且可以增加对诸如传播效果等重要变量的解释因素。但本研究尚属初步。针对未来基于计算机视觉的计算传播研究,我们提出如下三点建议:第一,鼓励开展更多基于视觉内容的计算传播研究。计算传播研究需要超越文本(文字)偏向,更多关注图片和视频;同时需要防止将视觉与文本对立,而应当开展更多综合多模态的计算传播研究(如本研究已经证实视频文本与视觉元素各有影响)。第二,不断拓展计算机视觉分析的多元性。本文主要分析了人脸呈现、感知亮度、图像熵值等维度,未来研究还可以深化对于画面主导色彩、特殊视觉符号等多维度的计算机视觉分析。第三,增强视觉计算传播研究的理论性。本研究虽然从框架理论引介视觉框架理论,但对于风格层次的视觉框架特征分析其实没有太多体现传统“框架理论”背后的底层逻辑——现实建构中的公共交往与意义实践,而仅在描述、比较和解释传播效果的层面上使用(也就缺少了对于视觉框架何以生产的机制解释),这就有赖未来研究更多结合传播过程中的生产实践和受众接收,更多展现作为“框架”的视觉元素如何在公共话语建构中扮演角色,从而加深我们对于视觉(视频)时代公共话语的理解;这也包括结合计算机视觉技术与其他多元方法,增加对于视觉框架的另两个层次——内涵符号层次和意识形态层次的分析,从而将基于视觉的计算传播研究不断推向深入。

【本文为国家社科基金重大项目“智能时代重大舆情和突发事件舆论规律及治理研究”(批准号:20ZDA060)、国家自然科学基金重点项目(批准号:71731004)、国家社科基金重大项目(批准号:19ZDA324)、复旦大学上海新媒体实验中心项目(2022)阶段性成果】

参考文献

[1]官璐,周葆华.计算机视觉技术在新闻传播研究中的应用[J].当代传播,2022(03):20-26.

[2]潘忠党.架构分析:一个亟需理论澄清的领域[J].传播与社会学刊,2006(01):17-46.

[3]Goffman E. Frame analysis: An essay on the organization of experience. Harvard University Press, 1974.

[4]Entman R M. Framing: Toward clarification of a fractured paradigm[J]. Journal of Communication, 1993,43:51-58.

[5]Gamson W A. Talking politics. New York: Cambridge University Press, 1992.

[6]Rodriguez L, Dimitrova D V. The levels of visual framing[J]. Journal of Visual Literacy, 2011, 30(1):48-65.

[7]吴晔,樊嘉,张伦.主流媒体短视频人格化的传播效果考察[J].西安交通大学学报(社会科学版),2021,41(02):131-139.

[8]Kizilcec R F, Papadopoulos K, Sritanyaratana L. Showing face in video instruction [C]//Proceedings of the SIGCHI conference on human factors in computing systems. 2014: 2095-2102.

[9]Qian J, Zhang K, Wang K, et al. Saturation and brightness modulate the effect of depth on visual working memory[J]. Journal of Vision, 2018, 18(9): 16-16.

[10]葛列众,佥文雄,郑锡宁.眩光强度对较高亮度视觉判读作业绩效的影响[J].人类工效学,1997,3(4):13-15.

[11]田野.亮度的革命[J].中国计算机用户,2002(27):44-44.

[12][19]Lakens D, Fockenberg D A, Lemmens K P H, et al. Brightness differences influence the evaluation of affective pictures[J]. Cognition & emotion, 2013, 27(7): 1225-1246.

[13]1Zheng X S, Chakraborty I, Lin J J W, et al. Correlating low-level image statistics with users-rapid aesthetic and affective judgments of web pages[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 2009: 1-10.

[14]Baldevbhai P J, Anand R S. Color image segmentation for medical images using L* a* b* color space[J]. IOSR Journal of Electronics and Communication Engineering, 2012,1(2): 24-45.

[15][16]Lu Y, Pan J. The pervasive presence of Chinese government content on Douyin trending videos[J]. Computational Communication Research, 2022,4(1).

[17]陈强,张杨一,等.政务B站号信息传播效果影响因素与实证研究[J].图书情报工作,2020,64(22):126-134.

[18]周勇,陈慧茹.多级传播路径下的网络视听信息影响力评估体系建构[J].现代传播,2013(03):123-128.


文章来源:《青年记者》2022年第20期

文章作者:周葆华 王风范(周葆华:复旦大学信息与传播研究中心研究员,复旦大学新闻学院教授,复旦大学全球传播全媒体研究院、国家发展与智能治理综合实验室研究员;王风范:复旦大学新闻学院硕士研究生)

本文引用格式参考:周葆华,王风范.计算传播研究中的计算机视觉分析:基于B站政务视频的研究案例与讨论[J].青年记者,2022(20):25-28.

微信扫码 实时咨询

咨询电话

010-64890718

400-9697-986

Copyright2014  同力成(北京)文化传媒有限公司