由广告创意与AI技术(人工智能技术,以下简称为“AI”)的融合而诞生的“CG女高中生”Saya。通过3DCG绘制的女高中生栩栩如生,巧妙地载入表情识别AI、视线识别AI,于2018年3月在美国奥斯汀举办的“SXSW Trade Show”上闪亮登场,让众多的来场者为之惊叹。我们采访了领导技术团队的Technical Director(技术总监)中原玄太,请他谈谈本次开发的幕后故事。
我现在所在的部门是博报堂的Business Incubation 局,平时不仅从事大众广告的业务,还从事无法以传统广告来定义的、挑战新业务模式的业务。我原先在研究生院攻读数学,在进入博报堂之前,曾经在金融工程公司从事基于编程的近似计算定价的工作,2012年进入博报堂后,首次接触使用统计数据进行营销的手法,让我感到既新鲜又有趣。恰逢此时,我个人参加了Rhizomatiks的真锅大度先生和Qosmo的德井直生先生主办的名为“2045”的俱乐部活动,在那里受到很大震动。在活动中,包含实验性地进行了同步参与者的播放列表、分析歌曲的类型、让AI进行选曲、AI和DJ交替连接歌曲等尝试,我有幸从中亲眼目睹了AI和数学融合到创意世界的情景。 从那时起,我对AI在创意中的运用感到越来越浓厚的兴趣。
之后,我很有缘地认识了Qosmo的德井先生,我个人向他请教了AI的知识,聆听了Rhizomatiks的内部演讲,了解了使用openFrameworks框架的现场表演方法等,而AI能够实时实现若是采用CG则需要花上好几天的表现,这给我留下了深刻的印象。对于学习过数学的人来说,学习视觉编码或AI模型时,可能会比普通人更容易上手。于是,我将其当作爱好,开始尝试自己使用openFrameworks来进行各种各样的操作。在公司内部的工作交流会上,我也使用基于编程的输出来提交作业,并且还为音乐家朋友创作了音乐视频。
我聊得太长了吧(笑),2017年5月,Saya的博报堂内制作人对我说:“团队内部还没有十分熟悉AI的成员,希望你能给Saya团队讲讲课。”那是我和团队的第一次接触。
归根结底,在Saya项目中运用AI始于项目Creative Director(创意总监)——TBWA\HAKUHODO新泽崇幸先生的主意。
新泽先生告诉我们第一眼看到Saya的直觉:“这不应该仅仅是作为一个CG美少女角色就完结。”Saya中蕴含着超越角色、有可能成为某种标志的象征性。他认为,她可以被象征化为走在现代技术前沿的存在。于是,他向创造Saya的“父母亲”,即CG艺术家石川晃之先生、友香女士夫妇的组合“TELYUKA”,提出了关于Saya的理念,也就是融合各种技术,使其更接近于躯体;另外通过扩展认知,使其作为角色而有所进化,作为“不断成长的内容”持续不断地进行开发。TELYUKA组合对整合技术来创造新事物表示赞同,本项目便从这里开始起步了。
我进入Saya团队时,在项目中运用AI的事已经基本确定,当时处于研究具体从哪里、如何着手的阶段。于是我提议,是否可以向专门从事AI的广告创作、并发表过多件使用AI媒体艺术的Qosmo德井先生要求合作。也就是在这个时候,我正式参加团队的事也确定了。
作业时的显示屏
在运用AI时,首先想到的便是“语言”。也就是“要让Saya说点什么”。但是语言其实(笑)超难,而且,将嘴部动作和声音做到匹配,这尤其是难上加难的事。如果要让看到的人吓一跳,采用其他方法是否会更好呢?我们得出了这样的结论。当时我们首先想到的便是运用表情识别AI实现以感情进行沟通。而质量非常高的图像,仅1秒的素材便需要几个小时的渲染才能完成。本来需要花费这么多时间的过程,却能配合观众的表情和动作不断地发生即时性的变化,那么对影像技术有一定程度了解的人就会将其视作变魔术,而对于不懂技术的人而言,高画质的影像能实时以互动的方式作出回应,这将是一种不曾体验过的惊喜。我觉得,如此制作出来的作品,将成为不管技术运用能力如何,对任何人而言都是十分有意思的作品。
在展出Saya的“SXSW Trade Show”(以下简称“SXSW”)上,具体进行的操作是先把体验者的脸部分类为7种表情,按照类似于“开心70、担心20、惊奇10”的形式写下来,使其加起来为100。
开发中的图像
其机制便是通过实时对拍摄的体验者脸部影像作出分析,当它们分别超过一定的阈值时,眼前的影像就会改变。对体验者而言,Saya对自己的表情,能在一瞬间便作出“害羞”“躲开视线”等自然的反应。另外,我们要求体验者站在播放Saya的94英寸显示器对面,但是Saya并不使用类似展位的东西隔开。不管周围有多少人,她只识别在眼前的体验者本人的脸部。这都要归功于开发方面的重大突破。这次虽然没来得及准备,但我们也打算创造出CG和人类视线相对的体验。只是在这里公布一下(笑),其实在背后,以高精度追踪体验者视线的解析AI的准备工作,也已经不为人知滴水不漏地完成了。希望有一天能让它跟大家见面。
在SXSW展出Saya
展览连日来挤满了想要参与体验的观众们。其中也有很多人把感动和惊叹当场发送到社交网络上。
我在这里虽然不能说得过于详细,但所有一切都将好几种尖端技术相互组合,而且还加入了许多精细的考量,并且运用计算机的能量,那个名叫Saya的互动功能才得以确立。
我们是从2017年下半年起开始将目标定为参展SXSW。自那以后,我们真正开始投入开发,大约半年后便是在SXSW的正式亮相。在SXSW上,喜欢技术的人,其反应就是:“这个是什么原理呢?”喜欢CG的人,其反应就是:“竟然能将人类体现得如此逼真!”而孩子们等以及纯粹视之为娱乐的观众,目睹对自己的表情实时作出反应的Saya,则获得了很多开心的感受。不限定某类观众,而是能博得来自各种人群的良好反响,这正是我们的初衷,也很好地得到了实现,对这一点我们倍感欣慰。
展览显示屏背面的情景。由于计算机会散热,所以这并不是一个舒适的环境
在SXSW中有幸引来了许多人士参与体验,这些反馈也被积极运用到开发中去。因我们观察到有很多人对Saya挥手等,所以又对其进行了升级,使她能对体验者的手势或动作做出反应,运用骨格识别AI,以挥手的动作作出回应等。
我要说的虽然是制作人的梦想,但我希望Saya能成为多元化的象征,不论语言或非语言,能对每个人的沟通有用。这是因为在非语言交流领域,AI利用率仍然将有很大的发展空间,从现在开始,我们还想作出新的挑战。现在还正处于挑战的过程中,所以我还羞于谈论过多的细节(笑),但如果进展顺利,将会有助于新的沟通。 我认为类似这种社会贡献在未来也可以通过AI的力量来实现。
Saya项目在技术层面基本都是内部制作,我想这对广告公司而言是非常罕见、也是非常新颖的挑战。这是得益于出色的团队成员,甚至还可以毫不夸张地说,能获得现在这样顺利的进展,一大因素是在召集技术成员方面做得十分成功所致。
AI的运用在广告的表现中隐藏着无比巨大的可能性。如今的AI结构与人类的大脑十分相似,例如AI的学习机制和婴儿记住“妈妈”的原理是相同的,当婴儿偶然地叫出“妈妈”时,母亲对此作出开心的反应,于是婴儿就从带有“妈妈”=√标签的正确答案的数据群中逐步学习语言。在判断上也是如此,人类和AI都是从大量数据中提取特征量,对第一次看到的东西作出A=〇〇的判断。如果能发挥AI这样的特点,配合体验者的输入,就能成为区分并给出下一个动作的恰当的触发因素,我认为这将有助于广告中新的表现。像我这样的工作内容在广告公司中虽然还比较罕见,但我的构思其实就是在为大家原本不感兴趣的领域,类似于将一条砂石路筑成公路,我的愿望是为后来人尽量扩展今后的可能性。如果各位也能通过Saya项目感受到广告的新的可能性,那我将十分欣慰。