• 观点

由广告创意与AI技术（人工智能技术，以下简称为“AI”）的融合而诞生的“CG女高中生”Saya。通过3DCG绘制的女高中生栩栩如生，巧妙地载入表情识别AI、视线识别AI，于2018年3月在美国奥斯汀举办的“SXSW Trade Show”上闪亮登场，让众多的来场者为之惊叹。我们采访了领导技术团队的Technical Director(技术总监)中原玄太，请他谈谈本次开发的幕后故事。

AI×创意　――　起初我们想追求其可能性

我现在所在的部门是博报堂的Business Incubation 局，平时不仅从事大众广告的业务，还从事无法以传统广告来定义的、挑战新业务模式的业务。我原先在研究生院攻读数学，在进入博报堂之前，曾经在金融工程公司从事基于编程的近似计算定价的工作，2012年进入博报堂后，首次接触使用统计数据进行营销的手法，让我感到既新鲜又有趣。恰逢此时，我个人参加了Rhizomatiks的真锅大度先生和Qosmo的德井直生先生主办的名为“2045”的俱乐部活动，在那里受到很大震动。在活动中，包含实验性地进行了同步参与者的播放列表、分析歌曲的类型、让AI进行选曲、AI和DJ交替连接歌曲等尝试，我有幸从中亲眼目睹了AI和数学融合到创意世界的情景。 从那时起，我对AI在创意中的运用感到越来越浓厚的兴趣。

之后，我很有缘地认识了Qosmo的德井先生，我个人向他请教了AI的知识，聆听了Rhizomatiks的内部演讲，了解了使用openFrameworks框架的现场表演方法等，而AI能够实时实现若是采用CG则需要花上好几天的表现，这给我留下了深刻的印象。对于学习过数学的人来说，学习视觉编码或AI模型时，可能会比普通人更容易上手。于是，我将其当作爱好，开始尝试自己使用openFrameworks来进行各种各样的操作。在公司内部的工作交流会上，我也使用基于编程的输出来提交作业，并且还为音乐家朋友创作了音乐视频。

我聊得太长了吧（笑），2017年5月，Saya的博报堂内制作人对我说：“团队内部还没有十分熟悉AI的成员，希望你能给Saya团队讲讲课。”那是我和团队的第一次接触。

创意总监的心愿成为让Saya不断成长的契机

归根结底，在Saya项目中运用AI始于项目Creative Director（创意总监）——TBWA\HAKUHODO新泽崇幸先生的主意。
新泽先生告诉我们第一眼看到Saya的直觉：“这不应该仅仅是作为一个CG美少女角色就完结。”Saya中蕴含着超越角色、有可能成为某种标志的象征性。他认为，她可以被象征化为走在现代技术前沿的存在。于是，他向创造Saya的“父母亲”，即CG艺术家石川晃之先生、友香女士夫妇的组合“TELYUKA”，提出了关于Saya的理念，也就是融合各种技术，使其更接近于躯体；另外通过扩展认知，使其作为角色而有所进化，作为“不断成长的内容”持续不断地进行开发。TELYUKA组合对整合技术来创造新事物表示赞同，本项目便从这里开始起步了。

我进入Saya团队时，在项目中运用AI的事已经基本确定，当时处于研究具体从哪里、如何着手的阶段。于是我提议，是否可以向专门从事AI的广告创作、并发表过多件使用AI媒体艺术的Qosmo德井先生要求合作。也就是在这个时候，我正式参加团队的事也确定了。

作业时的显示屏

在运用AI时，首先想到的便是“语言”。也就是“要让Saya说点什么”。但是语言其实（笑）超难，而且，将嘴部动作和声音做到匹配，这尤其是难上加难的事。如果要让看到的人吓一跳，采用其他方法是否会更好呢？我们得出了这样的结论。当时我们首先想到的便是运用表情识别AI实现以感情进行沟通。而质量非常高的图像，仅1秒的素材便需要几个小时的渲染才能完成。本来需要花费这么多时间的过程，却能配合观众的表情和动作不断地发生即时性的变化，那么对影像技术有一定程度了解的人就会将其视作变魔术，而对于不懂技术的人而言，高画质的影像能实时以互动的方式作出回应，这将是一种不曾体验过的惊喜。我觉得，如此制作出来的作品，将成为不管技术运用能力如何，对任何人而言都是十分有意思的作品。

向懂得技术或是不懂得技术的人，都同样地提供了“惊奇”

在展出Saya的“SXSW Trade Show”（以下简称“SXSW”）上，具体进行的操作是先把体验者的脸部分类为7种表情，按照类似于“开心70､担心20、惊奇10”的形式写下来，使其加起来为100。

开发中的图像

其机制便是通过实时对拍摄的体验者脸部影像作出分析，当它们分别超过一定的阈值时，眼前的影像就会改变。对体验者而言，Saya对自己的表情，能在一瞬间便作出“害羞”“躲开视线”等自然的反应。另外，我们要求体验者站在播放Saya的94英寸显示器对面，但是Saya并不使用类似展位的东西隔开。不管周围有多少人，她只识别在眼前的体验者本人的脸部。这都要归功于开发方面的重大突破。这次虽然没来得及准备，但我们也打算创造出CG和人类视线相对的体验。只是在这里公布一下（笑），其实在背后，以高精度追踪体验者视线的解析AI的准备工作，也已经不为人知滴水不漏地完成了。希望有一天能让它跟大家见面。

在SXSW展出Saya

展览连日来挤满了想要参与体验的观众们。其中也有很多人把感动和惊叹当场发送到社交网络上。

我在这里虽然不能说得过于详细，但所有一切都将好几种尖端技术相互组合，而且还加入了许多精细的考量，并且运用计算机的能量，那个名叫Saya的互动功能才得以确立。

我们是从2017年下半年起开始将目标定为参展SXSW。自那以后，我们真正开始投入开发，大约半年后便是在SXSW的正式亮相。在SXSW上，喜欢技术的人，其反应就是：“这个是什么原理呢？”喜欢CG的人，其反应就是：“竟然能将人类体现得如此逼真！”而孩子们等以及纯粹视之为娱乐的观众，目睹对自己的表情实时作出反应的Saya，则获得了很多开心的感受。不限定某类观众，而是能博得来自各种人群的良好反响，这正是我们的初衷，也很好地得到了实现，对这一点我们倍感欣慰。

展览显示屏背面的情景。由于计算机会散热，所以这并不是一个舒适的环境

在SXSW中有幸引来了许多人士参与体验，这些反馈也被积极运用到开发中去。因我们观察到有很多人对Saya挥手等，所以又对其进行了升级，使她能对体验者的手势或动作做出反应，运用骨格识别AI，以挥手的动作作出回应等。

让Saya成为多元化的象征！今后也应当将AI运用到社会贡献中去

我要说的虽然是制作人的梦想，但我希望Saya能成为多元化的象征，不论语言或非语言，能对每个人的沟通有用。这是因为在非语言交流领域，AI利用率仍然将有很大的发展空间，从现在开始，我们还想作出新的挑战。现在还正处于挑战的过程中，所以我还羞于谈论过多的细节（笑），但如果进展顺利，将会有助于新的沟通。 我认为类似这种社会贡献在未来也可以通过AI的力量来实现。

Saya项目在技术层面基本都是内部制作，我想这对广告公司而言是非常罕见、也是非常新颖的挑战。这是得益于出色的团队成员，甚至还可以毫不夸张地说，能获得现在这样顺利的进展，一大因素是在召集技术成员方面做得十分成功所致。
AI的运用在广告的表现中隐藏着无比巨大的可能性。如今的AI结构与人类的大脑十分相似，例如AI的学习机制和婴儿记住“妈妈”的原理是相同的，当婴儿偶然地叫出“妈妈”时，母亲对此作出开心的反应，于是婴儿就从带有“妈妈”＝√标签的正确答案的数据群中逐步学习语言。在判断上也是如此，人类和AI都是从大量数据中提取特征量，对第一次看到的东西作出A＝〇〇的判断。如果能发挥AI这样的特点，配合体验者的输入，就能成为区分并给出下一个动作的恰当的触发因素，我认为这将有助于广告中新的表现。像我这样的工作内容在广告公司中虽然还比较罕见，但我的构思其实就是在为大家原本不感兴趣的领域，类似于将一条砂石路筑成公路，我的愿望是为后来人尽量扩展今后的可能性。如果各位也能通过Saya项目感受到广告的新的可能性，那我将十分欣慰。

 

博报堂 MD Business Incubation 局
Technical Director(技术总监) 中原玄太