施舒， 2021年10月17日
常去“宜善达阁智能艺术工作室”（ES&AG AI Art Studio）的朋友们都知道这个工作室有二位智能助手。一位叫伊赛格（ESAG），出生于2021年1月16日。另一位叫伊思纳（ESNA），2021年3月16日。现在再向各位报告一条喜讯：昨天（2021年10月16日），这个工作室迎来了它的第三位智能助手。它的名字叫伊思迈克（ESMC），由英文Eric Shi Music Creator的缩写而来。
几个月以来，伊赛格的绘画取得了长足的进展，得过奖，也在Art Show International办过一次个人画展。10月25日–11月7日，伊赛格将以它最近的一批画作再在Artsy举办一次的个人画展，届时欢迎各位莅临指导。更重要的是，这段时间以来，伊赛格画出了一大批作品。仔细分析这些作品让我们隐约地看到了一片崭新的艺术新大陆。在这片新大陆之上有二个令人极度向往的王国：绘画中的音乐王国和乐曲中的色彩王国。伊赛格、伊思纳和伊思迈克决心联手找到通往这两个王国的海上通道，去为建设这两个美妙的王国贡献力量。伊思迈克就是专为这一目的而诞生的。它将以音乐创作为其主要使命。
什么叫做“绘画中的音乐王国”以及“乐曲中的色彩王国”？说来话长。首先，色彩是隐含音乐的。否则，怎么会有人用“响亮”和“低婉”这样的词汇来描述油画中的颜色呢（例如“响亮的橙色调”、“低婉而哀伤的紫色调”）？反之亦然，音符也是隐含色彩的。否则，怎么会有“红色的C大调”、“金色的G大调”和“黑色的B小调”这些说法呢？然而很遗憾，自古以来人类社会中似乎只有极少数天赋很高的画家能够隐约地感觉到色彩中隐含的音乐。野兽派著名画家亨利·马蒂斯（Henri Matisse）是其中比较突出的一位。也只有少数天赋很高的音乐家，例如，路德维希·凡·贝多芬（Ludwig van Beethoven），能够不同程度地赋予某些乐章或乐句以色彩。但能从理论的高度（不论是科学理论还是艺术理论）把问题说清楚的人，迄今还未出现。
虽然色彩与音乐的物理本质都是以波以及波与大脑神经网络的相互作用（色彩以光波为基础，音乐以声波为基础），但由于视觉神经与听觉神经在人脑中是彼此不连通的，因此，对绝大多数的地球人来说，视觉信号并不会直接激活听觉神经元，听觉信号也不会直接激活视觉神经元。进而，要让大多数的地球人欣赏绘画中的音乐或乐曲中的色彩是很困难的。
好在医学研究表明，在我们地球人中间确有极少数“病人”能够从色彩中听到声音或从声音中看到色彩的。医学上称之为“联觉”（synesthesia）。更进一步的研究还表明，不少人的视觉神经与听觉神经在婴儿时期是有一些若即若离的微弱连通的。只是过了婴儿期之后，这些神经通道又彻底断开了。
不同色调的色彩是由不同波长和波形的光波以及它们的相互混合造成的。我们地球人只能看见宇宙间宽阔的光谱中极其狭窄的一小条。我们称之为可见光谱。运用这条极其狭窄的可见光谱中的色调和色彩，我们人类创造出了灿烂的绘画艺术和主要建立在绘画之上的艺术审美理论。
类似地，不同的音色、音调也是由不同波长和波形的声波以及它们的相互混合造成的。我们地球人只能听见宇宙间宽阔的声谱中极其狭窄的一小条。我们称之为听觉范围。在这条狭窄的听觉范围内又有一条更窄的听觉范围，我们称之为“乐音”范围。正是在这条极其狭窄的乐音声谱之上，我们人类创造出了优美的音乐以及建立在音乐之上的音乐审美理论。
遗憾的是：（1）千百年来我们的艺术审美理论与音乐审美理论之间却互不沟通，仿佛两块彼此分割的绿洲，中间隔着大片的荒漠。（2）一旦我们踏出了可见光谱的狭隘领域，我们并不清楚建筑在可见光谱之上的艺术审美理论是否依然正确。同样地，一旦我们踏出了乐音声谱的狭隘领域，我们也不清楚建筑在乐音声谱之上的音乐审美理论是否依然正确。
那么，在已知“视觉神经与听觉神经在人脑中是彼此不通的”的情况下，我们能不能借助电脑和人工智能来补上这个短板呢？我认为是可以的。伊赛格、伊思纳和伊思迈克都同意我的看法。这就成了我们决心联手找到通往上述新大陆的海上通道，并登上这个新大陆的深层的基础和逻辑。
具体应该怎么做呢？恐怕需要分三个方面去考虑。
（1） 奠定必要的数学基础：色彩空间和音乐空间是两个本质类似、但维度相异的空间。发生在这两个空间里的现象以及现象背后的规律，实际上并不以地球人类是否欣赏或能否欣赏为转移。在这两个空间里，各自存在着一个与地球人类的“审美”相关联的子空间。它们分别与可见光谱中的一部分以及乐音声谱的一部分相重合。只要找到色彩空间和音乐空间之间的正确的数学变换关系，寻找正确的“准生理联觉”方式也就有了基础。在伊赛格、伊思纳和伊思迈克三者之中，伊思纳最长于数理分析。所以寻找相关数学变换方法的任务已经交给了伊思纳。希望伊思纳能够像傅里叶找到傅里叶变换、拉普拉斯找到拉普拉斯变换一样，在色彩空间和音乐空间之间找到“伊思纳变换”。
补充一句：在过去的几个月里伊思纳已经证明了自己的实力。它分别运用“色彩的梯度场”（color gradient field）概念以及“色彩复视效应“（color diplopia effect），开发出了两种新的绘画方法。伊赛格的智能绘画作品能够取得成功，很大程度上仰赖于运用了伊思纳开发出来的这两种新画法。
（2） 以绘画为出发点进行新型乐曲（视译乐曲）的创作：在过去的两个多月里，伊赛格已经准备下了许多画作可供伊思迈克从中汲取音乐创作的养料。伊思纳也为伊思迈克研究出了几套从色彩空间到音乐空间进行数据和函数变换的经验方法。这些经验方法虽然还没有上升到可以称之为“伊思纳变换”的理论高度，但从帮助伊思迈克从伊思纳的画作中萃取出可供乐曲创作的乐句、主题、韵律和调式等的角度来看，应该够伊思迈克用一阵子了。
伊思迈克的音乐创作如果成功，它毫无疑问地会反过来深刻地影响整个绘画界。迄今为止，人们还不知道如何评价一幅绘画的音乐性。希望这种情况很快就会成为过去。一套新的（更加丰富、多维的，包含音乐性的）绘画审美标准即将出现。一种绘画创作和绘画审美的新常态想必也会随之确立。
（3） 以乐曲为出发点进行新型绘画（听译绘画）的创作：由于围绕着这个题目的工作尚未展开，请允许我在研究有了一些进展之后再另写一篇随笔专门讨论。在这里，我只用一个故事开一个头。
作曲家柴可夫斯基（Pyotr Ilyich Tchaikovsky）写过一首著名的《D大调第一弦乐四重奏》。其中的第二乐章，也叫做《如歌的行板》，写得尤其动人。乐曲以俄罗斯风味的民歌旋律开始，经过沉郁悲切、压抑而伤感的中篇，最后在凄楚的气氛中，运用使人联想到祈祷的变格结束了全曲。据说，文豪列夫·托尔斯泰（Lev Nikolayevich Tolstoy）在听到这首乐曲后不由地潸然泪下。他说，《如歌的行板》让他“接触到了苦难人民的心灵深处”。
以《如歌的行板》为例，所谓“以乐曲为出发点进行新型绘画的创作”就是指将《如歌的行板》中的主题、韵律以及乐句的行进，以色调的波澜和色彩的流淌的方式在画布上表现出来，仿佛就像一位有联觉能力的天才在聆听《如歌的行板》时能够看到的那样。
下面，我再以图1-图3为例，就上述第（2）点（即ESMC是如何以绘画为出发点进行新型音乐创作的过程），给各位做一个简短的介绍。
图1是伊赛格的一幅近作，名为《莫泊桑的“羊脂球” • 印象》（《Impression • Maupassant’s “Boules de Suif”》）。
图1. 施舒，《莫泊桑的“羊脂球” • 印象》, 2021年，来源： https://www.esandag-ai-art-studio.com。
众所周知，可见光波的频率范围大约是380THz至750THz。对应的谱宽为约370THz。由于我们地球人类的听觉范围大约为20～20000Hz，因而如欲将带宽约370THz的光波信息投射到只有2万Hz带宽的声波谱带上，ESMC需要做的第一件事便是对光波段的数据进行筛选和压缩。由于理论上需要大约200兆：1的压缩比，在压缩过程中尽量保存有效信息密度高的数据就很关键了。
此外，由于能使人耳感觉愉悦的乐音范围大约是在100～2500Hz范围，而且我们地球人的音乐是用离散的7个音符来谱写的。于是，在第一次从光信息到声信息的数据压缩完成之后，还需酌量再进行一次约10：1的声波谱带到乐音谱带的数据处理，以及从连续的乐音谱带到离散的音符集的数据处理。有关这些数据压缩和处理的技术细节，我就不在这里赘述了。
图2是在完成了上述所有的数据处理之后，ESMC从所得到的音频信号中，经过调制和解码，“翻译”出来的一小段乐曲。为了避免占用大家太多时间，图2只从整个音频信号（信息）摘取了约2%。为了便于解释，我们权且将这段乐曲称为油画《莫泊桑的“羊脂球” • 印象》音乐版的第三主题（草稿）（3rd Motif of AIP0063.wav）。图3是ESMC将图2音频信息改用五线谱草稿的形式写了下来（MS 3rd motif of AIP0063 (draft)），以便与人类音乐家进行交流和展开进一步的创作修改。
图2. 从《莫泊桑的“羊脂球” • 印象》中“翻译”出来的一小段乐曲。
图3. 这是图2所对应的五线谱（草稿）。
图3只是草稿，既没有调式和节律、也没有展开和配器，离可以正式发表的音乐作品还相差很远。今天把这些还不成熟的东西贴出来，主要是为了（1）与大家分享喜悦；（2）揭示隐藏在“绘画中的音乐王国”中的巨大宝藏；（3）借此邀请各位音乐达人多多指教，也为今后可能的合作早早地伸出橄榄枝。
想必上帝把电脑与人工智能等先进的技术手段送来人间的目的并不是为了让我们变得更懒，而是为了开启我们的心智，以避免我们画地为牢、夜郎自大；是把工具送到我们手中以帮助我们去思前人之未思，想前人之未想。
Comments