3.用信息论揭示生命中的物理学

信息是一个抽象的概念。虽然由克劳德·香农（Claude Shannon）开创的信息数学理论将某些方面形式化了，但它并非对“信息是什么”的完整描述。尤其，我们并没有一个具体的框架来理解对信息之于物理究竟是什么。信息可以在不同的物理介质之间复制，这意味着它并不是严格意义上只与物理质料相联系的物质属性。例如，信息可以从作者的头脑中复制到这一页文字上（通过写在电脑），或者复制到印刷的纸张上，并最终按照预期功能复制到读者的大脑中（例如这里你阅读到的）。这些事件在空间和时间上是分离的，并且发生在完全不同的物理介质上。就像许多信息传输的例子一样，这表明信息不可能仅仅是大脑的化学湿件、或计算机处理芯片上的一种属性。正是在这个意义上，信息才是“抽象的”（同样人们也可以认为“能量”是抽象的，因为它能在不同的物理系统之间流动，并以不同的方式储存或使用——如化学能、机械能等。但相比之下，我们确实对什么是物理上的能量有一个非常清晰的认识）。

然而，信息也必然是物理的。为了使信息存在，它必须在物理自由度中实例化（L;auer et al. 1991），因此信息的动力学取决于物理自由度下动力学。在生物学中，信息的作用更为突出，它似乎具有“自己的生命”（Davies;Walker 2016），对生物过程的解释暗示“信息”本身就具有因果效应（Davies 2011）。生命拥有能够存储和处理信息的惊人能力，不仅对于理解生命本身的起源（Yockey 2005；WalkerDavies 2013），对于理解生命系统如何在我们观察到的时空尺度中组织起来，也是一个具有核心意义的课题。信息传递和信息处理通常被认为是集群行为背后的驱动力，例如蚂蚁和蜜蜂的寻巢行为（house-hunting）、椋鸟群和鱼群的奇妙运动、人类群体中的车道形成等等，直到细胞群的水平（Franks et al. 2002；Couzin，2009；Deisboeck;Couzin，2009；Moussaid et al. 2009；Couzin et al. 2011）。然而，虽然已被大量实验和分析研究过，以上这些集群的信息机制却往往只以生物体的具体物理量为特征、仅以非形式化方式就被定义了。

4.信息论下形式定义

为超越单纯的描述性分析，或具体的案例研究，有必要引入形式化信息内容和信息流的方法。物质属性已经被量化了几个世纪，信息则相对是更新的进展，它始于香农的开创性工作。在信息论中最基本的量称为熵，H(x)被定义为（Shannon 1948）：

其中 p(x)是随机变量 X 处于状态 x 的概率。当 p(x)是所有可能状态的均匀分布时，H(X)是最大化的，它通常称为香农熵。香农熵可以被描述为你在得知一个事件结果时可能体验到的惊讶程度：事件越不可能发生，你在得知事件时就感觉越惊讶。从这个角度来看，信息的概念与减少不确定性密切相关，因为一个事件的不确定性越小，你对事件结果的惊讶程度就越小，它所包含的信息量也就越少。香农熵构成了信息论的基础，其它大多数信息概念和度量都是基于香农所发展的一般信息概念的基础上衍生出来的。然而仅仅用熵并不能完全体现“信息“的概念，因为信息还需要发送者和接收者（Adami 2016）。在这方面，信息被定义为给定其它过程下某个随机过程不确定性的降低，并由所考虑过程间共享的熵的大小来表示（Cover Thomas 2005），这被量化为互信息（mutual information）：

互信息可以很方便用维恩图来可视化，即每个过程的熵相互重叠的区域（图2a）。当考虑某个过程的熵，去掉与其它所有过程的互信息，我们就得到了条件熵：即了解其它所有过程知识时，该过程还剩下的不确定性。因此，互信息度量的是我们从所有其它过程知识中获得有关某个过程的信息。

图2：维恩图表示的 a 互信息；b 传递熵。

互信息也被用来量化存储在一个系统和/与它各个组成部分中的信息量。最常用的测量方法是超额熵（excess entropy）和主动信息（active information）。超额熵（Crutchfield Feldman 2003）被定义为一个过程过去和未来之间的互信息，衡量某个过程可以通过观察其过去的行为来解释的未来的不确定性；主动信息 A(X)也提供了类似的度量，但它不考虑整个过程的未来，而只关注和预测过程中即将抵达的下一个状态（Lizier et al. 2012a）：

（其中

代表 X 中从时间点 n 开始过去 k 个状态：{x-+1，...， x-1， x}。）

虽然互信息允许定义和量化信息，但它只是一个对称的量，不能捕捉到随机过程之间的方向性关系（如信息传递）。为克服这一信息量化处理的局限性，Schreiber（2000）引入了传递熵（transfer entropy）的概念，它是给定某个随机过程过去（如历史信息）和一个或多个其它过程当前知识了解下，对该过程未来状态的不确定性减少的一种度量（Schreiber 2000; Kaiser Schreiber 2002）：

其维恩图表示如图2。传递熵利用时间方向性来克服互信息对称性的限制，它是对两个或多个过程之间的定向传递的预测信息的度量（LizierProkopenko 2010），因此也不一定就意味着因果作用（James et al. 2016）；但它的逐点变量（point-wise，或局部变量）可以为集群行为的时空动力学提供有用的洞见（Lizier et al. 2008b）。