江铭又肝了个通宵才把transformer模型成功写出来。
虽然有系统给出的设计方案，但是想要从设计方案到实实在在的程序代码，江铭还是花费了一番苦工。
“靠，早知道我直接让系统把代码写出来了，没想到我说个设计，系统就真的只是给个设计方案！”
江铭对系统的鸡贼表示鄙视。
不过仔细想想，自己光是要个设计方案，就花费了285点积分，如果连代码都要系统写出来，还不知道积分够不够呢。
算了，江铭叹了口气，还是勤俭持家最重要。
随着代码的编写完成，江铭对transformer的理解更深了。
transformer的核心机制，不同于神经网络，而是一个相关性计算的“注意力机制”。
这个注意力机制使得整个模型拥有了无限长的记忆能力。
就比如在蛋白质氨基酸序列中，一个硫基只有在遇到另一个硫基的时候，才会形成二硫键从而扭曲整个蛋白质结构。
有了注意力机制，模型就会在看到一个硫基的时候就关注整条序列，注意是否有另一个可以匹配的硫基。
这就像我们的大脑，在看推理小说的时候，会对一些线索信息保留最大程度的注意力，一旦有可以与线索联系起来的嫌疑人，就会立刻回想起来相关的线索...
...
一直到早上，江铭才回到宿舍。
他不仅写完了蛋白质预测的全部代码，还把训练部署到了实验室的服务器上跑了起来，这才安心准备回去睡觉。
信息学的研究有这样一点好处，就是时间非常自由。
不像生命科学学院的学生，想要实验还需要提前申请某个时间段的仪器，每天还要兼顾养小白鼠和培养细胞之类的任务。
这些工作几乎是一天都不能落下的，一天没去，小鼠和细胞是真的会死给你看的。