印度小哥在《我的世界》搭建神经网络,火爆全网!

旧巷老猫 提交于 2020-05-05 17:53:34

可能是疫情吧,大家在现实中行动受限,就越来越多去游戏世界中释放天性。

前有《我的世界》举办毕业典礼,后有《动物森友会》举办 AI 会议。最近《我的世界》又被大神带来了硬核玩法:

你以为他在涂鸦?不!其实他在进行神经网络的推理。

你如果是一个熟悉神经网络的人,想必已经猜出来了。

图片里这位玩家做的正是 MNIST 手写数字分类网络。

只需用剑在墙壁上画出数字,神经网络就能知道你写的是几。不仅仅如此,神经网络在推理过程中,哪些神经元被激活,都可以在这里看得一清二楚。

这个脑洞大开的玩家是一位来自印度的小哥 Ashutosh Sathe,游戏项目叫做 Scarpet-nn

Sathe 不仅放出了试玩视频,还开源了代码,如果你是《我的世界》玩家 + 神经网络炼丹师,那么你也可以把自己的网络放在游戏里。

Scarpet-nn 支持卷积层和完全连接层,允许在单个世界中运行多个神经网络。而且可以展示中间张量的逐块激活,甚至还能一次运行多个神经网络。

Sathe 小哥到底是怎么想到用《我的世界》来搭建神经网络的呢?

像素风和神经网络是绝配

我的世界里那一个个像素色块简直就是显示 3 维数组的神器。如果一个长方体的每个小块都用不同颜色来展示数值,那么一个长方体就可以表示一个张量。

但是用表示的范围有限,我的世界地图里的资源也有限,在神经网络中显示 BERT 什么的显然不切实际。

所以用两种颜色的色块表示二值神经网络(BNN)最合适了。

BNN 是一种高度简化的神经网络,权重和激活都只能取两个值:+1 或 - 1。但是计算机中二进制的位表示是不同的。因此在 BNN 中,我们将 + 1 存储为 1 为,将 - 1 存储为 0。

这样在 BNN 中乘法运算就变成了逻辑门中的同或运算,而逻辑门在《我的世界》中可以用红石电路造出。

至此,用《我的世界》搭建神经网络的理论基础已经完成,下面开始实际操作。

神经网络转像素模块

我们需要在电脑上安装《我的世界》Java 版,第三方 Mod 也是必不可少的。在这个项目里,我们要安装 Litematica 和 carpetmod 两个 Mod。

另外还需要通过 Python3 安装 PyTorch 和 nbtlib

接下来就是 “炼丹”,先在 PyTorch 里训练好你的二值神经网络。

Litematica 是一个帮助用户从零开始绘制示意图的模块,它可以准确地构建结构,指定将块放置在何处。

运行 modeltolitematica.py 将神经网络的所有层转换为不同的 Litematica 示意图。每个示意图仅包含一层神经网络。

图中以紫色表示 + 1 的块,以绿色代表 - 1 的块。

在这一步后,你会获得一组示意图文件,后缀名为.litematica。文件的名称和你命名的网络层相同,比如 conv1.weight.litematica、fc2.weight.litematica 等等。将相应文件导入即可。

把神经网络铺在地上

由于卷积层会出现 4 维数组,这在 3 维空间里是没法表示的,因此这个过程中还加入了压缩。

一般卷积层的形式是:[c2, c1, fh, fw]。其中 c2 是输出激活的通道数量,c1 是输入激活的通道数量, fh 和 fw 是卷积滤波器的高度和宽度。

通过 scarpet-nn 将后两个维度乘起来,变成 [c2, c1, fh× fw],这样就解决了 3 维显示问题。

而全连接层都是 2 维的,不存在不能显示的状况,因此不需要做任何调整。

然后你就可以在空地上绘制一张 16×16 的输入图像了。

将卷积层导入地图后,你就可以进行神经网络运算了。

最后,作者还给出了一个 MNIST 示意图 MineCraft 文件包,如果只想简单看看实际运行效果,可以在我们的公众号中回复我的世界获取。

不得不说,《我的世界》里大神太多,之前有复旦本科生从零计算机,现在又有印度小哥从零打造神经网络。

只是现在的模块还不能在《我的世界》里训练神经网络,相信在这些大神的努力下,未来用《我的世界》炼丹也不是梦。

传送门

博客地址:
https://ashutoshbsathe.github.io/scarpet-nn/scarpet-apps/twoclassmnist/

Litematica 下载地址:
http://minecraft.curseforge.com/projects/litematica

源代码:
https://github.com/ashutoshbsathe/scarpet-nn

1.FPGA惊爆无解漏洞 - “StarBleed”技术细节全解读

2.Keil MDK 5.30来了,可以快速入门Cortex-M55!

3.如何写一个健壮且高效的串口接收程序?

4.零代码将AI应用迁移到生产环境!解读英特尔的AI软件布局

5.浅谈STM32硬件I2C的使用

6.一个工业项目,用MCU还是PLC?

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!