AI和《空洞骑士》故事的新迭代带来了极大的和谐：不断尝试和犯错，直到敌人被击败。直播的第五天，一场非常精彩的战斗在伊莱克的直播间诞生了。正在直播的游戏是《空洞骑士》，玩家挑战的BOSS是人气角色大黄蜂。小骑士先是用无敌冲刺槽避开了大黄蜂的冲刺，然后趁着大黄蜂扔飞针的时候斩杀逼近。攻击成功后，他做了一个小跳，轻松避开了收回的飞针。 ...
快速接近敌人时，大黄蜂跳跃并瞬间预知法术的使用，而当BOSS采取攻击姿态时，它会以直线斜线攻击。靠近一点，几乎没有停顿地继续输出。
40秒后，小骑士将最后一刀冲过来的大黄蜂斩了下来，干净利落地结束了战斗。弹幕中出现了几串代表惊喜和兴奋的“噢噢噢”，小骑士也只是沉默了下来，继续在新一轮的纠缠中继续纠缠大黄蜂。
很多观众都感叹，这个刚开始游戏的新手，已经远远超出了他的水平，甚至认为其中有一些微妙之处。 -当然，质疑小骑士的骗局是没有意义的。
毕竟，幕后的玩家不是人类。
1
说实话，AI玩游戏的情况并不少见。
横扫围棋世界的AlphaGo，以及在星际争霸2中达到宗师级的AlphaStar，都以实力着称，被很多人称为人工智能领域的里程碑。男子。日本一家 AI 公司的首席技术官曾在推特上发布了史上“最弱”的奥赛罗 AI。即使是职业棋手，也想在它面前输掉这场比赛。请尽力而为。胜率接近0.5%
AI 经常不按套路打牌。你让索尼克玩它，他跑到角落里得到一个错误并走捷径通关。
当你训练俄罗斯方块时，俄罗斯方块会迅速放下每个方块，并在游戏即将结束时按下暂停按钮。每次丢一个方块，AI都会获得奖励积分，在输掉比赛前暂停一下不会对输球产生任何惩罚，所以必须承认。这是一种非常有效的评分方法。
正在美国留学，面临期末考核的艾莱克，在开始作业前就已经有了一些心理预期，但即便站在他面前，站在前任的肩膀上。挑战直到他真正开始调整AI来玩游戏。
之所以选择《空洞骑士》，是因为艾莱克去年年底刚通关，更直接的原因是他碰巧点了一个叫“风正”的玩家。直播间。
冯正展是日本的研究生。平日忙着学习，但有时在B站直播。今年 3 月，他正在尝试做的项目是训练 AI。击败“空心夜”大黄蜂。
它其实包含了很多考虑，为什么是《空洞骑士》，为什么是大黄蜂。首先，《空洞骑士》是一款2D平面游戏，在boss战中只有你和boss需要小心，减轻了电脑的负担。第二，大黄蜂的整体策略不难，但动作变化。相对而言，他是一个中等难度的老师。
艾莱克和风筝打败了它，互相交流，然后开始直播相同的内容。他认为这是一个适当的期末分配。换句话说，创造一个总能打败大黄蜂的人工智能。
2
Ailec早期版本的AI框架，基本都是继承自名为“蓝魔数码”的upmaster。 2020年，B站首页还展示了一段AI为AI创作一系列和弦学习弹奏《只狼》，并用自己的和弦打败芦名一郎的视频。
当然，在《只狼》中AI 很快就出现了适应《空洞骑士》的迹象。作为“只狼”，AI需要锁定源一郎，挥刀，格挡，在合适的时机决定是否看穿。另一方面，《小夜》需要“阻挡”、“透视”等机制。它在游戏中不存在。你需要重新学习如何使用基本的斩击和法术来击败你的敌人。
于是 Ailec 开始不停地修改代码。白天，AI算法更新重复，睡前开启直播，AI投入游戏进行训练和学习。这是一个中国的早晨。醒来，看看你正在学习什么，与你的观众聊天，然后跳转到新的更新迭代。
Ailec 还清楚地记得，第一次重大更新（意外）发生在 Container 7-Container 中。这是直播间的观众给AI起的名字。对于某个特定版本的游戏，开发者经常会使用 1.1、1.2 甚至“1.22474487139”这样的行为艺术来描述和区分，但尤其是对于《空洞骑士》的 AI 版本已经发生了变化，游戏有了很好的映射关系。为了消除游戏设置，玩家在数千个容器中的一个中控制一个小骑士。在他不得不承担的旅程中，无数集装箱经历了相似但不同的命运，就像大黄蜂一代又一代的挑战一样。艾在她的针下。
与 Container 7 不同的是，这是 Ailec 第一次尝试教 AI 如何战斗。简而言之，他想向 AI 展示他的大黄蜂视频，并从中学习一些操作技能。结果，在七号容器传授之后，他不仅没有成长为武林高手，反而当场成佛。我是和BOSS一起跑的，但靠近后没有斩击。不幸的是，大黄蜂对此毫不留情。
后来，艾莱克找到了问题的核心。对于人类来说，接近boss就是对boss的有效攻击，这是不言而喻的。然而，人工智能无法理解人类的思想，小骑士可能会花费更多的动作和时间来接近大黄蜂，但最终它只是挥舞着刀。如果攻击值为1，靠近boss为0.9，挥刀为0.1。在这种情况下，继续依赖你的老板是一个非常合乎逻辑的操作......
Ailec挂在直播间的FAQ
3
对失败经验的总结，对算法的不断优化，一一创建。演变成 Container 11 后，Ailec 终于做出了翻天覆地的变化。
具体尝试主要体现在两个方面。一是优化奖励机制，减轻“得分”运动的权重，杜绝只追boss不砍的现象。指令AI立即执行一系列动作，例如冲刺后的链接攻击，以更好地抓住输出机会。
Container 11 的表现曾经非常抢眼，文章开头的大操控是它的光辉时刻之一。但好景不长，没过多久，强者就陷入了十一日的太阳墙状态。
原因与容器 7 类似。在不断练习的过程中，11号集装箱的攻击重量完全压倒了移动重量。你可以看到它在移动。
除此之外，动作组合的弊端也出现了。原本Ailec将容器设置为只有17个操作（左移、右移、左击、右击等），但强行添加衍生动作后，AI学习障碍急剧增加，有反馈。 BOSS动作也大幅增加了延迟——骑士最快挥动仅需0.25秒，而AI响应时间分别为0.3、0.4甚至0.8秒。
艾莱克最终找到的解决方案是放弃动作组合，将骑士的动作和攻击传递给两个模型组进行控制。摇摆、咒语、跳跃等。
应用此框架后，Ailec 试图减轻延迟奖励机制对 Container 16 的 AI 的影响。延迟奖励机制的主要作用是让 AI 意识到长期收益。他以迷宫为例。这就像出口附近的一个岔路口。或许是死路一条，如果奖励延迟，AI可以让你意识到，短途的弯路其实可以节省更多的时间。
然而，《空洞骑士》并不是迷宫。大黄蜂的攻击方式可以改变，即使操作一次小骑士，也不会发生与选择迷宫相同的战斗。错误路叉的严重影响——在减少延迟奖励机制对AI的影响后，货柜16的胜率最终稳定在30%左右。
Ailec 几乎每天都在调整算法，所以容器的胜率来回波动。当然，这可能是浪费工作。例如，如果观众建议应用一个 RNN（循环神经网络），那花了两天时间修改的代码最终对小骑士没有帮助。 ..
但是，容器通常更坚固一些。在23号货柜中，Ailec改进了奖励机制，即使你的大脑只能控制移动方向，或者无法通过“攻击”动作赚取积分，你也可以通过接近boss来获得奖励。..
追逐 23
被大黄蜂打败的容器 24，Ilek，进一步改进了 Action Brain 的奖励机制，并敦促 AI： BOSS距离太远，不能做“冲刺”之类的事情，同时彻底取消后期奖励机制。在这一点上，没有。 24基本上能够以90%以上的胜率击败大黄蜂。
经过对整个神经网络结构的最后一次重大改动和优化，以及容器 24“浇头”的体验，容器 26 已经接近完美。一开始表现一般，但用伊莱克的话来说，就像学会挂档、转动方向盘、控制离合器和刹车，但打开车门，我不习惯这种方法。打开车门并不难。一个100%的胜率打败了敌人，甚至在难度更高的高级大黄蜂中，胜率最终也达到了90%。
血战升级大黄蜂
已经是足够强大的骑士了。
四
交流过程中，艾莱克多次跟我谈起他的教授，他的朋友（Fighting War），还有直播。我问是因为观众帮助了他。 “你认为为什么这么多人在看 AI 来对抗大黄蜂？”
他想了想，又觉得不确定。这部分观众可能对人工智能感兴趣，或者一点点人工智能的力量可能会给观众带来“儿子成长”的喜悦。人工智能和“容器”。
写到这里，我对这个问题有自己的看法。在人工智能上训练小骑士打败大黄蜂不仅对机器而且对人类来说都是一项挑战。 《空洞骑士》”或“容器”以一种和谐直观的方式表达了机器和人类的成长。就像眼泪之城一样，大黄蜂告诉小骑士他想做什么。 “你的灵魂是从两个缝隙中出来的，难怪你能到达这个世界的中心。”