2018年12月，来自加利福尼亚大学伯克利分校和Google Brain的科学家开发了一种人工智能系统，该系统可以使机器人自行学习走路。该结果已发布在预印本网站arXiv.org上，该论文的标题为“通过深度强化学习来学习走路”。 （通过深度强化学习来学习走路）。在研究人员发布的视频资料中，四足机器人Minitaur试图在平坦，平缓的斜坡上行走。在视频的开头，时间显示为0，这是四足机器人学习走路的开始。这时，四足机器人Minitaur就像一个蹒跚学步的孩子一样，摇晃着，踩着了脚。它试图以其“腿”向前移动，但是其身体“诚实地”保持在原位，并且整个行走过程缓慢进行。这种变化发生在Minitaur学习走路的第18分钟。在这个时候，它可以继续前进，但是平衡还不够。在随后的练习中，Minitaur的步伐逐渐变得稳定和迅速。在不到2小时，54分钟，72分钟和108分钟的时间内，Minitaur基本上学会了快速，平稳地走平缓的斜坡。这是四足机器人Minitaur学习走路的全过程。由加利福尼亚大学伯克利分校和Google Brain的科学家开发的人工智能算法被“教导”了。这个四足机器人在熟悉或不熟悉的地形上行走。在整个培训过程中，研究人员需要“手动”操作。 “请”到达缓坡终点的机器人将返回缓坡的起点，以重新开始新一轮的练习。此手动重置过程有点麻烦。但是，从结果来看，这两个小时的学习过程确实非常有效。许多网民对此表示“ AI确实是一位好老师”。在人工智能领域中，“强化学习”的概念是可以理解的。人们经常提到它，这是一种使用奖励或惩罚来实现特定目标的人工智能方法。目的是获得指导行动的策略。例如，在围棋游戏中，此策略可以根据棋盘情况指导每个动作的放置位置。在四足机器人Minitaur学习走路的过程中，该策略可以根据地形和其他因素告诉机器人下一步如何走路。强化学习将从初始策略开始。通常，最初的策略并不理想，如Minitaur四足机器人首次开始学习走路时所显示的那样。但。在学习过程中，四足机器人Minitaur作为决策的主体，将通过行动与环境互动，并不断获得反馈（即奖惩），并根据反馈来调整和优化策略。强化学习是一种非常强大的学习方式。持续的强化学习甚至可以获得比人类更好的决策机制。最好的例子是阿尔法狗。在2016年，经过深度学习训练的Google AlphaGo计划以4-1的比分击败了前围棋世界冠军Lee Sedol。它的改进版在2017年击败了当时世界排名第一的中国象棋棋手柯洁。其惊人的游戏能力是通过强化学习来训练的。但是强化学习也有其局限性。它需要大量数据，在某些情况下还需要数以万计的样本才能获得良好的结果。这需要四足机器人Minitaur进行像Alpha Dog这样的多次训练，但是过多的训练可能会损坏四足机器人。因此，这种“学习走路”被称为“步行学习”。研究人员选择了“升级版本”强化学习-深度强化学习方法，将深度学习的感知能力与强化学习的决策能力相结合。可以基于输入图像直接控制此方法，这是一种更接近人类思维方式的人工智能方法。用研究人员的话说，为了“使系统无需模拟培训就可以学习运动技能，”他们采用了称为“最大熵RL”的强化学习框架。最大熵RL可以优化学习策略，以最大程度地提高预期回报。在此框架中，人工智能代理通过从策略中提取某些动作并获得奖励，从而不断找到最佳的动作过程。研究人员说：“据我们所知，该实验是深度强化学习算法的第一例，该算法可直接学习欠驱动的四足动物，而无需在现实世界中进行模仿和预训练。 2018年5月，arXiv.org上的同一研究小组Researchers发表了另一篇关于