互联网的飞速发展催生了很多新型网络应用，其中包括实时多媒体流服务、远程云服务等。现有尽力而为的路由转发算法难以满足这些应用所带来的多样化的网络服务质量需求。

　　随着近些年将机器学习方法应用于游戏、计算机视觉、自然语言处理获得了巨大的成功，很多人尝试基于机器学习方法去设计智能路由算法。相比于传统数学模型驱动的分布式路由算法而言，基于机器学习的路由算法通常是数据驱动的，这使得其能够适应动态变化的网络环境以及多样的性能评价指标优化需求。基于机器学习的数据驱动智能路由算法目前已经展示出了巨大的潜力，未来很有希望成为下一代互联网的重要组成部分。然而现有对于智能路由的研究仍然处于初步阶段。

　　智能路由算法的优势

　　数据驱动的智能路由算法通常基于深度学习或强化学习，其主要具有5个优点：

　　（1）网络状态敏感。 相比于传统基于模型的路由算法, 智能路由算法能够处理更高维度的网络状态特征信息, 这使得智能路由算法对网络状态的变化更加敏感, 当网络状态发生变化时能快速收敛, 做出更适合当前网络状态的路由决策。

　　（2）数据驱动。相比于传统路由算法基于固定的模型求解路由策略, 智能路由算法由数据驱动, 基于更少的环境假设, 利用历史数据信息以及对环境的自发探索来自动对应用场景进行建模并完成路由优化, 因此能够自适应不同应用场景与网络环境变化。

　　（3）面向服务质量。 智能路由能够更好地支持区分服务质量的路由请求。 相比于传统服务质量路由优化方案基于大量对应用场景的假设为每种 QoS需求单独设计复杂的优化模型, 数据驱动的智能路由算法能够根据 QoS 需求自动学习得到恰当的路由决策。

　　（4）经验驱动与记忆特性。 相比于传统基于模型和规则的路由算法, 基于机器学习的智能路由算法能够通过学习历史数据来把过往经验记忆下来, 使得模型能像人类一样“吃一堑长一智”, 随着经验的增长逐步提升路由优化效果。

　　（5）路由决策考虑过去、 现在和未来。 循环神经网络结构(RNN) 及其相应扩展(GRU,LSTM) 能够很好地将过往历史信息进行建模, 而强化学习模型则赋予了智能路由算法不仅着眼于当前路由效果,更可预测未来网络状态变化, 提前避免未来可能发生的网络拥塞的能力。

　　智能路由算法面临的挑战与智能路由算法的优势相对应的, 智能路由方法的未来发展过程同样面临着很多挑战:

　　（1）网络特征信息提取。 智能路由方法中, 网络状态信息可能是按照拓扑结构的形式进行组织的,并且由于网络场景的动态变化, 使得网络状态信息的维度可能发生改变。 传统的机器学习方法对于这种类型的网络状态信息的处理上存在困难。 现有智能路由算法尝试利用图神经网络模型(GNN) 对网络状态信息进行建模和提取。GNN 方法对于不同拓扑结构具有良好的泛化性, 然而现有 GNN 方法是否能够对于路由优化问题真实场景中动态变化的大规模拓扑结构完成建模还缺乏足够的实验支撑。

　　（2）算法收敛性。 相比于游戏、 图像识别、 自然语言处理等已经广泛应用机器学习的场景, 路由优化问题的输入输出维度更高, 目标策略更复杂, 现有的研究表明对于输入输出维度很高的复杂路由优化问题, 现有机器学习方案往往难以收敛到最优解。 为了解决模型难以收敛的问题, 往往需要通过降低输入输出维度, 将决策空间离散化, 或者采用间接控制路由决策以简化策略复杂度的方式来降低模型的收敛难度, 然而即使采用了这些方案, 很多模型最终的收敛结果依然距离理论最优值存在很大差距。

　　（3）算法可扩展性。 可扩展性是路由算法所需要满足的重要特性。 现有基于机器学习的智能路由算法主要基于不超过２０ 个节点的小拓扑进行设计和实验。更大的拓扑意味着指数增长的网络状态数以及更高的路由决策难度, 如何保证智能路由算法在大拓扑上依然能取得良好的效果将是未来智能路由算法设计面临的一个挑战。 此外当拓扑规模很大时,集中式的路由控制算法可能带来很高的数据交换成本以及网络状态传输延时, 影响可扩展性; 而分布式的智能路由算法如何在大拓扑下保证各节点路由策略的一致性将是未来需要解决的问题。

　　（4）算法可解释性。 智能路由方法所面临的另一个问题是路由策略的不可预测性以及不可解释性,相比于传统路由基于数学模型的传统路由算法, 基于深度学习的方法其行为往往具有不可预测性, 当出现一个糟糕的路由决策时, 操作员很难去定位错误原因, 至于针对错误去更正模型更是一件几乎不可能的事情。因此, 如何提升智能路由算法的可解释性将是未来智能路由方法发展过程中面临的一个挑战。

　　（5）模型训练成本。 对于基于监督学习的智能路由算法而言, 收集足够多、 足够准确的带标签数据有时是一个成本很高昂的事情。 不同于人脸识别等一次训练一劳永逸的应用场景, 随着网络环境的变化,现有智能路由可能需要重复收集训练数据并重新进行训练。因此如何提升智能路由训练过程的数据效率是智能路由方案部署过程中所面临的重要挑战。面对类似的问题时, 通过元学习来降低训练成本是一个可行的解决方案 , 然而路由领域对这方面尚未有很完善的研究。 此外对于基于深度强化学习的智能路由方法, 无论是在线训练还是离线训练, 其高昂的训练成本以及训练过程中对于系统所带来的可靠性隐患都是亟待解决的挑战。

　　（6）网络突发情况处理。对于智能 路 由 方 法 来说, 如何处理网络突发状况是另一个智能路由算法未来发展过程将面临的挑战。 流量突发、 网络设备故障带来的网络状态变化是现实中非常常见的情况,然而这些突发情况种类多样, 很多突发情况在训练数据中从未出现过, 现有数据驱动的智能路由算法很难保证当面对这些突发情况时能够处理得当。 实际上, 即使是 QＧLearning 这类能够动态适应环境变化的方法也无法很好地应对网络突发且剧烈的波动, 利用“安全在线强化学习”的思想来应对网络突发状况变化也许是未来一个可能的解决方案, 但如何精确感知网络突发状况同样是一个挑战。

　　（7）真实场景部署。 对于智能路由方法来说, 如何在真实场景部署是一个巨大的挑战。 相比于传统路由算法来说, 智能路由需要更多的计算资源、 更高的路由性能, 与此同时训练数据收集与路由感知过程需要对于原有的路由协议重新设计以使得智能路由算法所需要的数据能够被智能单元所获得。SDN网络以及可编程路由设备的提出使得路由器控制层的计算能力变得更强, 然而即便如此智能路由算法也很难在现有网络体系结构下进行大规模部署。 在优化智能路由算法性能并增强其对传统路由算法兼容性以及可扩展性的同时, 设计与智能路由方案相匹配的路由设备也许会是未来智能路由算法发展的趋势。

参考文献：《基于机器学习的智能路由算法综述》