|
-训练前将加载到上，训练过程中用通信来获取节点边特征，训练结束后将写回完成更新系统支持显存内存多级存储，根据特征的访问频次来将特征放置在合适的位置，在不影响系统吞吐的情况下，提高了可以支撑的图的特征规模w进程在我们设计的架构下，模型训练过程中涉及-粒度的训练样本采样、样本特征查询、-粒度的训练和特征更新，不同阶段对硬件特点的需求是不同的，具体来说对为了充分发挥不同硬件的功能，最大化利用的计算优势，度，我们通过三级流水线来加速模型训练
训练样本采样是 牙买加 WhatsApp 号码列表 密集型任务；样本特征查询是密集型任务；训练是计算密集型任务在流水线中，每个-都包括采样、获取特征、训练三个阶段样本采样阶段是独立的，采样结果放入Q中；获取特征阶段由向发送异步请求拉取特征参数放入；训练阶段阶段将特征放到上，训练后将新的写回
多级流水线之间通过消息队列和共享内存通信w进程对重复查询做了两方面优化：采样后，在查询特征前会对多采样出的进行去重由于W进程一个-采样多个-，邻居较多的节点可能会被重复采样，去重后每个在端仅查询一次；每个-训练时，所有按照%W_=的方式存储在W对应的显存中，进程间通信前会对去重以减少卡间通信
| 
發表於 2024-5-14 16:44:16
收藏