使用表格基础模型进行流式分层推理

表格基础模型 (TFM) 最近通过上下文学习展示了强大的预测性能，但由于通信开销和延迟，它们在高吞吐量数据流中的部署仍然具有挑战性。我们提出 \textit{HINT}，这是一种分层推理框架，它将基于边缘的检索与基于云的 TFM 推理相结合。在滑动窗口上维护的基于图的近似最近邻存储器提供本地预测和不确定性估计，允许在本地处理置信样本，同时选择性地将不确定实例连同其检索到的上下文一起卸载到云托管的 TFM。该框架公开了卸载阈值和邻域检索策略，可以通过改变这些阈值来平衡预测性能和通信成本。实验表明 \textit{HINT} 一致地识别出有利的权衡。