我训练了一个模型来预测我的血糖（第二部分）[P]

Reddit r/MachineLearning 论文
transformer time-series medical-ai zero-shot synthetic-data diabetes-prediction edge-deployment

摘要

一个后续项目：一个仅有 31K 参数的 encoder-only Transformer，仅使用合成 T1DM 模拟器数据训练，即可零样本预测真实 CGM 数据中的血糖水平，并通过 LoRA 微调和 ExecuTorch 部署在 Android 应用中。

这与我之前的帖子有关，当时我分享了一个在 ohiot1dm + shanghait1dm + azt1d 数据集上训练的 encoder-only Transformer 模型。这次我在自己的 T1DM 患者模拟器输出上训练模型，然后在真实的血糖记录上测量其零样本性能。上述模型共有 31,251 个参数（16 层，每层 1 个注意力头，隐藏维度大小为 16）。训练在 nvidia dgx spark 上耗时不到 60 分钟。它是一个 encoder-only Transformer，可以预测未来 2 小时的血糖，也可以自回归地用于长时域预测（例如 8 小时的夜间预测）。我专门训练它使其具备反事实推理能力。该模型只在合成数据上训练过，在测试之前从未见过我的血糖读数。我在应用中使用 LoRA 适配器对实际的 CGM 记录进行轻量微调，但你看到的图表和数据表来自未挂载任何 LoRA 适配器的基础模型。该应用用于在三款不同 CGM 设备的数据上测试模型：Libre 3 plus、Anytime CT5 和 Linx 传感器，时间跨度为过去 30 天。测试本身是在我的 Android 应用上通过 ExecuTorch 后端完成的。模型源代码：github.com/0xdeadf1sh/T1DMAI 模拟器源代码：github.com/0xdeadf1sh/T1DMSIM Android 应用源代码：github.com/0xdeadf1sh/T1DMDROID
查看原文

相似文章

我训练了一个模型来预测我的血糖 [P]

Reddit r/MachineLearning

作者训练了一个仅编码器的 transformer，利用过去的血糖、碳水化合物、胰岛素以及未来的进餐/胰岛素输入来预测未来的血糖水平，并发布了采用 MIT 许可的源代码和预训练权重。