多模态大模型驱动的营养健康管理.pdf

1、多模态大模型驱动的营养健康管理陈静静 复旦大学2022024 4-0606-16161YSSLNLP 2024 多模态大模型论坛YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20242提纲一、研究背景二、食物营养分析多模态大模型三、基于饮食日志的体重预测四、总结YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024q 随着社会老龄化的加剧和慢性病发病率的上升，基于饮食监控的健康管理变得日益关键3研究背景2012-2021年60周岁及以上老年人口数量及占全国总人

2、口比重于宁等人，“中国中老年居民高血压、糖尿病和血脂异常共病现状及影响因素研究”，老年流行病学研究，202305101520253035404550高血压糖尿病血脂异常中老年居民三高比例百分比国家卫健委：2035年左右60岁及以上老年人口将突破4亿，占比将超30%YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024q 早期健康管理依赖于营养师、医生电话回访等方式，耗费人力资源，难以推广，而人工智能技术的发展为健康管理提供了新的解决方案4研究背景YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024

3、YSSNLP2024YSSNLP2024q 早期基于人工智能的健康饮食管理5研究背景在给定数据集上（通常不超过1000类）训练分类器，识别固定类别范围图像Chen Jingjing et al.，“A study of multi-task and region-wise deep learning for food ingredient recognition”，IEEE TIP，2020难以识别未见过实物种类，泛化性差YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024q 早期基于人工智能的健康饮食管理6研究背景Calo

4、rie mamaYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024q 早期基于人工智能的健康饮食管理7研究背景一个模型通常仅能完成特定任务，多任务通用性差较差Xiongwei Wu et al.，“A Large-Scale Benchmark for Food Image Segmentation”，ACM MM，2021Jingjing Chen et al.,Cross-modal recipe retrieval with rich food attributes,ACM MM,2017食物分割食物属性识别与菜谱检

5、索YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024q 早期基于人工智能的健康饮食管理8研究背景一个模型通常仅能完成特定任务，多任务通用性差较差Austin Myers et al.，“Im2Calories:towards an automated mobile vision food diary”，ICCV,2015Amaia Salvador et al.,Inverse Cooking:Recipe Generation From Food Images,CVPR,2019食物卡路里估计(Im2calories)食

6、物菜谱生成YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024q 大模型技术正快速发展，且在多种任务上取得领先的性能9研究背景食物大模型YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202410提纲一、研究背景二、食物营养分析多模态大模型三、基于饮食日志的体重预测四、总结YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024食物营养分析多模态大模型构建11q食物多模态模型训练框架Yuehao