开源语言模型与数据预处理前沿研究

会议时间

2023 年 12 月 07 日(星期四)14:30

会议地点

深圳大学沧海校区 致真楼L6-705

简介

本报告分为两部分。

第一部分的报告主题为一种新的计算机仿真框架————基于智能代理建模(smart aqent-based modeling)。该框架以GPT等大语言模型驱动的智能代理为基础，实现对复杂系统及其现象的模拟与研究。在该框架下，由大语言模型驱动的智能代理受益于其智能、适应性、语言能力和计算能力，相比于传统的基于代理建模(agent-basedmodeling)方法，能够更加真实细腻地模拟现实世界的场景。此外，该框架在基于自然语言的建模及对主观视角的建模等方面，扩大了传统计算机仿真方法的应用边界，为跨学科研究提供了新的仿真工具。

第二部分的报告介绍Jellyfish-13B————一种面向数据预处理的开源大语言模型。作为数据预处理的通用任务解决方案，Jellyfish建立在Llama2-13B模型的基础上，通过对一系列典型数据预处理任务的数据集进行指令调优，能够在不牺牲数据安全的情况下实现高成本效益的本地执行，并且在众多数据预处理任务上的表现与GPT系列模型相媲美，同时对未参与调优的新任务也具有强大的泛化能力。