Few-shot

本质上是让你大模型在上下文窗口上进行学习，给出一些示例，让大模型根据这些事例来进行推理。

示例的数量可多可少。它的目标是让机器自己学会学习。

Meta learning

few-shot是一种meta learning

meta learning是学习进行学习的方式。

其中没见过的物体是Query，旁边的提示为support set。

拿图片举例子

如果只靠1个数据进行学习，那么被称作one-short learning。一般新出现的图片不会在训练集中出现。

如果要做few-shot分类，那么few-shot的准确率会受类别影响和样本影响。下图是预测准确率

同样的shot越多准确率越高。

few-shot的目标是学习函数sim。可以这样训练

从很大的数据集上进行训练，sim函数可以判断俩个图片的相似度有多高。

然后判断输入图片和support set中的图片相似度有多高。找到最高相似的分数的样本。

zero-shot

而zero-shot learning的目标能够泛化到未见过的任务，通常通过共享特征空间或者语言表征来实现。如下。

它是一种基于属性的学习方法。即便在目标中没有看到类别。模型也会根据类型推断。

很多few-shot都是基于embdding方法进行学习。