开源大模型 Llama 3-70b 本地教程

你问70B模型和8B模型的区别。

**什么是70B和8B模型？**

在机器学习特别是在计算视觉中，一个模型指的是用于分析和处理数据的一种数学表示或框架。在这里，我们讨论对象检测模型。

**70B模型（SSD-Mobilenet）：**

70B模型是基于MobileNet架构的Single Shot Detector（SSD）的变体。SSD是一款实时对象检测器，它可以在一个通道中检测对象而不需要生成提议。"70B"可能指的是模型参数的数量或模型大小。

**8B模型（RetinaNet）：**

8B模型是RetinaNet，这是一个状态的对象检测框架，出现在林等人的论文《Focal Loss for Dense Object Detection》（2017）。"8B"可能指的是模型参数的数量或模型大小。

**主要区别：**

1. **架构**: 70B（SSD-Mobilenet）基于MobileNet，而8B（RetinaNet）则基于ResNet-50和特征金字塔网络（FPNs）的组合。
2. **检测方法**: SSD（70B）使用单通道检测，而RetinaNet（8B）使用多尺度特征融合。
3. **性能**：RetinaNet（8B）通常优于SSD（70B）在对象检测准确性和速度方面。
4. **模型大小**: 8B（RetinaNet）通常比70B（SSD-Mobilenet）更大，这使其需要更多计算资源。

总之，虽然两种模型都用于对象检测，但主要的区别在于它们的架构、检测方法、性能和模型大小。

下载方式：

最简单的windows安装使用方式就是用Ollama进行本地安装测试；

官网：https://ollama.com/download

直接访问：  https://ollama.com/library/llama3:70b-instruct-q4_0

获取启动命令

这是安装好后的启动命令：ollama run llama3:70b-instruct-q4_0

建议自己用 8b 的模型：启动如下