Requisitos previos#
Home 3B v3#
Esta nueva versión está basada en StableLM-Zephyr-3B y alcanza una puntuación de 97.11% en precisión de llamadas a funciones JSON en el conjunto de datos de prueba con el que fue entrenada.
Esta versión es compatible con los tipos de entidad blind, light, garage_door, media_player, fan, lock, climate, switch, vacuum, todo, input_select y timer.
Y ahora con soporte multilenguaje: inglés, alemán, español y francés.
fixt/home-3b-v3:TAG| Nombre | TAG | Bits | Tamaño | RAM máxima requerida | Caso de uso |
|---|---|---|---|---|---|
| Home-3B-v3.q2_k.gguf | Q2_K | 2 | 1.08 GB | 3.50 GB | el más pequeño, pérdida significativa de calidad - no recomendado para la mayoría de usos |
| Home-3B-v3.q3_k_m.gguf | Q3_K_M | 3 | 1.39 GB | 3.89 GB | muy pequeño, alta pérdida de calidad |
| Home-3B-v3.q4_k_m.gguf | Q4_K_M | 4 | 1.71 GB | 4.21 GB | medio, calidad equilibrada - recomendado |
| Home-3B-v3.q5_k_m.gguf | Q5_K_M | 5 |
Usa el botón de abajo para ir a la página de integraciones
Para usar esta versión, haz clic en Configurar y en Formato de prompt selecciona Zephyr
Para usar esta versión, haz clic en Configurar y en Formato de prompt selecciona Zephyr
Home 3B v2#
fixt/home-3b-v2:TAG| Nombre | TAG | Bits | Tamaño | RAM máxima requerida | Caso de uso |
|---|---|---|---|---|---|
| home-3b-v2.q2_k.gguf | q2_k | 2 | 1.11 GB | 3.67 GB | el más pequeño, pérdida significativa de calidad - no recomendado para la mayoría de usos |
| home-3b-v2.q3_k_m.gguf | q3_k_m | 3 | 1.43 GB | 3.98 GB | muy pequeño, alta pérdida de calidad |
| home-3b-v2.q4_k_m.gguf |
Las cifras de RAM anteriores asumen que no hay descarga a GPU. Si las capas se descargan a la GPU, esto reducirá el uso de RAM y usará VRAM en su lugar.
Activar el modo servidor de WSL#
WSLPorts es un script de PowerShell que te permite redirigir y abrir puertos fácilmente en el Firewall de Windows para tus servicios de WSL.
También evita que Windows apague WSL, así que no tienes que mantener una terminal abierta Guárdalo en
C:\WSLPorts\WSLPorts.ps1Automatizar la ejecución del script al iniciar sesión#
Automatizar la ejecución del script al iniciar sesión
$a = New-ScheduledTaskAction -Execute "powershell.exe" -Argument "-ExecutionPolicy Bypass -WindowStyle Hidden -File `"C:\WSLPorts\WSLPorts.ps1`" "
$t = New-ScheduledTaskTrigger -AtLogon
$s = New-ScheduledTaskSettingsSet -AllowStartIfOnBatteries -DontStopIfGoingOnBatteries
$p = New-ScheduledTaskPrincipal -GroupId "BUILTIN\Administrators" -RunLevel Highest
Register-ScheduledTask -TaskName "WSLPorts" -Action $a -Trigger $t -Settings $s -Principal $pBasado en este artículo
Integración Llama Conversation#
Por acon96
v0.2.5 ya está disponible
Si instalaste v0.2.4, debes establecer max tokens en 128 (o tu valor preferido) en la configuración después de la actualización
Si instalaste v0.2.4, debes establecer max tokens en 128 (o tu valor preferido) en la configuración después de la actualización
Recuerda actualizar#
para actualizarlo
docker compose pull
docker compose up --force-recreate -d