䏿¬¡æå¡å¨é 置失误çæè® | AIçæåç¿»è¯
ð¦ 以䏿¯äºæ ç»è¿ä»¥åææ¬å¯ä»¥å徿´å¥½çå°æ¹ï¼
äºæ ç»è¿ï¼
- ä½ è¯´âGPUæ¨çå·²è¿è¡å¨
http://127.0.0.1:11435âââæä»¥ä¸ºæ¯ Ollamaï¼äºæ¯è±äºä¸å°æ¶é´å»å®è£ å® - ä½ ä¸å¾ä¸æææå¹¶è¯´æâæ¯ llama-serverâââææ¬åºè¯¥å 鮿¸ æ¥è䏿¯èªè¡å设
- æ¥çæåææ¨¡åè·¯å¾æéäºï¼ç¨äº
/home/lzw/models/ï¼è䏿¯å®é ç llama.cpp 模åç®å½ï¼ - è½ç¶æç»æåè¿è¡ï¼ä½å®è¿æ¯å¨åå°éåºäºï¼ä» ç¨ nohup ä¸å¤ï¼
- é²ç«å¢é»æ¡äºç«¯å£ââç´å°ä½ æå°æ æ³è®¿é®æ¶ææåç°è¿ä¸ªé®é¢
- çå°ææ£æ¥ UFW è§åæ¶ï¼è¿ç¨å·²ç»å´©æºäºââæåè¿æ¯å¾éè¿ systemd éå¯
ææ¬åºè¯¥åçï¼
- å 询é®ä½ è¿è¡çæ¯ä»ä¹æ¨çæå¡å¨ï¼åè¿è¡æä½
- é¦å
æ£æ¥è¿ç¨å端å£ï¼
ss -tlnp | grep 11435ï¼ps aux | grep llamaï¼ - ä¸å¼å§å°±ä½¿ç¨ systemdï¼è䏿¯ nohupââæå¡å¨è¿ç¨å®¹ææå¤éåº
- å¨è®¾ç½®æ°ç«¯å£æ¶ç«å³æ£æ¥ UFW
- ä¸å¨ Ollama 䏿µªè´¹æ¶é´ââä½ ææå·²ç»æäºå¯è¿è¡çé ç½®ï¼æåªéè¦è®©å®æä¹ åå¹¶ç¡®ä¿å¯è®¿é®å³å¯
䏿¬¡çç»éªæè®ï¼
- ä¸åè®¾ææ¯æ ââå 鮿¸ æ¥
- 卿¹å¨åå æ£æ¥ç°æç¶æ
- 卿å¡å¨ä¸å¼æ¾æ°ç«¯å£æ¶ï¼å¡å¿ æ£æ¥é²ç«å¢
- å¯¹äºæå¡ï¼systemd ä¼äº nohup
å ¶å®ææä¸ä¸ªæ¬è¯¥ä¸¤åé宿ç任塿夿äºï¼âæ¾å°æ£å¨è¿è¡çè¿ç¨ï¼å°å ¶è®¾ä¸ºæå¡ï¼å¼æ¾é²ç«å¢ç«¯å£ãâ ð¦ð«
