×ÔGPT-2ÒÔÀ´£¬ÓïÑÔÄ£ÐÍÒѾȡµÃÁ˳¤×ãµÄ½ø²½£¬Óû§ÏÖÔÚ¿ÉÒÔͨ¹ýLM StudioµÈÓû§ÓѺõÄÓ¦ÓóÌÐò¿ìËÙÇáËɵز¿Êð¸ß¶È¸´ÔӵĴóÓïÑÔÄ£ÐÍ£¨LLM£©¡£Í¨¹ýºÍAMDÐ×÷£¬ÕâЩ¹¤¾ßÖÂÁ¦ÓÚʹÿ¸öÈ˶¼¿ÉÒÔʹÓÃAI£¬¶ø²»ÐèÒª±àÂë»ò¼¼Êõ֪ʶ¡£
llama.cppºÍLM Studio¸ÅÊö
LM Studio»ùÓÚllama.cppÏîÄ¿£¬Êǵ±Ç°·Ç³£Á÷ÐеĿìËÙ²¿ÊðÓïÑÔÄ£Ð͵Ŀò¼Ü¡£ËüûÓÐÒÀÀµÐÔ£¬¿ÉÒÔ½öʹÓÃCPU½øÐмÓËÙ¡ª¡ª¾¡¹ÜËüÒ²ÓÐGPU¼ÓËÙ¹¦ÄÜ¡£LM StudioʹÓÃAVX2Ö¸ÁîÀ´¼ÓËÙ»ùÓÚx86µÄCPUµÄÏÖ´ú´óÓïÑÔÄ£ÐÍ¡£
ÐÔÄܶԱȣºÍÌÍÂÁ¿ºÍÑÓ³Ù
AMDÈñÁúAIΪÕâЩ×îÏȽøµÄ¹¤×÷¸ºÔؽøÐмÓËÙ£¬²¢ÔÚ»ùÓÚllama.cppµÄÓ¦ÓóÌÐò£¨ÈçÓÃÓÚx86±Ê¼Ç±¾µçÄÔµÄLM Studio£©ÖÐÌṩÁËÁìÏȵÄÐÔÄÜ¡£ÖµµÃ×¢ÒâµÄÊÇ£¬´óÓïÑÔÄ£ÐÍͨ³£¶ÔÄÚ´æËٶȷdz£Ãô¸Ð¡£
ÔÚÎÒÃǵĶԱȲâÊÔÖУ¬Ó¢Ìضû±Ê¼Ç±¾µçÄÔµÄRAMʵ¼ÊÉϸü¿ì£¬´ïµ½8533MT/s£¬AMD±Ê¼Ç±¾µçÄÔµÄRAMΪ7500MT/s¡£¾¡¹ÜÈç´Ë£¬AMDÈñÁúAI 9 HX 375´¦ÀíÆ÷ÿÃëtokenÉú³ÉËÙ¶ÈÈ´±È¾ºÕù¶ÔÊÖ¿ì³ö27%¡£
¡¾²Î¿¼ÐÅÏ¢£ºÃ¿ÃëtokenÉú³ÉÁ¿»òtk/s±íʾһ¸ö´óÓïÑÔÄ£ÐÍ£¨LLM£©Äܹ»ÒÔ¶à¿ìµÄËÙ¶ÈÊä³ötoken£¨´óÖ¶ÔÓ¦ÓÚÿÃëÔÚµçÄÔÆÁÄ»ÉÏÏÔʾµÄµ¥´ÊÊý£©¡£¡¿
AMDÈñÁúAI 9 HX 375´¦ÀíÆ÷¿ÉÒÔÔÚMeta Llama 3.2 1b Instruct£¨4-bitÁ¿»¯£©ÖÐʵÏÖÿÃë¸ß´ï50.7¸ötokenµÄÐÔÄÜ¡£
¶Ô´óÐÍÓïÑÔÄ£ÐͽøÐлù×¼²âÊÔµÄÁíÒ»¸öÖ¸±êÊÇ¡°Êä³öÊ׸ötokenµÄʱ¼ä¡±£¬Ëü²âÁ¿ÁË´ÓÄúÌá½»Ìáʾµ½Ä£ÐÍ¿ªÊ¼Éú³ÉtokenËùÐèʱ¼äÖ®¼äµÄÑÓ³Ù¡£ÔÚÕâÀÎÒÃÇ¿´µ½£¬ÔڽϴóµÄÄ£ÐÍÖУ¬»ùÓÚAMD¡°Zen 5¡± ¼Ü¹¹µÄÈñÁúAI HX 375´¦ÀíÆ÷±È¾ºÕù¶ÔÊÖµÄͬÀà´¦ÀíÆ÷¿ì3.5±¶¡£
ÔÚWindowsÖÐʹÓÿɱäÏԴ棨VGM£©À´¼Ó¿ìÄ£ÐÍÍÌÍÂÁ¿
AMDÈñÁúAI CPUÖеÄÈý¸ö¼ÓËÙÆ÷¶¼ÓÐ×Ô¼ºµÄ¹¤×÷¸ºÔØרҵ»¯ºÍËüÃÇÉó¤µÄ³¡¾°¡£AMD»ùÓÚXDNA 2¼Ü¹¹µÄNPUÔÚÔËÐÐCopilot+¹¤×÷¸ºÔØʱΪ³ÖÐøµÄAI¹¦ÄÜÌṩÁËÁîÈËÄÑÒÔÖÃÐŵÄÄÜЧ£¬CPUΪ¹¤¾ßºÍ¿ò¼ÜÌṩÁ˹㷺µÄ¸²¸Ç·¶Î§ºÍ¼æÈÝÐÔ£¬¶øiGPUͨ³£°´Ðè´¦ÀíAIÈÎÎñ¡£
LM StudioÌṩÁËÒ»¸öllama.cpp¶Ë¿Ú£¬¿ÉÒÔʹÓÃÓ빩ӦÉÌÎ޹صÄVulkan APIÀ´¼ÓËÙ¿ò¼Ü¡£ÕâÀïµÄ¼ÓËÙͨ³£È¡¾öÓÚÓ²¼þ¹¦ÄܺÍVulkan APIµÄÇý¶¯³ÌÐòÓÅ»¯¡£Óë½öʹÓÃCPUģʽÏà±È£¬ÔÚLM StudioÖдò¿ªGPU offload ºóMeta Llama 3.2 1b InstructµÄÐÔÄÜƽ¾ùÌáÉý¿É´ï31%¡£ÏñMistral Nemo 2407 12b InstructÕâÑùµÄ´óÐÍÄ£ÐÍÔÚtokenÉú³É½×¶ÎÓÉÓÚÊܵ½´ø¿íÏÞÖÆ£¬Æ½¾ùÌáÉý¿É´ï5.1%¡£
ÎÒÃǹ۲쵽£¬µ±ÔÚLM StudioÖÐʹÓûùÓÚVulkanµÄllama.cpp°æ±¾²¢´ò¿ªGPU offloadʱ£¬Óë½öʹÓÃCPUµÄģʽÏà±È£¬¾ºÕù¶ÔÊֵĴ¦ÀíÆ÷ÔÚ³ýÒ»¸öÄ£ÐÍÍâµÄËùÓвâÊÔÄ£ÐÍÖеÄƽ¾ùÐÔÄܶ¼Ã÷ÏԽϵ͡£Òò´Ë£¬ÎªÁ˱£³Ö¶Ô±È²âÊԵĹ«Æ½ÐÔ£¬ÎÒÃÇûÓн«Ó¢Ìضû¿áî£Ultra7 258vÔÚLM StudioÖÐʹÓûùÓÚVulkanµÄLlama.cppµÄGPU offloadÐÔÄÜÄÉÈë¶Ô±È¹ý³Ì¡£
AMDÈñÁúAI 300ϵÁд¦ÀíÆ÷»¹°üÀ¨Ò»¸öÃûΪ¿É±äÏԴ棨VGM£©µÄ¹¦ÄÜ¡£Í¨³££¬³ÌÐò½«ÀûÓÃiGPUµÄ512MBרÓ÷ÖÅäÄÚ´æ¿éÒÔ¼°Î»ÓÚϵͳRAM¡°¹²Ïí¡±²¿·ÖµÄµÚ¶þ¸öÄÚ´æ¿é¡£VGMÔÊÐíÓû§½«512MBרÓ÷ÖÅä¿éÀ©Õ¹µ½¸ß´ï75%µÄ¿ÉÓÃϵͳRAMÈÝÁ¿¡£ÕâÖÖÁ¬ÐøÄÚ´æ·ÖÅäÏÔÖøÌá¸ßÁËÄÚ´æÃô¸ÐÐÍÓ¦ÓóÌÐòµÄÍÌÍÂÁ¿¡£
ÔÚ¿ªÆôVGM£¨16GB£©ºó£¬ÎÒÃÇ¿´µ½Meta Llama 3.2 1b InstructµÄÐÔÄÜƽ¾ùÌáÉýÁË22%£¬ÓëʹÓÃiGPU¼ÓËÙºÍVGMÏà½áºÏʱµÄCPUģʽÏà±È£¬Æ½¾ùËÙ¶È×ܹ²Ìá¸ßÁË60%¡£¼´Ê¹ÊǸü´óµÄÄ£ÐÍ£¬ÈçMistral Nemo 2407 12b Instruct£¬Óë½öʹÓÃCPUµÄģʽÏà±È£¬ÐÔÄÜÒ²ÌáÉýÁË17%¡£
¶Ô±È£ºMistral 7b Instruct 0.3
ËäÈ»¾ºÕù¶ÔÊֵıʼDZ¾µçÄÔÔÚLM StudioÖÐʹÓûùÓÚVulkanµÄLlama.cpp°æ±¾Ã»ÓÐÌṩ¼ÓËÙ£¬µ«ÎÒÃÇʹÓÃÓ¢ÌضûAI PlaygroundÓ¦ÓóÌÐò£¨»ùÓÚIPEX-LLMºÍLang Chain£©±È½ÏÁËiGPUÐÔÄÜ£¬Á¦ÇóÔÚ×î¼ÑµÄÓû§ÓѺÃÐÍLLMÌåÑéÖ®¼ä½øÐй«Æ½µÄ±È½Ï¡£
ÎÒÃÇʹÓÃÁËÓ¢ÌضûAI PlaygroundÌṩµÄÄ£ÐÍ£¬¼´Mistral 7b Instruct v0.3ºÍMicrosoft Phi 3.1 Mini Instruct¡£ÔÚLM StudioÖÐʹÓÿɱȵÄÁ¿»¯ºó£¬ÎÒÃÇ·¢ÏÖAMDÈñÁúAI 9 HX 375ÔÚPhi 3.1ÖеÄËÙ¶ÈÏà±È¾ºÕù¶ÔÊÖ¿ìÁË8.7%£¬ÔÚMistral 7b Instruct 0.3ÖеÄËÙ¶ÈÏà±È¶ÔÊÖ¿ìÁË13%¡£
AMDÖÂÁ¦ÓÚÍƽøAIÇ°Ñؼ¼ÊõµÄ·¢Õ¹£¬ÈÃÿ¸öÈ˶¼ÄÜʹÓÃAI£¬µ«Èç¹û×îеÄAI³É¹û±»¼¼Êõ»ò±àÂë¼¼ÄܵȸßÃż÷ËùÏÞÖÆ£¬ÄÇÕâÒ»ÇоͲ»¿ÉÄÜ·¢Éú¡ª¡ªÕâ¾ÍÊÇLM StudioÕâÑùµÄÓ¦ÓóÌÐòµÄÖØÒªÐÔËùÔÚ¡£³ýÁË×÷ΪÔÚ±¾µØ²¿ÊðLLMµÄÒ»ÖÖ¿ìËÙ¶øÇáËɵķ½Ê½Ö®Í⣬ÕâЩӦÓóÌÐòÔÊÐíÓû§ÔÚµÚһʱ¼äÌåÑé×îÏȽøµÄÄ£ÐÍ£¨Ç°ÌáÊÇllama.cppÏîÄ¿Ö§³Ö¸Ã¼Ü¹¹£©¡£
AMDÈñÁúAI¼ÓËÙÆ÷ÌṩÁËÁîÈËÄÑÒÔÖÃÐŵÄÐÔÄÜ£¬ÆôÓÿɱäÏԴ棨VGM£©µÈ¹¦ÄÜ¿ÉÒÔΪAIÓÃÀýÌṩ¸üºÃµÄÐÔÄÜ¡£ËùÓÐÕâЩ½áºÏÔÚÒ»Æð£¬Îªx86±Ê¼Ç±¾µçÄÔÉϵÄÓïÑÔÄ£ÐÍÌṩÁËÁîÈËÄÑÒÔÖÃÐŵÄÓû§ÌåÑé¡£
±¾ÎÄÊôÓÚÔ´´ÎÄÕ£¬ÈçÈôתÔØ£¬Çë×¢Ã÷À´Ô´£ºÍ¨¹ýAMDÈñÁúAI 300ϵÁд¦ÀíÆ÷½âËøÏû·Ñ¼¶´óÓïÑÔÄ£ÐÍáÛ·åÐÔÄÜhttps://nb.zol.com.cn/913/9138248.html