Ollama, sistema, skirta didelių kalbinių modelių paleidimui lokaliai, paskelbė apie naują palaikymą Apple atvirojo kodo MLX sistemai, skirtai mašininio mokymosi procesams. Be to, Ollama teigia, kad buvo pagerinta talpyklos našumas, o dabar palaikomas ir Nvidia NVFP4 formatas modelių suspaudimui, kas leidžia efektyviau naudoti atmintį kai kuriems modeliams.
Geresnė našumas su Apple Silicon
Šie pokyčiai žada ženkliai pagerinti Mac kompiuterių, turinčių Apple Silicon procesorius (M1 ar vėlesnius), našumą. Tai itin aktualu, kadangi lokaliniai modeliai pradeda populiarėti ne tik tyrėjų ir entuziastų bendruomenėse, bet ir platesnėje auditorijoje.
Ypač sėkmingai pasirodžius OpenClaw, kuris pasiekė daugiau nei 300,000 žvaigždžių GitHub platformoje ir sulaukė didelio dėmesio su eksperimentais kaip Moltbook, vis daugiau žmonių pradeda eksperimentuoti su modelių paleidimu savo kompiuteriuose.
Kodavimo modeliai ir jų privalumai
Susidūrę su ribotais paslaugų tiekėjų išteklių ir brangių prenumeratų, tokių kaip Claude Code ar ChatGPT Codex, kūrėjai vis dažniau renkasi vietinius kodavimo modelius. Ollama taip pat neseniai išplėtė integraciją su Visual Studio Code, kas dar labiau palengvina šiuos procesus.
Reikalavimai ir naujovės
Naujas palaikymas šiuo metu yra bandomasis (Ollama 0.19 versijoje) ir šiuo metu palaiko tik vieną modelį — 35 milijardų parametrų Alibaba Qwen3.5 variantą. Tačiau, pasak Ollama, vartotojams reikalingas Apple Silicon kompiuteris ir mažiausiai 32GB RAM, kas yra nemažas iššūkis daugeliui įprastų vartotojų.
Be to, Ollama dabar pasinaudoja naujais neuroniniais akceleratoriais, esančiais Apple M5 serijos GPU, todėl nauji Mac kompiuteriai turėtų gauti papildomų privalumų tiek tokenų per sekundę, tiek tokenų generavimo laiko atžvilgiu.
Privatumo privalumai
Nors vietiniai modeliai vis dar atsilieka nuo debesų modelių pagal našumo rodiklius, jie jau yra pakankamai geri tam tikroms užduotims, už kurias vartotojai paprastai moka prenumeratą. Be to, yra privatumo privalumų dirbant su modeliais lokaliai, palyginti su debesų paslaugomis. Vis dėlto, patariama vengti OpenClaw tipo nustatymų, kurie suteikia modeliams gilią prieigą prie jūsų sistemos.
Didžiausi iššūkiai išlieka diegimas (Ollama pirmiausia yra komandinės eilutės įrankis, nors buvo sukurtos ir kitos sąsajos) ir techniniai reikalavimai, ypač vaizdo atminties atžvilgiu. Apple MLX suteikia optimizuotą prieigą prie Apple procesorių atminties, kuri dalijasi tarp GPU ir CPU, kas yra skirtingas požiūris į tradicinius kompiuterius su dedikuotais GPU.
Nors tai nevisiškai uždaro atotrūkio tarp debesų modelių ir lokalių, tai gali būti žingsnis teisinga linkme moderniems Mac vartotojams.
Ollama kol kas nepateikė informacijos apie tai, kada MLX palaikymas pasieks oficialią versiją ir bus išplėstas prie daugiau modelių.
