fhein

joined 2 years ago
[–] fhein 2 points 5 months ago

It's not easy trying to research which 3d printer to buy, there is more click bait and marketing than impartial reviews out there, and search engines tend to promote the garbage. And without a lot of 3d printing experience, it can be difficult to know if a "review" is paid for by the printer's manufacturer, or just trying to trick you into clicking their affiliate links. There are also no consistently good brands if you're looking for a cheap printer, pretty much all of them have produced a few good printers and others that have more flaws. For example old Ender 3 and Ender 3 Pro were very good at the time, and Creality built up a lot of brand recognition, but then they switched to low quality components and seemingly stopped doing quality control and made a bunch of crap. Now it might be turning around again, as Creality's latest printers are starting to look decent again, although perhaps a little overpriced.

Personally I use this spreadsheet to compare pros and cons of budget printers. It's maintained by a group of users at a 3d printing discord server, and while one cannot know for sure none of them have any ties for example to Sovol (the most recommended budget brand currently), they've seemed quite impartial to me so far.

[–] fhein 1 points 5 months ago (2 children)

Kanske minns fel och blandar ihop termerna, men den sortens GPU passthrough jag tänkte på är att låta signalen från det bättre grafikkortet skickas genom APU:ns kontakt så man slipper ha dubbla monitorkablar. Men det är klart, ifall jag skulle kunna köra Windows i VM med 100% prestanda så skulle jag slippa dual boota för VR.

Uppgraderade från 3080 så minimal skillnad bortsett från minnet :D Men vi får hoppas att AMD satsar mer på ROCm i framtiden, de har ju varit mer generösa med VRAM på sina kort.

[–] fhein 1 points 5 months ago (4 children)

För mig så drar Xorg ca 300MB, Firefox 150MB, kwin_x11 100MB, Discord och plasmashell 50MB vardera. Compositing i KDE är på, men VAAPI i Firefox är avstängt. Har för mig jag stängde av det för det var problem när jag skulle streama något, men jag tycker CPU-avkodning har funkat bra så jag hade glömt bort att jag ens ändrade det.

Om du ska försöka få igång GPU passthrough i framtiden så finns det en del resurser för hur laptops gör det, men det verkar som att det endera är Intel CPU + Nvidia GPU, eller AMD + AMD, så ifall du ska uppgradera något så kan det vara värt att ha i åtanke. Jag fick AMD + Nvidia att typ fungera, men jag lyckades inte få den att stänga av GPU:n helt när den inte användes så den låg och drog 30W i onödan.

Själv jag ett begagnat RTX3090 för att få 24GB VRAM. Kollade blocket varje dag tills jag hittade ett för 7300kr med köpskydd, vilket kändes som ett nästan rimligt pris :) Hade dock behövt det dubbla för att kunna köra ännu finare modeller, men då kostar det verkligen skjortan..

[–] fhein 1 points 5 months ago (6 children)

Kör du Wayland, och/eller har flera högupplösta skärmar? Jag kör X11 och har en 1440p skärm och en 1080p, men jag tappar bara 1.15GiB vram till OS:et enligt nvtop. Kör också Plasma och Firefox då. För ett tag sedan så försökte jag få datorn att använda Ryzen APU:n för OS:et, och lämna hela GPU:n ledig för LLM och spel etc. Det svåra var att få GPU forwarding att fungera, så jag inte skulle behöva dubbla uppsättningar skärmkablar, och förstås lite meck med att köra både AMD och Nvidia samtidigt, men det kanske är lättare med ett AMD-kort ifall det är något du är intresserad av att undersöka i framtiden.

[–] fhein 2 points 5 months ago* (last edited 5 months ago) (8 children)

Aldrig hört talas om Serge, men det ser ut som att projektet fortfarande lever och uppdateras iaf. Det är baserat på llama.cpp, så jag tror det ska fungera med ROCm (dvs. AMD gpu). Och eftersom det bygger på llama.cpp så behöver du en modell i GGUF-format. Sen har llama.cpp en unik funktion att den klarar av att dela upp arbetet mellan CPU och GPU, vilket gör att du kan köra större modeller ifall du är villig att offra en del hastighet, men jag tror det är en bra start att köra någon sorts standardmodell som får plats helt i VRAM, så kan du experimentera med finetune:ade modeller och annat när du vet att saker fungerar som det ska.

Det som avgör hur mkt VRAM som behövs är en kombination av antalet parametrar i modellen (e.g. 7B, 12B, osv), hur stor kontext du använder (typ. hur pass långt korttidsminne AI:n får. Mer kontext -> längre konversation innan den glömmer bort de äldsta meddelandena) och vilken kvantiseringsnivå av modellen du laddat hem (typ motsvarande komprimering av film/bilder). Sen tappar du även lite VRAM till operativsystemet ifall du bara har ett grafikkort i datorn. Jag tror Mistral Nemo Instruct med Q4_K_M kvantisering, och kanske 8000 kontext, skulle gå in i VRAM för dig, den går att ladda ner här: https://huggingface.co/bartowski/Mistral-Nemo-Instruct-2407-GGUF/tree/main

De flesta modellerna som tränas är censurerade till någon grad, men det är många privatpersoner som gör sitt bästa för att ta bort det av olika anledningar. Vill du ha en sån modell så har de ofta OAS eller "abliterated" i namnet.

Vill du testa att köra lite större modeller med partial offloading (CPU+GPU) så kolla in CmdR och Mixtral 8x7b. Mixtral börjar bli lite gammal, men den är snabb att köra på CPU tack vare MoE arkitekturen. Du kan även testa 70B modeller som Miqu etc. men då får du nog räkna med max 0.5 ord/sekunden.

Kan även rekommendera TheBloke's discord server ifall du behöver hjälp med något, eller tips om de senaste modellerna.

[–] fhein 2 points 5 months ago (10 children)

Alpaca är ju supergammal, det har kommit många bättre modeller sedan dess. T.ex. Mistral Nemo Instruct om du har tillräckligt med VRAM för en 12B modell. Kanske har kommit något ännu nyare, men vill du ha ngt lite mindre så testa Llama 3.1 8B Instruct

[–] fhein 1 points 5 months ago

Det var när ChatGPT var rätt ny så den senaste kanske är ännu bättre, men jag blev ändå lite imponerad av hur pass bra förslag den kom med. Ingen J.R.R. Tolkien direkt men absolut tillräckligt bra skrivande för lite hemma-spel :)

Kan även tipsa om ifall man vill spela en sjungande bard men känner sig lite osäker på sin låtskrivarförmåga så kan en AI väldigt snabbt slänga ihop visor och rim om andra karaktärer och händelser i äventyret.

[–] fhein 3 points 5 months ago* (last edited 5 months ago)

Interesting.. I've never had this issue in Fedora KDE, which I run on my PC, but exactly the same thing happens on my wife's PC and the HTPC which both run Xubuntu. Tried setting screen saver, power save options and eventually even uninstalling the screensaver completely. At least in my case it's caused by Xorg DPMS if I remember correctly. Fixed it a while ago but then it came back on one of the computers at some point. Check out https://wiki.archlinux.org/title/Display_Power_Management_Signaling if it could be the same for you.

[–] fhein 3 points 5 months ago (2 children)

Jag testade github copilot gratis en månad när jag programmerade på mina hobbyprojekt, funkade skapligt och iaf ibland sparade den att skriva ett par rader kod. Kändes dock inte riktigt värt det så nu kör jag codeium som är gratis och också funkar skapligt.

Lite då och då använder jag Mistrals Le Chat eller ChatGPT för att fråga saker. Eftersom jag kan C++ så brukar det handla om lite svårare problem, varpå AI:arna ofta ger felaktiga lösningar. Däremot om jag behöver hjälp med t.ex. JS eller CSS, där det nog är lite mer nybörjarfrågor, så har jag fått bättre hjälp. Har även använt dem för att få lite inspiration till D&D, bland annat då jag spelade med en grupp där det var väldigt lite snack mellan karaktärerna. Då skrev jag en kort beskrivning av medlemmarna i partyt och bad om förslag på hur min karaktär skulle kunna initiera intressanta interaktioner med de andra.

På jobbet får vi inte använda AI för att skriva kod, men de arbetar på en lösning för att få använda det till testfall och dokumentation. Jag tror det handlar om en licencierad copilot som körs lokalt och är finetune:ad på vår kodbas. Vi har även fått en bing copilot, men jag är osäker på det är samma som vi ska köra lokalt eller om de bara betalar Microsoft för att hålla frågorna vi skickar hemliga. Funkar dock bara i Edge så jag har inte brytt mig om det så mkt, men iaf en kollega som är ganska ny-utexad använder den rätt flitigt. Tror dock att de flesta tekniska frågorna skulle gå att hitta på stack overflow, men det är väl smidigare att fråga AIn ist för att söka.

[–] fhein 1 points 5 months ago (1 children)

The only issue is (layer height), which of course can change from print to print.

Technically not the only issue 😀 it can also change from layer to layer.

Maybe calculate it from the length of filament being pushed out / the length of the movement * filament cross section? I'm on my phone so I can't check right now but that info should be possible to extract from the gcode iirc

[–] fhein 4 points 5 months ago* (last edited 5 months ago)

Never heard of this printer brand, but if it turns out that its mainboard isn't compatible with what you're trying to do then it might be an option to replace it with a cheap stepper driver board from AliExpress. You wouldn't need anything fancy if you're running Klipper on your RPi

[–] fhein 2 points 5 months ago

As a programmer (though not in the games industry) I can inform you that the vast majority of sw companies operate by the "the fastest solution is the best solution" principle. If they have developers who already know Unity it's a pretty big expense to have everybody learn a new game engine, and the management would need to be convinced that using Source is going to lead to a corresponding increase in sold copies of their games.

view more: ‹ prev next ›