PowerInfer: 가정용 GPU로 서빙하는 LLM
PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU(Link)
Recent posts
2022 회고: 일, 건강
딥백수의 2022 Retro에 참여하며, 4L 방법에 따라 일, 건강에 대하여 회고를 작성했다.
Server status 파악을 위한 Slack 알람 추가
상황 Linux에 서비스로 등록하여 동작 중인 서버가 어떤 이유로 동작이 중지되고, restart 주기로 계속 재시작되고 있었는데 이에 대한 파악이 늦었다. 트래픽이 많지도 않고 서비스가 크리티컬하지도 않지만, 이러한 상황을 방지하고자 slack에 간단히 에러로그와 함께 서버가 종...
BigSur(macOS 11.0)에서 pyenv 상의 python 설치 오류 해결
최근에 BigSur로 macOS 버전을 업데이트 한 이후, pyenv에서 새로운 파이썬 버전을 설치하는 경우 아래와 같은 오류가 발생하였습니다.