전체 글
-
Large Model Memory 효율적 사용하는 방법 (huggingface 기준)deep-learning 2024. 3. 10. 20:06
Large Model Memory 효율적 사용하는 방법 (huggingface 기준) 최근 나오는 LLM 모델들의 경우 메모리 사용량이 많은데 메모리 사용을 효율적으로 사용 할 수 있는 방법들 기록 항상 성능과 효율의 적정선을 찾기 위해 노력해야함 Model load 시에 8bit 로 로딩 AutoModelForCausalLM.from_pretrained() 의 옵션으로 load_in_8bit=True 모델의 가중치와 활성화 함수의 출력이 8 bit 정밀도로 저장되어 처리 활성화 함수의 출력이란? => ReLU, Sigmoid 등의 활성화 함수가 입력 신호를 받아 처리한 결과 기존 학습된 32 bit(float) 형식에 비해 8 bit 정밀도로 로드시 메모리 사용량이 감소 => 데이터 전송 속도가 빨라지..
-
[엔지니어의 논문 리뷰] QLORA: Efficient Finetuning of Quantized LLMsdeep-learning 2024. 2. 27. 23:38
# [엔지니어의 논문 리뷰] QLORA: Efficient Finetuning of Quantized LLMs * 논문 주소: https://arxiv.org/abs/2305.14314 ## 요약 * QLoRA = LoRA 방식 + 양자화 * 4비트 양자화된 사전 훈련된 언어 모델을 통해 그래디언트를 역전파를 이용하여 LoRA 로 전달하여 가중치 갱신 * LoRA 란? * 간단히 기존 모델의 파라미터는 고정시키고 각 계층에 저랭크 분해 행렬(Low-Rank)을 삽입해 훈련 가능한 매개변수의 수를 줄여 매개변수의 효율성을 가져오는 기법 * LoRA 정리 * https://wotres.tistory.com/entry/%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EC%9D%98-%EB%8..
-
[엔지니어의 논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰deep-learning 2024. 2. 18. 19:40
# [엔지니어의 논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰 * 논문 주소: https://arxiv.org/abs/2106.09685 ## 요약 * LoRA는 Transformer 아키텍처에서 사전 훈련된 모델의 가중치를 고정하고 각 계층에 저랭크 분해 행렬(Low-Rank)을 삽입해 훈련 가능한 매개변수의 수를 줄여 매개변수의 효율성을 개선 * 전체 학습되야할 파라미터 수를 10,000 배 줄이고 GPU 메모리를 3배 줄일 수 있음 * RoBERTa, DeBERTa, GPT-2, GPT-3 등의 모델의 fine-tuning 방법과 비교해도 비슷하거나 더 나은 성능을 보여줌 ## 리뷰 * LLM (Large Language model..
-
Agile Daily Stand-upAgile 2023. 5. 10. 22:14
DSU(Daily Stand-up) 란? * 애자일 팀멤버들의 협업을 위한 이벤트 * 매일 팀원들이 약속한 시간(아침 00시) 데일리 스탠드업 수행 * 스크럼 마스터가 미팅 주관 * 데일리 스탠드업시 주로 말하는것 * 어제 한일 * 오늘 할일 * 도움이 필요한 상황 또는 개인 일정 공유 * 관리자에게 보고하는 자리가 아니라 팀원들이 서로 소통하는 자리 * 팀 전체의 방향성을 맞춰줌 * 짧게 한사람당 1~2분 이내 * 짧게 아이스브레이킹으로 오늘 컨디션 점수를 말하고 시작하기도 함 * 총 15분 이내로 수행 * 소규모팀 권장(피자 2판을 갈라먹을수 있는 8명정도) * 회의 시간을 지킬것 * 항상 바쁘지만 매일 수행해야 업무현황파악이나 협의하는 환경 등이 조성되어 생산성이 올라감 * 모두가 참여하는것을 권장..
-
React Error 해결법: Error: error:0308010C:digital envelope routines::unsupportedError Handling 2023. 4. 15. 13:17
에러 발생 몇년전 사용하였던 리액트를 다시 실행시킬때 아래와 같은 에러가 발생하였다. Error: error:0308010C:digital envelope routines::unsupported 원인 노드 버전이 v18 lts 로 최신이라 호환이 되지 않았다. 해결법 노드의 버전을 v16 lts 로 낮추고 실행시키니 작동하였다. 현재 버전 확인 후 노드를 재설치한다 (이런 경우가 많아 nvm 을 이용한다)
-
React Error 해결법: Module Error (from ./node_modules/sass-loader/dist/cjs.js):Cannot find module 'sass'Error Handling 2023. 3. 30. 22:53
에러 발생 리액트를 처음 시작할때 scss 를 사용하려하면 아래와 같은 에러가 발생할 때가 있다 Module Error (from ./node_modules/sass-loader/dist/cjs.js): Cannot find module 'sass' 원인 sass 모듈이 없어 발생한다. 해결법 sass 모듈을 설치한다. $ npm i sass
-
React Error 해결법 : Module not found: Error: Cannot find file: 'MainPage.js' does not match the corresponding name on disk: './src/pages/Mainpage.js'.Error Handling 2023. 3. 29. 23:12
에러 발생 리액트 실행시 아래와 같은 에러가 발생하였다. Module not found: Error: Cannot find file: 'MainPage.js' does not match the corresponding name on disk: './src/pages/Mainpage.js'. 원인 호출한 파일 이름 또는 경로와 만들어진 파일 이름이 맞지 않아 찾지 못하여 발생하였다. 선언은 아래와 같이 하였지만 import MainPage from './pages/MainPage'; 파일 이름을 아래와 같이 소문자로 만들어 발생하였다. Mainpage.js 해결법 파일 이름을 확인하여 수정한다. 또는 경로를 확인하여 수정한다.
-
환경변수이름에 REACT_APP_ 변수 이름 사용 이유React 2023. 3. 26. 21:00
변수 설정을 위해 .env 파일에 환경변수 이름을 설정할 때가 있다. 이때 리액트의 경우 환경변수 이름은 REACT_APP_ 으로 시작해야 인식이 되는데 그이유를 홈페이지에 찾아보면 아래와 같이 나온다. 간단히 번역하면 우연히 같은 이름을 가진 시스템의 private key 가 노출 될 수 있으니 이를 피하기 위해 REACT_APP_ 으로 사용한다. Note: You must create custom environment variables beginning with REACT_APP_. Any other variables except NODE_ENV will be ignored to avoid accidentally exposing a private key on the machine that could ..