본문 바로가기

IT

(228)
[Linux] 파일, 폴더 개수 확인하기 현재 위치에서의 폴더 개수 ls -l | grep ^d | wc -l 현재 위치에서의 파일 개수 ls -l | grep ^- | wc -l 현재 폴더의 하위 파일 개수 find . -type f | wc -l [Linux/Ubuntu] 파일, 폴더 개수 확인하기 [Linux/Ubuntu] 파일, 폴더 개수 확인하기현재 위치에서의 폴더 개수ls -l | grep ^d | wc -l현재 위치에서의 파일 개수ls -l | grep ^- | wc -l현재 폴더의 하위 파일 개수find . -type f | wc -l minimin2.tistory.com
[Linux] ls 명령어 Linux : Ls 명령어 사용 방법, 예제, 명령어 (파일, 디렉토리 나열) ls는 Linux 사용자가 알아야 하는 기본 명령 중 하나입니다. ls 명령은 파일 시스템 내의 파일 및 디렉터리를 나열하고 이에 대한 자세한 정보를 표시합니다. GNU 핵심 유틸리티 패키지의 일부이며 jjeongil.tistory.com 파일 형식 파일 사용 권한 파일에 대한 하드 링크 수 파일 소유자 파일 그룹 파일 크기 날짜 및 시간 파일 이름 ls -l /etc/hosts # -rw-r--r-- 1 root root 337 Oct 4 11:31 /etc/hosts 첫 번째 문자는 파일 형식을 나타냅니다. 이 예제에서 첫 번째 문자는 -이며, 일반 파일을 나타냅니다. 다른 파일 형식에 대한 값은 다음과 같습니다. - - ..
[Linux] chown 파일, 폴더 소유자 변경 소유자(사용자, 그룹) 변경 명령어 , chown chown [옵션] [소유자:소유그룹] [파일 또는 폴더] 옵션 -R : 하위 경로의 소유자를 모두 변경합니다. -f : 소유자 변경이 안 될때 오류 메시지 표출합니다. -c : 변경된 파일을 자세히 표출합니다. -v : 작업상태를 출력합니다. --help : 도움말을 보여줍니다. --version : 버전 정보를 보여줍니다. 하위 디렉토리의 소유자 모두 변경, -R
[Linux] 파일 시스템 계층 구조 [Linux/리눅스] 03. 파일 명령어 , 디렉토리 명령어 , 링크 명령어 , 하드 링크 , 소프트 링크 Linux 파일 시스템 계층 구조 파일 시스템 계층 구조 Linux 시스템의 모든 파일:: 파일 시스템 계층 구조 , 반전된 단일 디렉토리 트리로 구성된 파일 시스템에 저장된다. 루트가 최상단에 위치하고 seokho-j0308.tistory.com 리눅스 디렉토리 구조와 의미 안녕하세요. 이번에는 리눅스 디렉토리 구조와 의미에 대해서 알아보겠습니다. 리눅스 디렉토리 구조의 가... blog.naver.com /usr 설치된 소프트웨어, 공유 라이브러리, 포함된 파일 및 정적 읽기 전용 프로그램 데이터 중요한 하위 디렉토리에는 다음이 포함된다. - /usr/bin : 사용자 명령 - /usr/sbin..
[Linux] 하위 폴더 용량 확인 du(disk usage) [Linux]리눅스 하위 폴더 용량 확인 du 리눅스에서 하위 폴더 용량을 확인하는 방법 현재 폴더 또는 하위 폴더의 용량을 확인할 때, du 라는 명령어를 사용합니다.du는 disk usage 의 약자 입니다. 폴더, 파일 용량 확인 du du [option] [폴더] itworld.gmax8.com 폴더, 파일 용량 확인 du du [option] [폴더] 옵션 -a : 하위 폴더의 모든 파일, 폴더 기본 정보를 출력 -b : 표시단위를 Byte로 출력 -c : 모든 파일의 사용정보와 합계 출력 -k : 표시단위를 KB로 출력 -h : KB, MB, G 등 보기 쉽게 출력 -s : 총 사용량만 출력 -S : 하위 폴더를 제외한 총 사용량 출력 -x : 현재 파일 시스템의 파일 사용량을 출력 -X [파..
[Linux] cp 진행률 보여주는 rsync cp 대신 rsync : 파일 복사 진행 상황을 보고 싶을 때. – 바깥 세상으로.. (As a kite by then) www.nemonein.xyz rsync -ah --info=progress2 -av 를 사용하기도 한다. 그러나, v 를 쓰면, progress2 가 의미를 잃고, 모든 파일을 하나씩 보여준다. 파일이 많을 경우 화면 스크롤이 주르륵~ 만약 v 를 꼭 쓰고 싶다면, 파일명을 인위로 표시하지 않게끔 설정해줘야 한다. rsync -avh --info=progress2,name0 복사할 파일 전체가 아닌, 파일 하나당 정보를 원할 수도 있다. 이걸 원했다면, 즉 파일당 진행 상황을 원한다면 progress1 을 주면 된다. 여기선 v 를 써도 되겠다. rsync -ah --info=pro..
[Git] 모든 Git 브랜치를 가져오기 로컬에서 작업하다가 remote에 있는 브랜치는 제거되었는데 내 로컬에서는 그게 반영되지 않는다. 그래서 pull을 했더니 코드는 받아들여지지만 브랜치 정보가 받아들여지지는 않고 그대로 남아있다. 인터넷으로 찾아보니 간혹 깃헙 페이지에서 GUI로 삭제 처리를 한경우 해당 로컬 저장소 커멘드라인에서 원격브랜치 목록 조회를 했을 때, 삭제했음에도 불구하고 여전히 브랜치가 보이는 경우가 있다고 한다. 이런 경우 아래 명령어로 로컬과 원격 브랜치를 동기화 할 수 있다. git fetch --all --prune 모든 Git 브랜치를 가져오는 방법 질문자 :David542 약 5개의 분기가 포함된 Git 리포지토리를 복제했습니다. git branch 수행하면 그 중 하나만 볼 수 있습니다. $ git branch..
[Git] tracked untracked unmodified modified staged [Git] #5 깃 버전 관리 VOL3 - 파일의 상태 (tracked untracked unmodified modified staged) * 다음 포스팅은 깃(Git)의 사용방법에 대하여 정리한 것으로, 개인적인 공부 기록용으로 작성한 글 이기에 잘못된 내용을 포함하고 있을 수 있습니다. * Window 운영체제를 기준으로 작성했습니다. novlog.tistory.com - add 한번하면 staged되고 track상태임 - add -> staging area로 이동 - stage상태의 add된 파일들을 commit하면 이제 더 이상 수정된 파일은 없고 최신 상태로 상태가 저장됨
[Linux] 프로세스 확인 & 죽이기 ps . kill 명령어 ps -e | grep abc 이런식으로 파이프를 이용하며 abc를 포함하고 있는 작동하는 프로세스를 검색하기도 합니다. 기본적인 ps 명령어만 확인했을 경우 입니다. 어떤 프로세스가 실행중인지 보여주며 PID , TTY, TIME, CMD 4가지 항목을 보여줍니다. ps -l 의 경우 상세내역을 보여 준다고 했습니다. 그냥 ps 를 했을경우와 똑같은 내용이지만 더 많은 정보가 담겨 있습니다. ps -e 의 경우 입니다. 모든 프로세스를 보여 줍니다. 아래 엄청 많이 있소 ㅋㅋㅋ ps -ef 입니다. 리눅스는 옵션이 조합 가능하기 때문에 두가지를 같이 쓸경우에는 모든 프로세스의 모든 정보를 출력하게 됩니다. ps -efc 똑같이 c 를 추가하여 명령이름 까지 보여 주게 됩니다. 그럼 프로세스를 죽이는 방..
[Linux] command terminal 단축키 1. ctrl + D command 창 exit. 2. ctrl + _ (ctrl + shift + -) Undo 3. ctrl + U 커서 좌로 전부 지우기. 4. ctrl + left arrow / right arrow 단어단위 커서 좌/우 5. alt + backspace 좌측으로 word 지우기 5. Alt + D 우측으로 word 지우기 6. alt + B, alt + F 단어단위 커서 좌/우 7. ctrl + XX 현재 위치 기억하고 맨 앞으로 가기. 다시 누르면 이전 위치로 돌아감. 8. ctrl + K 커서 우로 전부 지우기. 9. !! 마지막 명령어 실행 10. cd - 이전 디렉토리로. Shift + PageUp : 상위 페이지 이동 Shift + PageDown : 아래 페이지 이동 ..
[Git] git 명령 취소 방법 git 명령 취소 (pull, merge, commit, add 되돌리기) 🧑‍💻 git 명령 취소 방법 git을 사용하다 보면 잘못된 커밋 메세지나 추가, 브랜치 혼동 등 많은 이슈가 있을 수 있습니다. 간단한 커맨드로 git pull, git commit, git add 등의 명령들을 취소하고 되 2vup.com 🚀 git pull 취소하고 되돌리기 (ex.git pull origin main) git reset --hard ORIG_HEAD 🔻 git merge 취소하고 되돌리기 git reset --merge ORIG_HEAD 📮 git commit 취소하고 되돌리기 git reset --hard HEAD 한 단계 앞 commit이나 commit을 실행하기 전 상태로 되돌리는 것이 가능합니다. ➕..
[Linux] cat << EOF > a.txt here document, here-document, heredoc, hereis, here-string, here-script히어 문서, 히어 도큐먼트, 히어 다큐먼트, 히어 문자열, 히어닥 문자열을 쉘스크립트나 프로그래밍 언어 중에 그대로 포함시키기 위한 방법 world > EOF [root@zetawiki ~]# cat a.txt hello world EOF는 End of File, EOT는 End of Text이라는 의미이다. cat world > EOF user01@localhost:~$ cat file1.txt hello world 리눅스 cat
[Colab] 구글 드라이브 파일 다운로드 [CoLab] 파일 zip하는 법 [CoLab] 파일 zip하는 법 1. 자신의 위치를 파악합니다.(아마 '/content'에 있으실 것입니다.) !pwd 2. zip하고자 하는 파일 경로를 알아냅니다. 이 때 왼쪽에 있는 폴더 모양을 클릭하여 위치를 찾으면 aigong.tistory.com
[Colab] 무료 버전, pro 버전 차이점
[CUDA] NVIDIA-SMI 확인방법 및 활용하기 nvidia-smi 옵션 사용법 nvidia gpu를 사용하기 위해서는 nvidia에서 제공하는 GPU Driver를 각각의 os에 맞게 설치해야 한다. 드라이버 설치에 성공하고 가장 먼저 사용하는 명령어는 nvidia-smi이다. 하지만 보통 사람들은 nvidia-smi를 GPU가 제대로 올라오는지 확인 차원에서만 사용하지만, 다른 차원에서는 nvidia smi 명령어는 현재 GPU의 모든 상태를 monitoring 해주고 있다. 그렇다면 nvidia-smi의 화면을 보면서 하나씩 간단하게 설명하도록 하겠다. # nvidia-smi 위 그림처럼 nvidia-smi 명령어는 많은 내용을 담고 있다. 아래에서 자세히 한번 확인 해보도록 하겠다. 1. Driver Version 현재 설치되어 있는 nvidi..
[Basic] 런타임과 컴파일타임 차이 원문보기 런타임(Runtime)과 컴파일타임(Compiletime)은 소프트웨어 프로그램개발의 서로 다른 두 계층의 차이를 설명하기 위한 용어이다. 프로그램을 생성하기 위해 개발자는 첫째로 소스코드를 작성하고 컴파일이라는 과정을 통해 기계어코드로 변환 되어 실행 가능한 프로그램이 되며, 이러한 편집 과정을 컴파일타임(Compiletime) 이라고 부른다. 컴파일과정을 마친 프로그램은 사용자에 의해 실행되어 지며, 이러한 응용프로그램이 동작되어지는 때를 런타임(Runtime)이라고 부른다. "런타임"과 "컴파일 타임"이라는 용어는 종종 서로다른 두 가지 타입의 에러를 나타내기 위해 사용되어지곤 하는데, 컴파일 타임 에러는 프로그램이 성공적으로 컴파일링되는 것을 방해하는 신택스에러(Syntax error)나..
[Docker] Docker run 옵션 추가하기 Docker을 run 해서 사용하는 중간에 추가적으로 옵션이 더 필요할 수도 있다. 예를 들어 volume share (local pc와 container 사이의 공유 폴더 생성) 이나 port 지정 같은 설정은 처음에 docker run을 할 때 -v 또는 -p로 주지 않으면 중간에 추가할 수가 없다. 이럴 때에는, container를 commit하여 현재 상태를 이미지로 저장해 두고, 이를 다시 run 하면서 추가 옵션을 주는 형태로 실행시키면 할 수 있다. 예를 들어, testtest 라는 이름의 container가 run 중일 때, port 지정 옵션을 추가하고 싶다면, sudo docker commit testtest NEW_NAME 위와 같이 먼저 한다. 여기서 NEW_NAME은 새로운 이름으..
[Linux] opencv 설치 및 오류 pip3 install opencv-python 혹시 ImportError: libGL.so.1: cannot open shared object file: No such file or directory 에러가 뜬다면 위의 링크에서 처럼 $ sudo apt-get install libgl1-mesa-glx 를 실행하세요
[Docker] link 후 jupyter notebook, -p(port) 옵션 처음에는 cuda가 8888:8888이었다. 그리고 pytorch가 8080:8888로 설정한 후 jupyternotebook을 연결했더니 전혀 연결이 안됐다. 그래서 cuda를 8080:8888로 바꾸고 pytorch를 8888:8888로 변경하였더니 된다. jupyter notebook --ip 0.0.0.0 --port 8888 --allow-root 8080:8888 pytorch docker컨테이너의 웹서버 port인 8888에서 host 웹서버 port 8888로 연결하기 위해서인가 보다. 하나는 그냥 웹서버 포트 8888이고 다른 하나는 ssh 접속을 위한 포트 입니다. 앞에 -p 옵션을 붙여주면 여러개 등록이 가능합니다. docker run -it -p [ 외부포트1 ]:[ 내부포트1 ] ..
[Linux] PATH값 초기화 하기 .bashrc를 검색하여 열어줍니다. 맨 아래로 내려가서 export PATH=$(getconf PATH) 입력해주고 SAVE 해줍니다. 터미널을 다시 켜주면 정상적으로 돌아와 있는 것을 볼 수 있을 겁니다. source ~/.bashrc [Ubuntu] PATH값 초기화 하기 각종 프로그램 및 언어를 설치하면서 PATH가 잘 못 설정되어 일부 기능을 제대로 사용하지 못 할 경우 PATH값을 초기화하는 방법입니다. 먼저 맨 왼쪽 아래 정사각형 버튼을 눌러 메뉴로 이동하고 somjang.tistory.com
[Docker] nvidia-docker 내가 어떤 컨테이너안에서 GPU를 사용하려고 하면 문제가 발생해요. 왜냐하면 컨테이너는 OS와 격리된 상태이기 때문이죠. 그렇기 때문에 이를 해결해줄 방법이 필요한데 그것이 바로 nvidia-docker에요! 간단하게 nvidia-docker에 대해서 말씀드릴게요. Docker 컨테이너에서 실행되는 응용프로그램은 OS와 분리 되어 있기 때문에 docker 컨테이너내에서 gpu를 실행할 수가 없어요. 그래서 docker 내부에서 gpu (driver) 이용하기 위해서는 host gpu driver와 docker를 연동시켜주는 driver가 있어야 하는데, 그것이 바로 nividia-docker에요! 아래그림을 보시면 'nvidia driver'가 이미 설치되어 있어야 한다는점 명심해주세요! (nividia..
[Docker] link 옵션 docker compose로 해보려했으나 yml 파일 다음이 무엇인지 알 수가 없었다... 그래서 --link옵션으로 설정했다. docker run -itd --name pytorch2 --link a282cf764a14 -v /mnt/d/train_dataset:/workspace -p 8889:8888 --gpus all --restart=always pytorch/pytorch:1.9.1-cuda11.1-cudnn8-devel nvcc -V 의 영광을 이곳에 남긴다. pytorch버전과 cuda버전이 맞아야 실행이 된다. 버전 문제가 참 많다.. pytorch 이미지 버전 pytorch/pytorch:1.9.1-cuda11.1-cudnn8-devel cuda 이미지 버전 11.1 버전이 맞는 것을 ..
[Docker] Systemctl 오류 이 오류 하나 잡겠다고 하다 docker가 아예 실행안돼버리는 대참사가 있었다. sudo service docker restart 안됨 → systemctl 사용 간단하게 정리하자면 Docker daemon을 돌려주기만 하면된다. 방금처럼 dockerd를 매번 실행하기는 번거러우니 아래 두 라인을 도커 설치 이후 입력하면 편할 것이다. systemctl start docker systemctl enable docker systemctl start docker docker를 daemon으로 실행하라는 명령어로 dockerd와 같지만 로그없이 실행한다고 보면 편하다 systemctl enable docker 컴퓨터가 새로 시작하거나 부팅시 자동으로 docker daemon을 실행하라는 명령어이다. Faile..
[Linux] ubuntu 버전 확인 lsb_release 명령을 사용하여 Ubuntu 버전 확인 /etc/issue 파일을 사용하여 Ubuntu 버전 확인 /etc/os-release 파일을 사용하여 Ubuntu 버전 확인 hostnamectl 명령을 사용하여 Ubuntu 버전 확인 Gnome을 사용하여 Ubuntu 버전 확인 lsb_release 명령을 사용하여 Ubuntu 버전 확인 이 방법은 모든 버전의 Ubuntu에서 작동합니다. lsb_release 명령 줄 유틸리티는 Linux 배포에 대한 Linux Standard Base (LSB) 정보를 표시합니다. lsb_release -a 명령을 사용하여 시스템에 설치된 Ubuntu에 대한 정보를 표시합니다. lsb_release -a 출력: No LSB modules are avail..
[Docker] Docker compose version: '3' services: cuda111: image: cuda111:cuda11.1 ports: - "8888:80" volumes: - /mnt/d/train_dataset:/workspace tty: true stdin_open: true pytorch: image: pytorch/pytorch ports: - "8889:80" volumes: - /mnt/d/train_dataset:/workspace tty: true stdin_open: true docker-compose.yml 파일을 만들었다. 오류 없이 실행되는 것까지 확인했다. 딥 러닝을 위한 docker-compose 설치 및 사용법 [pytorch, tensorboard 예제] Docker를 도입한지 시간이 흘렀고, 현..
[Docker] CUDA Image 가져와서 딥러닝 환경 세팅까지 cuda버전 10.1이 설치된 상황인데 더 높은 버전이 필요한 상태이다. 그럴 때 해당 방법을 쓰면 해결 될 것 같다. (아직 안해봄) Docker CUDA Image 가져와서 딥러닝 환경 세팅까지 기존 서버 : Ubuntu 18.04 CUDA 10.2 NVIDIA RTX 2080 Ti 위에 CUDA 10.0 도커를 구동해야 하는 상황이 왔다. 학습용 코드가 tensorflow-gpu==1.13.1, keras==2.2.4를 지원하는데 버전을 맞추기 위해서는 CUDA 10... huhji2newv.tistory.com 1. Docker Pull from Docker Hub docker hub에서 적당한 docker image 검색 nvidia/cuda 공식 이미지 중에서 CUDA 10.0, cudnn7,..
[Jupyter Notebook] 실행 작업 확인 및 종료 jupyter notebook list I get this: http://localhost:8889/?token=blah :: /Users/me/storyfit/data-mining/research http://localhost:8891/?token=blah2 :: /Users/me/storyfit/data-mining http://localhost:8890/?token=blah23 :: /Users/me/storyfit/data-mining/research http://localhost:8888/?token=blah54 :: /Users/me/storyfit/data-mining/research The port 8888 is already in use, trying another port. 라는 에러메..
[CUDA] NVIDIA PyTorch Container Versions pytorch 1.8버전이라면 최소 11.1 이상 버전을 깔아야 한다... PyTorch Release Notes :: NVIDIA Deep Learning Frameworks Documentation The NVIDIA container image for PyTorch, release 20.12, is available on NGC. Driver Requirements Release 20.12 is based on NVIDIA CUDA 11.1.1, which requires NVIDIA Driver release 455 or later. However, if you are running on Tesla (for example, T4 or any ot docs.nvidia.com
[Linux] remove “Ignoring file in directory /etc/apt/sources.list.d/ as it has an invalid filename extension To fix your first problem run this in a terminal: sudo rm /etc/apt/sources.list.d/*.disable (An older version of the package management tool left these files when you disabled the PPAs. Removing them is pretty safe) Your second problem comes from and old Karmic repository. To find out which one run this in a terminal: cd /etc/apt grep -rw karmic * Once you know which repository it comes from it ..
[Linux] gcc versions 바꾸기 에러 - gcc versions later than 8 are not supported in cmake 0. 선요약 및 원인 이 게시물(2020년 4월)을 따라 문제를 해결하였다. 해당 게시물의 내용을 그대로 가져와 번역하였다. 문제는 해당 소프트웨어를 컴파일하기 위한 gcc의 버전이 ‘너무 높다’는 것이었다. 우분투 20.04 LTS 버전에서 현재 gcc를 설치하면 기본적으로 gcc 9를 설치해버린다. 이럴 때엔 gcc 하위 버전을 설치하고 컴파일하는 동안에만 해당 gcc로 업데이트해주면 된다. 이 과정은 Ubuntu 20.04 LTS Focal Fossa 버전에서 실행되었다. 하지만 다른 버전의 리눅스에서도 충분히 따라할 가치가 있으므로 참고하면 좋다. 1. 단계 여러 개의 C/C++ 컴파일러 버전을..