중복파일 검색 정리기

내 파일 정리하려고 만들었는데 괜찮은거 같아서 공유함

목적은 경로 내 중복 떡인지 추려내서 없애는거임

어디서든 모음집 받으면 내가 가진거랑 중복된거 걸러내기는데 쓰기 편할듯,.

기능은 크게 두개 기능으로 분류됨

1.  압축파일 동일성 비교

2. 압축파일 내 이미지 동일성 비교

1. 압축파일 동일성 비교 - 스캔 빠른편

hash 비교 버튼 누르면 동작하는거고 압축파일 자체의 hash 값 생성해서 비교하는거임.

파일명이 달라도 압축파일이 같으면 이걸로 검출할수있음.

2. 압축파일 내 이미지 동일성 비교 - 전체 이미지 스캔이라 좀 느림

이미지 hash 비교 버튼 누르면 동작하는거고 압축파일 내에 있는 이미지파일들의 픽셀맵의 hash 값을 생성해서 비교하는거임.

동일한 이미지 집합이어도 압축을 풀었다가 재압축을 하면 압축파일 데이터가 바뀌는거라 1번 기능으로는 검출할수 없는걸 이걸로 이미지 자체 비교를해서  검출할수있음.

1

대충 이렇게 생겼고

hash 비교 버튼을 누르면 아래처럼 나옴

1

주황색이 동일 hash로 검출된 항목들이고 더블클릭하면 뷰어가 나옴

1

뷰어는 중복 항목 내용을 보고 진짜 중복인지 아닌지 이미지를 보고 비교해 볼수 있고 좌우방향키로 양측 뷰어 이미지를 같이 넘길수있게 되어있음.

기본적으로 중복항목 리스트가 두개 이하면 첫번째 항목을 왼쪽에 두번째 항목을 오른쪽에 자동배치해서 띄워주고

3개째부터는 아래 리스트 항목을 원하는쪽 뷰어에 드래그하면 해당 항목 파일 이미지를 보여줌.

hash 생성 이력에 픽셀맵hash 데이터 생성 기록이 있을때 화면에 표시된 이미지의 hash값이 동일하면 배경색을 주황색으로 표시해주고 hash값이 다르면 흰색배경으로 나옴.

그리고 확인 다 한뒤에는 우상단 정리 버튼을 누르면 아래 리스트 왼쪽에 체크가 된 항목을 정리함. 바로 휴지통이나 완전 삭제는 아니고 스캔 경로에 _ArchiveHashIndexer_Trash라는 폴더를 만들어서 여기로 옮김. 혹시 실수로 지우면 안될걸 지우면 여기서 다시 끄집어내면 됨.

다음 중복은 말그대로 다음 중복 그룹으로 넘어가는것....

이미지 hash 비교는 눌러도 메인화면은 차이 없고 버튼 우측 옵션에 따라서 리스트에 중복 표기되는 조건이 바뀔뿐임

기본적으로 이 기능은 픽셀맵 hash 데이터를 생성해서 비교하는거라

배포자가 무손실 이미지로 배포를 했으면 BMP,PNG,WEBP등 포멧이 달라도 픽셀단위로 동일한 이미지를 검출 해낼수있는 구조임

해당 기능 옵션은 두개임

1.공유 이미지 X개 이상

0개로 하면 압축파일내에 있는 모든 이미지 hash값이 동일한것들 검출하는거고

1개 이상부터는 A와 B압축파일에 1개이상 hash값이 같은 이미지가 있으면 중복으로 검출하는거임.

아마 1-2개로 지정하면 표지번역 안한 번역본과 원본들이 많이 검출될거고

적당히 10개 이하로 하면 검열판 무검열판 들이 검출될거임

갯수는 어떻게 중복성을 검출할수있을지 생각해보고 지정하면 됨.

2. 포함 비교

A압축파일 이미지hash값 집합이 B압축파일내에 몽땅 다 들어있으면 중복으로 검출됨.

ch1,ch2 쪼개져서 업로드됐던 파일들하고 이거 다 합한 합본하고 여기에 걸릴거임.

공유 이미지 갯수랑 합산하는건 오작동 우려되서 포함비교 체크하면 공유 이미지 옵션은 강제로 비활성화시키게 함.

그 외 만질만한건

일괄정리, 병렬처리수, 재스캔 정도고

1.일괄정리

중복 데이터를 일괄로 정리하는건데 hash 비교랑 이미지 hash 비교랑 조금 다르게 동작함

-hash비교 기능으로 스캔했을때 일괄정리를 하면 수정한 날짜가 오래된 파일 하나를 유지하고 나중걸 정리시킴.

-이미지hash비교 기능으로 스캔했을때 일괄정리를 하면 파일명이 동일하고 이미지hash 집합이 몽땅 동일한거만 정리시킴.

2.병렬 처리 수

작업병렬 프로세스고 컴 성능에 맞춰서 적당히 조절하면 됨. 해보니까 pc 안에있는 데이터 읽는덴 풀로 땡겨도 괜찮던데

나스에 직접 스캔할땐 망속도가 못따라와서 병목걸리더라.

3.재스캔

한번 스캔하면 해당 경로에 json파일이 하나 생기는데 이게 스캔하면서 생성한 hash 데이터 이력이라 보통은 이걸 재활용하는데

재스캔을 체크하고 비교 버튼들을 누르면 hash를 재생성함.

프로그램은 닷넷9 런타임 설치해야하고 구글링해서 받아서 설치하면 됨

링크 : aHR0cHM6Ly9raW8uYWMvYy9iRzVqaVVzZ1RzVHlEV1R6NkdFejRi

비번 : 국룰

나름 쓰기 편하다 생각했는데 구술하려니까 개복잡한거같네

뭐 사소한 찐빠는 있긴한데 철저하게 하진 않았고

난 이걸로 1000개쯤 정리한듯?