파일중복 제거 프로그램 만드는 중입니다..
안녕하세요.
공유받은 파일들을 신났다고 복사했더니 10테라가 거의 다 찼네요.. ㅡ0ㅡ
그래서 중복파일 찾아주는 프로그램을 만들기 시작했습니다.. 허허
현재까지 만들어진 기능은 pikpak에 원격으로 접속해서 리스트 추출 후
같은 동영상(해쉬값 비교)을 추출(유사도는 아직 미적용) 후 바로 삭제 또는
휴지통으로 이동하는 것까지 AI 도움을 받아서 어케어케 만들었네요.
물론 테스트는 더 필요하겠지만요..
만들고자 하는 최종버전은 내 pc로 동영상 다운로드 없이 원격으로 pikpak에
접근해서 완전동일하거나 유사도가 높은 파일리스트를 보여주고, 사용자가
선택하면 pikpak에서 바로 삭제 또는 휴지통으로 이동하는 것으로 생각하고
있습니다.
→
최종버전 변경 안
동일한 파일이라고 판단되는 경우에는 바로 휴지통으로 이동시키고 유사하다고
판단되는 파일들끼리 묶어서 별도 폴더를 생성하여 이동시키는 방법을 고려하고
있는 중입니다.
아무래도 최종 삭제는 사용자 확인이 필요하지 않을까 생각합니다..
어떻게 모은 자료인데.. 쩝..
=============== 07.25 내용추가
많은 분들이 응원해주셔서 감사하고 더불어 은근 부담이.. ^^;;;
저의 무지와 짧은 생각으로 처음 시작할 때는 다운로드 없이라고 했지만 해본 결과
100% 다운로드없이 검사는 아쉽지만 불가능할거 같습니다. 죄송합니다.. (_._)
이유는
프로그램을 만들기 전에 생각한 1순위 기능이 파일 다운로드 없이 처리하는 것이
목표였기에 원격으로 pikpak에 존재하는 모든 파일의 메타정보를 긁어와서
처리하도록 구현했는데 동일파일도 아닌 그렇다고 완전히 다른파일이라고 판단이
불가능한 파일(사이즈는 같고 해쉬값만 다른)인 경우에는 메타정보만으로는
검사가 안되고 오로지 검사할 방법은 파일데이터 자체를 비교해야해서 다운로드가
불가피하네요..
현재 상태는
동일파일 판단기준으로 처리하는 것은 어느정도(?) 된거 같아 테스트 중이고 판단이
불가한 파일의 비교를 위해 대상 전체를 풀로 다운로드할 것인지 아니면 사용자가
선택한 파일의 일부만 다운로드해서 할 것인지 등등을 고려해서 방향을 잡아야할 것
같습니다..
몇일만에 뚝딱 만들어지지는 않겠지만 만들어지면 최종 프로그램 공유하겠습니다.
s/pornvideo
• 58,501 subscribers- 1. 아동·청소년 음란물 및 불법 촬영물을 공유 금지
코네 규정에 따라 아동·청소년 음란물 및 불법 촬영을(몰카,리벤지 포르노) 등은 공유 금지 게시물입니다. 해당 규정을 어길 경우 영구정지의 징계를 받게 됩니다
- 2. 국내 자료 / 국내 활동중인 외국인 자료 공유
국내 자료를 올리는 것은 코네의 서버가 국외에 있다고 해도 세이셸이 다른 아프리카 같은 후진국도 아니기에 국내 정부의 수사에 협조할 수 있어굉장히 위험합니다. 따라서 국내 자료와 국내 활동 중인 외국인 자료와 함께 앞으로 요청 및 공유를 영구히 금지합니다. 국내 활동 중인 외국인 자료 중 금지 자료는 국내에 거주하는 사람을 대상으로 하는지를 보고 판단 하도록 하겠습니다. (ex : 해외 작품에 출연하고 그 대상이 대다수의 해외 거주민을 대상으로 할 경우 허용 (O) 해외에서 활동하는 외국인이 국내 작품에 출연하는 경우 금지 (X) 국내에 거주하다 해외로 이민가서 구독형 성인 사이트에서 활동 하면서 국내에서 활동하는 경우 (X) 외국인이지만 국내에서 활동하고 구독형 성인 사이트에서 활동하는 경우 (X) 해당 규정을 어길 경우 영구정지의 징계를 받게 됩니다
- 3. 국룰 언급 / 질문 / 공유 금지
해외 사이트나 국내 사이트등에 국룰이 유출되는 일이 발생하고 서브 내 국룰 언급 / 질문 / 공유 등문제가 빈번하게 벌어지고 있어서 금지하도록하겠습니다. 해당 규정을 어길 경우 영구정지의 징계를 받게 됩니다. 국룰: Wm5KbFpYUnBZbVYw 2번
- 4. 서브 내 영상 교환을 금지합니다.
영상 교환의 목적으로 글을 올린 사람은 1개월 차단합니다. 영상 교환의 목적으로 다른 사람에게 접근하기 위해 댓글은 쓴 경우 10일 차단됩니다. 해당 규정을 3회 이상 어길 경우 영구정지의 징계를 받게 됩니다
- 5. 방주 형식의 자료 공유 금지
여러 자료 모음집을 한곳에 모은 방주 형식의 자료 공유를 금지합니다. 이전에 외국인 방주를 그대로 가져와서 공유할때 국내자료, 미성년자 자료, 스너프 필름이 포함되는 경우가 있어서 금지합니다. 해당 규정을 어길 경우 영구정지의 징계를 받게 됩니다.
- 6. 키오스크 및 외부 클라우드를 조건부 허용
영상 공유의 특성 상 용량이 크기 때문에 키오스크 및 외부 클라우드를 조건부 허용합니다. 픽팍은 대량 다운로드시 편리하고 UI가 깔끔하다는 장점이 있지만 무분별한 공유 시도로 인해 픽팍 사용에 제한을 두게 되었습니다 픽팍으로 올린 자료는 업로드 기간이 아직 지나지 않았다면 복구할 수 없습니다. 해당 기간내에도 픽팍으로 제외한 다른 클라우드로는 복구가 가능합니다. 풀팩에 아직 기간이 지나지 않은 자료를 추가해 올릴 경우 최소 14일에서 1달의 징계를 내립니다 "복구"는 기본적으로 이전에 올라왔던 자료를 다시 올리는 것을 말하며 앞으로 제한하는 것은 그것을 약간의 변형 혹은 자료 추가만 거치거나 그대로 복구하는 것만을 제한합니다 만약 새로 올라온 자료가 이전에 올라온 자료와 겹치는 부분이 있은 새롭게 추가된 자료가 더 많을 경우 이전 업로더의 요청이 있지 않는 한 따로 제재 하거나 하지 않습니다 이 규정을 어길 경우 최소 7일 최대 3개월 가량의 차단 징계를 받게됩니다.
- 7. 서브 글 작성 규정과 자료 공유/ 자료 요청 시 규정
자료 공유는 기본적으로 키오스크,픽팍,테라박스와 같은 공유 서비스 중 하나를 선택하여 자료를 올린 뒤 BASE64 로 링크를 암호화한 뒤 올리면 됩니다. 모든 자료는 비밀번호를 설정해야합니다. 국룰: Wm5KbFpYUnBZbVYw 2번 기간은 모든 자료에 필수적으로 설정해야 하며 최대 공유기간은 한달이며 영구 공유는 금지합니다. 최근 서브의 외부 노출 사례가 늘어나 앞으로 글의 제목의 구성에 기준을 세우게 되었습니다. 업로드 글의 경우,글 제목에 오직 자료의 제목,자료의 장르,자료의 용량만 적을 수 있습니다. 요청 글의 경우,글 제목에 오직 자료의 제목만을 적을 수 있습니다 (요청 자료 내용을 알 수 있도록 영상 사진이나 재대로 된 사진을 첨부) 복구 요청 글의 경우 원 글 제목을 그대로 사용하는 걸 허용합니다. 위 규정을 위반한 경우 최소 7일에서 최대14일의 전체 차단을 받습니다.
- 8. 서브 이용자를 위한 규정
8. 서브 이용자를 위한 규정 서브 이용자 간의 과도한 친목과 비방과 비난 분탕과 특정 업로더의 네임드화, 과도한 정도의 업로드 요청 등의 문제 등 규정을 명확히 할 필요가있어서 새로 작성합니다. 8 - 1. 서브 이용자 간의 비방 및 비난 아무리 익명으로 활동하는 인터넷이라고 해도 상부상조하는 관계끼리 지켜야하는 예의가 있습니다. 하지만 가끔씩 이런 "예의"를 지키지 않고 과도한 비방 및 비난을 일삼는 이들이 있어 이것을 재재하기 위한 규정입니다. 비난의 세기,강도에 따라 최소 5일,최대 60일의 징계가 처해집니다 8 - 2. 서브 이용자 간의 과도한 친목 서브 내 친목 행위가 아닌 타 서브나 다른 메신저나 다른 사이트로 유도하는 글은 영구정지의 징계를 받게 됩니다. 정보 공유를 위한 사이트 주소는 일시적으로 허용하도록하겠습니다. 8 - 3. 업로더간 견제 행위 업로더간 견재 행위는 자신의 자료만 사람들이 다운로드했으면 좋겠다는 의도가 있는 것으로 보며 최소 3일에서 최대 7일의 글쓰기 차단을받게 됩니다.
- 9. AI 반실사 짤 업로드 허용
AI 반실사 짤들을 올릴때는 AI) [AI] 같은 문구를 붙이고 짤탭에 올려주시길 바랍니다
Deleted comment.
Deleted comment.