AIHIA梦工厂

标题: Insightface记录——验证集制作 [打印本页]
作者: 骑着拖拉机去旅    时间: 2023-9-24 05:44 PM
标题: Insightface记录——验证集制作
一、pairs 文件制作
名单包含两种内容：
标签为1， 是同一个人的两两组合图相对，
不同人的两两组合图像对，标签是0，代表是不同人




看网上很多人写的在生成不同人的图像对时忽略了，同一个人员ID目录下包含多张图的情况，我这里进行了修改，代码如下：

  1. import argparse
  2. import itertools
  3. import os
  4. import random
  5. import time


  8. if __name__ == "__main__":
  9.     parser = argparse.ArgumentParser(description='Generate image pairs.')
  10.     parser.add_argument('--dataset', default='G:/myFaceData/myvaldata/imgs/',
  11.                         type=str, help='Dataset path.')
  12.     parser.add_argument('--output', default='G:/myFaceData/myvaldata/pairs1.txt', type=str, help='Output path.')
  13.     parser.add_argument('--same', default=5000, type=int,
  14.                         help="Number of same pairs for each person.")
  15.     args = parser.parse_args()

  17.     assert args.dataset and args.output, \
  18.         'Dataset and output should be defined.'
  19.     file = open(args.output, 'w+')
  20.     #file.writelines('\n')
  21.     allList = []
  22.     # ---- Generate same pairs for each person
  23.     same = 0
  24.     personList = os.listdir(args.dataset)
  25.     samePairs = []
  26.     for person in personList:
  27.         if not os.path.isdir(os.path.join(args.dataset, person)):
  28.             continue
  29.         IDPath = os.path.join(args.dataset, person)
  30.         subList = []
  31.         images = os.listdir(os.path.join(args.dataset, person))
  32.         for image in images:
  33.             if not image.lower().endswith(('jpg', 'jpeg', 'png')):
  34.                 continue
  35.             imagePath = os.path.join(args.dataset, person, image)
  36.             
  37.             allList.append(imagePath)#所有的路径都存下来
  38.             subList.append(imagePath)
  39.             


  42.         for pair in itertools.combinations(subList, 2):
  43.             samePairs.append(pair)

  45.     choices = random.sample(samePairs, args.same)
  46.     for pair in choices:
  47.         file.writelines(f'{pair[0]} {pair[1]} {1}\n')
  48.         same += 1
  49.         # ---- Generate different pairs
  50.     print(f"Will generate {same} different pairs.")
  51.     count = 0
  52.     sets = set()
  53.     while True:
  54.         if count >= same:
  55.             break
  56.         random.seed(time.time() * 100000 % 10000)
  57.         random.shuffle(allList)
  58.         indexa=random.sample(range(0, len(allList)),1)[0]
  59.         indexb=random.sample(range(0, len(allList)),1)[0]
  60.         IDPath_1 = os.path.split(allList[indexa])
  61.         IDPath_2 = os.path.split(allList[indexb])
  62.         if allList[indexa] != allList[indexb] and IDPath_1[0]!= IDPath_2[0] and not (allList[indexa], allList[indexb]) in sets:
  63.             sets.add((allList[indexa], allList[indexb]))
  64.             sets.add((allList[indexb], allList[indexa]))
  65.             file.writelines(f'{allList[indexa]} {allList[indexb]} {0}\n')
  66.             count += 1
复制代码

二、bin 文件制作

同样网上找到跑不通，自己修改了一些内容。


  1. #coding:utf-8

  3. import mxnet as mx
  4. from mxnet import ndarray as nd
  5. import argparse
  6. import pickle
  7. import sys
  8. import os
  9. import numpy as np
  10. import pdb
  11. import matplotlib.pyplot as plt

  13. def read_pairs(pairs_filename):
  14.     pairs = []
  15.     with open(pairs_filename, 'r') as f:
  16.         for line in f.readlines()[0:]:
  17.             pair = line.strip().split(',')
  18.             pairs.append(pair)
  19.     return np.array(pairs)


  22. def get_paths(pairs, same_pairs):
  23.     nrof_skipped_pairs = 0
  24.     path_list = []
  25.     issame_list = []
  26.     cnt = 1
  27.     for pair in pairs:
  28.         path0 = pair[0].split(' ')[0]
  29.         path1 = pair[0].split(' ')[1]

  31.         if cnt < same_pairs:
  32.             issame = True
  33.         else:
  34.             issame = False
  35.         if os.path.exists(path0) and os.path.exists(path1):  # Only add the pair if both paths exist
  36.             path_list += (path0, path1)
  37.             issame_list.append(issame)
  38.         else:
  39.             print('not exists', path0, path1)
  40.             nrof_skipped_pairs += 1
  41.         cnt += 1
  42.     if nrof_skipped_pairs > 0:
  43.         print('Skipped %d image pairs' % nrof_skipped_pairs)

  45.     return path_list, issame_list


  48. if __name__ == '__main__':
  49.     parser = argparse.ArgumentParser(description='Package  images')
  50.     # general
  51.     parser.add_argument('--data-dir', default='G:/myFaceData/myvaldata/imgs', help='')
  52.     parser.add_argument('--image-size', type=str, default='112,112', help='')
  53.     parser.add_argument('--output', default='G:/myFaceData/myvaldata/myval.bin', help='path to save.')
  54.     parser.add_argument('--txtfile', default='G:/myFaceData/myvaldata/pairs.txt', help='txtfile path.')
  55.     args = parser.parse_args()
  56.     image_size = [int(x) for x in args.image_size.split(',')]
  57.     img_pairs = read_pairs(args.txtfile)
  58.     img_paths, issame_list = get_paths(img_pairs, 5000)   # 这里的15925是相同图像对的个数，需要按照实际产生的相同图像对数量替换
  59.     img_bins = []
  60.     i = 0
  61.     for path in img_paths:
  62.         with open(path, 'rb') as fin:
  63.             _bin = fin.read()
  64.             img_bins.append(_bin)
  65.             i += 1
  66.     with open(args.output, 'wb') as f:
  67.          pickle.dump((img_bins, issame_list), f, protocol=pickle.HIGHEST_PROTOCOL)
复制代码
















欢迎光临 AIHIA梦工厂 (https://aihiamgc.com/) Powered by Discuz! X3.5