epoch训练时间太长怎么办,训练多少epoch

epoch训练时间太长怎么办,训练多少epoch

第一次epoch训练时间过长GenchenLi 2019年03月9日16:30 #1 训练出现的问题：类似下面这种epoch 1, loss 1.676799, train acc 0.372422, valid acc 0.487600,可以采用每次训练的过程中存储相应的训练权重的方式，一次训练10个epoch的值，在训练的过程中，如果有对应的权重文件，则直接加载相应的权重，没有权重文件的情况下再从头开始进行训练。

⊙﹏⊙‖∣° 如果不是这个原因，建议自己统计一下或者profile 一下每一部分的用时，就可以看出来哪一部分用时越来epoch过大或过小：epoch数目直接影响模型是欠拟合还是过拟合。epoch过小，模型未训练到最优解就停止了训练，容易欠拟合；epoch过大，模型训练时间过长，容易在训练集上过拟合，在测试集上达

在训练数据量小，模型不大的情况下，建议将cacheimages关掉，直接从硬盘读入GPU,将action='store_true'替换为action='store_false'即可，关掉之后博主一次epoch从360 for i in range(K_epoch): #K_epoch:训练多少个epoch 61 #计算td_error 误差，value模型的优化目标就是尽量减少td_error 62 td_target = r + gamma * self.v(s_prime) * do

1.我在静态图的框架下面也试了这个问题，现象和动态图的一样，从第二个epoch开始循环时间突然变长2.我把xmap_reader换成了map_reader,也就是单线程的版本，循环时间确实比多进程的要长理论上，session启动后，每个epoch训练时间应该是差不多，而且不会因为迭代周期变长，epoch时间变慢。原因是session里定义了tf.op导致的，每一次迭代都会在graph里增

A: (1)检测的话，LSVT街景数据集共3W张图像，超轻量模型，150epoch左右，2卡V100 跑了不到2天；通用模型：2卡V100 150epoch 不到4天。2) 识别的话，520W左右的数据集(真实数据26W+合成数所以在每个epoch刚开始的时候比较慢。你可以设置persist_workers = True, 这样就不用每个epoch进行进程