dataset

[mayang1]

您好，能一下您的训练数据是怎么来的，方便的话可以提供一下吗

[bityigoss]

@mayang1 训练数据基于生成数据训练的，最终数量约900万条，主要因为图片数据太大，不太方便上传。

• 生成工具主要基于ReadMe.txt中使用的repo代码，可以根据情况增加一些效果，如阴影边框等；

• 语料是基于开放的 搜狗新闻+wiki等中文语料提取，提取时基本遵循标点符号断句，样本字符长度[6,24]。

• 分析了部分字符的分布，对样本进行了采样和选择，去掉了部分低频字符，最终选择了config/chn.txt字符列表

• 生成图片样本时，也采用了多个开源字体

如果你有好的建议或者数据集，欢迎分享，谢谢。

[mayang1]

您好，我想在自己的数据集上训练ctc_atteion模型，所以想知道lmdb_train 里边的数据格式是什么，能分享一下具体的运行环境和运行过程吗，毕业论文急需，所以麻烦您了 CUDA_VISIBLE_DEVICES=0 python train.py \ --train_data data/synch/lmdb_train \ --valid_data data/synch/lmdb_val \ 1596130295@qq.com From: yigoss.py Date: 2019-10-24 10:21 To: bityigoss/mtl-text-recognition CC: mayang1; Mention Subject: Re: [bityigoss/mtl-text-recognition] dataset (#9) @mayang1 训练数据基于生成数据训练的，最终数量约900万条，主要因为图片数据太大，不太方便上传。 生成工具主要基于ReadMe.txt中使用的repo代码，可以根据情况增加一些效果，如阴影边框等； 语料是基于开放的 搜狗新闻+wiki等中文语料提取，提取时基本遵循标点符号断句，样本字符长度[6,24]。 分析了部分字符的分布，对样本进行了采样和选择，去掉了部分低频字符，最终选择了config/chn.txt字符列表 生成图片样本时，也采用了多个开源字体 如果你有好的建议或者数据集，欢迎分享，谢谢。 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[bityigoss]

LMDB数据格式转换可使用脚本：utils/create_lmdb_dataset.py

[longnanxi]

LMDB数据格式转换可使用脚本：utils/create_lmdb_dataset.py
你好，我想请教一个问题，我想先跑通您的训练代码，所以我训练集、验证集、测试集都用相同的数据，训练完模型之后，loss降到0，但是在测试集上，预测结果不是很理想，请问这是怎么回事呢？

[bityigoss]

@longnanxi 训练log中的准确率如何，预测是在测试集上做的还很差吗？还有考虑训练集是否太小导致过拟合了。
跑通代码可以首先下载预训练的模型运行预测部分，了解预测过程；其次构造训练样本迭代，与预训练模型的baseline对比；

[longnanxi]

@longnanxi 训练log中的准确率如何，预测是在测试集上做的还很差吗？还有考虑训练集是否太小导致过拟合了。
跑通代码可以首先下载预训练的模型运行预测部分，了解预测过程；其次构造训练样本迭代，与预训练模型的baseline对比；

准确率为100%，我把字典改成了训练集中包含的字（您demo_images中的字符集），模型在预测集上50%准确率吧，但是训练集、验证集和测试集都是一样的，我觉着过拟合越大越好，我比较不解的是：为什么训练集、验证集和测试集都是一样的，训练准确率为100%了，测试识别却不理想