Question

我的申请是,我们重新把我们的客户上载到我们的服务器上。然后,我们处理并把这些星号的数据输入我们的数据库。我们回头处理一些有焦炭的问题,特别是当我们重新处理森特时,特别是一些没有改变的UTF-8型特征正在打破爱琴公司的反应。

是否有办法在我们开始处理之前将上载的茨夫档案转换到UTF-8? 是否有办法确定上载文件的性质? 我在一旁玩笑了,但我们并不总是能够肯定的是,上载档案会有哪些内容。感谢。

Answer 1

这种解决办法可能并不理想,但应当做这项工作。

第一,成分:

chardet (sudo gem install chardet)
fastercsv (sudo gem install fastercsv)

现行法典(未测试):

require  rubygems 
require  UniversalDetector 
require  fastercsv 
require  iconv 

file_to_import = File.open("path/to/your.csv")
# determine the encoding based on the first 100 characters
chardet = UniversalDetector::chardet(file_to_import.read[0..100])
if chardet[ confidence ] > 0.7
  charset = chardet[ encoding ]
else 
  raise  You better check this file manually. 
end
file_to_import.each_line do |l| 
  converted_line = Iconv.conv( utf-8 , charset, l)
  row = FasterCSV.parse(converted_line)[0]
  # do the business here
end

友情链接