{"action":"created","issue":{"url":"https://api.github.com/repos/jmhodges/rchardet/issues/27","labels_url":"https://api.github.com/repos/jmhodges/rchardet/issues/27/labels{/name}","comments_url":"https://api.github.com/repos/jmhodges/rchardet/issues/27/comments","events_url":"https://api.github.com/repos/jmhodges/rchardet/issues/27/events","html_url":"https://github.com/jmhodges/rchardet/issues/27","id":102917947,"number":27,"title":"ISO-8859-2 detected instead of MACROMAN for Excel CSV Mac format exported files","user":{"login":"brauliobo","id":41740,"avatar_url":"https://avatars.githubusercontent.com/u/41740?v=3","gravatar_id":"","url":"https://api.github.com/users/brauliobo","html_url":"https://github.com/brauliobo","followers_url":"https://api.github.com/users/brauliobo/followers","following_url":"https://api.github.com/users/brauliobo/following{/other_user}","gists_url":"https://api.github.com/users/brauliobo/gists{/gist_id}","starred_url":"https://api.github.com/users/brauliobo/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/brauliobo/subscriptions","organizations_url":"https://api.github.com/users/brauliobo/orgs","repos_url":"https://api.github.com/users/brauliobo/repos","events_url":"https://api.github.com/users/brauliobo/events{/privacy}","received_events_url":"https://api.github.com/users/brauliobo/received_events","type":"User","site_admin":false},"labels":[],"state":"open","locked":false,"assignee":null,"milestone":null,"comments":4,"created_at":"2015-08-25T00:08:45Z","updated_at":"2015-11-13T17:33:01Z","closed_at":null,"body":"\r\n```\r\n>> d=CharDet.detect (csv=File.read('/home/braulio/Downloads/listateste.csv'))\r\n=> {\"encoding\"=>\"ISO-8859-2\", \"confidence\"=>0.2136145055663291}\r\n>> csv\r\n=> \"Produtor;PRODUTO;Unidade;Valor\\rS\\xEATIO UWADA;ALFACE AMERICANA ; Unidade ;2,2\\rS\\xEATIO UWADA;ALFACE CRESPA ; Unidade ;2\\rS\\xEATIO UWADA;ALFACE LISA ; Unidade ;2\\rS\\xEATIO UWADA;ALFACE MIMOSA; Unidade ;2\\rS\\xEATIO UWADA;ALFACE ROMANA; Unidade ;2\\rS\\xEATIO UWADA;ALFACE ROXA; Unidade ;2\\rS\\xEATIO UWADA;ALMEIR\\xCCO FINO ; ma\\x8Do ;2\\rS\\xEATIO UWADA;ALMEIR\\xCCO P\\xCCO DE A\\x82\\xF2CAR; ma\\x8Do ;2\\rS\\xEATIO UWADA;CATALONHA; ma\\x8Do ;2,5\\rS\\xEATIO UWADA;ESCAROLA; Unidade ;2\\rS\\xEATIO UWADA;ESPINAFRE ; ma\\x8Do ;3\\rS\\xEATIO UWADA;MIX SALSA/MANJERIC\\xCCO ; ma\\x8Do ;1,8\\rS\\xEATIO UWADA;NABO ; Unidade ;2\\rS\\xEATIO UWADA;SALSA ; ma\\x8Do ;1,8\\rS\\xEATIO SOL NASCENTE;ALHO POR\\xEE ; Unidade ;4\\rS\\xEATIO SOL NASCENTE;ACELGA CHINESA; Unidade ;2,5\\rS\\xEATIO SOL NASCENTE;COUVE MANTEIGA ; ma\\x8Do ;2\\rS\\xEATIO SOL NASCENTE;ERVA DOCE ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;REPOLHO VERDE ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;REPOLHO ROXO ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;INHAME - 500G; pacote  ;3\\rS\\xEATIO SOL NASCENTE;RADICCHIO ; Unidade ;2,5\\r\\n\"\r\n>> csv.encode 'UTF-8'\r\n=> \"Produtor;PRODUTO;Unidade;Valor\\rS\\xEATIO UWADA;ALFACE AMERICANA ; Unidade ;2,2\\rS\\xEATIO UWADA;ALFACE CRESPA ; Unidade ;2\\rS\\xEATIO UWADA;ALFACE LISA ; Unidade ;2\\rS\\xEATIO UWADA;ALFACE MIMOSA; Unidade ;2\\rS\\xEATIO UWADA;ALFACE ROMANA; Unidade ;2\\rS\\xEATIO UWADA;ALFACE ROXA; Unidade ;2\\rS\\xEATIO UWADA;ALMEIR\\xCCO FINO ; ma\\x8Do ;2\\rS\\xEATIO UWADA;ALMEIR\\xCCO P\\xCCO DE A\\x82\\xF2CAR; ma\\x8Do ;2\\rS\\xEATIO UWADA;CATALONHA; ma\\x8Do ;2,5\\rS\\xEATIO UWADA;ESCAROLA; Unidade ;2\\rS\\xEATIO UWADA;ESPINAFRE ; ma\\x8Do ;3\\rS\\xEATIO UWADA;MIX SALSA/MANJERIC\\xCCO ; ma\\x8Do ;1,8\\rS\\xEATIO UWADA;NABO ; Unidade ;2\\rS\\xEATIO UWADA;SALSA ; ma\\x8Do ;1,8\\rS\\xEATIO SOL NASCENTE;ALHO POR\\xEE ; Unidade ;4\\rS\\xEATIO SOL NASCENTE;ACELGA CHINESA; Unidade ;2,5\\rS\\xEATIO SOL NASCENTE;COUVE MANTEIGA ; ma\\x8Do ;2\\rS\\xEATIO SOL NASCENTE;ERVA DOCE ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;REPOLHO VERDE ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;REPOLHO ROXO ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;INHAME - 500G; pacote  ;3\\rS\\xEATIO SOL NASCENTE;RADICCHIO ; Unidade ;2,5\\r\\n\"\r\n>> csv.force_encoding Encoding::MACROMAN\r\n=> \"Produtor;PRODUTO;Unidade;Valor\\rS\\xEATIO UWADA;ALFACE AMERICANA ; Unidade ;2,2\\rS\\xEATIO UWADA;ALFACE CRESPA ; Unidade ;2\\rS\\xEATIO UWADA;ALFACE LISA ; Unidade ;2\\rS\\xEATIO UWADA;ALFACE MIMOSA; Unidade ;2\\rS\\xEATIO UWADA;ALFACE ROMANA; Unidade ;2\\rS\\xEATIO UWADA;ALFACE ROXA; Unidade ;2\\rS\\xEATIO UWADA;ALMEIR\\xCCO FINO ; ma\\x8Do ;2\\rS\\xEATIO UWADA;ALMEIR\\xCCO P\\xCCO DE A\\x82\\xF2CAR; ma\\x8Do ;2\\rS\\xEATIO UWADA;CATALONHA; ma\\x8Do ;2,5\\rS\\xEATIO UWADA;ESCAROLA; Unidade ;2\\rS\\xEATIO UWADA;ESPINAFRE ; ma\\x8Do ;3\\rS\\xEATIO UWADA;MIX SALSA/MANJERIC\\xCCO ; ma\\x8Do ;1,8\\rS\\xEATIO UWADA;NABO ; Unidade ;2\\rS\\xEATIO UWADA;SALSA ; ma\\x8Do ;1,8\\rS\\xEATIO SOL NASCENTE;ALHO POR\\xEE ; Unidade ;4\\rS\\xEATIO SOL NASCENTE;ACELGA CHINESA; Unidade ;2,5\\rS\\xEATIO SOL NASCENTE;COUVE MANTEIGA ; ma\\x8Do ;2\\rS\\xEATIO SOL NASCENTE;ERVA DOCE ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;REPOLHO VERDE ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;REPOLHO ROXO ; Unidade ;3\\rS\\xEATIO SOL NASCENTE;INHAME - 500G; pacote  ;3\\rS\\xEATIO SOL NASCENTE;RADICCHIO ; Unidade ;2,5\\r\\n\"\r\n>> csv.encode 'UTF-8'\r\n=> \"Produtor;PRODUTO;Unidade;Valor\\rSÍTIO UWADA;ALFACE AMERICANA ; Unidade ;2,2\\rSÍTIO UWADA;ALFACE CRESPA ; Unidade ;2\\rSÍTIO UWADA;ALFACE LISA ; Unidade ;2\\rSÍTIO UWADA;ALFACE MIMOSA; Unidade ;2\\rSÍTIO UWADA;ALFACE ROMANA; Unidade ;2\\rSÍTIO UWADA;ALFACE ROXA; Unidade ;2\\rSÍTIO UWADA;ALMEIRÃO FINO ; maço ;2\\rSÍTIO UWADA;ALMEIRÃO PÃO DE AÇÚCAR; maço ;2\\rSÍTIO UWADA;CATALONHA; maço ;2,5\\rSÍTIO UWADA;ESCAROLA; Unidade ;2\\rSÍTIO UWADA;ESPINAFRE ; maço ;3\\rSÍTIO UWADA;MIX SALSA/MANJERICÃO ; maço ;1,8\\rSÍTIO UWADA;NABO ; Unidade ;2\\rSÍTIO UWADA;SALSA ; maço ;1,8\\rSÍTIO SOL NASCENTE;ALHO PORÓ ; Unidade ;4\\rSÍTIO SOL NASCENTE;ACELGA CHINESA; Unidade ;2,5\\rSÍTIO SOL NASCENTE;COUVE MANTEIGA ; maço ;2\\rSÍTIO SOL NASCENTE;ERVA DOCE ; Unidade ;3\\rSÍTIO SOL NASCENTE;REPOLHO VERDE ; Unidade ;3\\rSÍTIO SOL NASCENTE;REPOLHO ROXO ; Unidade ;3\\rSÍTIO SOL NASCENTE;INHAME - 500G; pacote  ;3\\rSÍTIO SOL NASCENTE;RADICCHIO ; Unidade ;2,5\\r\\n\"\r\n```"},"comment":{"url":"https://api.github.com/repos/jmhodges/rchardet/issues/comments/156495540","html_url":"https://github.com/jmhodges/rchardet/issues/27#issuecomment-156495540","issue_url":"https://api.github.com/repos/jmhodges/rchardet/issues/27","id":156495540,"user":{"login":"dpoggi","id":227608,"avatar_url":"https://avatars.githubusercontent.com/u/227608?v=3","gravatar_id":"","url":"https://api.github.com/users/dpoggi","html_url":"https://github.com/dpoggi","followers_url":"https://api.github.com/users/dpoggi/followers","following_url":"https://api.github.com/users/dpoggi/following{/other_user}","gists_url":"https://api.github.com/users/dpoggi/gists{/gist_id}","starred_url":"https://api.github.com/users/dpoggi/starred{/owner}{/repo}","subscriptions_url":"https://api.github.com/users/dpoggi/subscriptions","organizations_url":"https://api.github.com/users/dpoggi/orgs","repos_url":"https://api.github.com/users/dpoggi/repos","events_url":"https://api.github.com/users/dpoggi/events{/privacy}","received_events_url":"https://api.github.com/users/dpoggi/received_events","type":"User","site_admin":false},"created_at":"2015-11-13T17:33:01Z","updated_at":"2015-11-13T17:33:01Z","body":"Mac OS Roman isn't supported for detection. I'm having the same issue. It's important because I suspect (since this is the 3rd project where I've had to do such a thing) a lot of people are using this to detect the text encoding in CSV files, and Excel for Mac (even 2011 and 2016[!!!]) exports CSV files as Mac OS Roman, with no option to change it. 2011 even uses \\r line endings, but String#encode will take care of those just fine regardless of the source encoding.\r\n\r\nGoing to fork and try to come up with a detector for Mac OS Roman, we'll see how far I get. I don't need that license header for the original Netscape code up top, do I, since it's an entirely new file?"}}