PythonでDBFファイルを開く際の問題

3
Michieldo 2019-07-26 08:01.

いくつかのDBFファイルをデータフレームに変換して開こうとしています。それらのほとんどは正常に機能しましたが、ファイルの1つで、「UnicodeDecodeError: 'utf-8'コーデックは位置15のバイト0xf6をデコードできません:無効な開始バイト」というエラーが表示されます。

csvやxlsx、その他のファイルを開くなど、他のいくつかのトピックでこのエラーを読みました。提案された解決策はencoding = 'utf-8'、ファイル部分の読み取りに含めることでした。残念ながら、DBFファイルの解決策は見つかりませんでした。また、DBFファイルに関する知識は非常に限られています。

私がこれまでに試したこと:

1)

from dbfread import DBF
dbf = DBF('file.DBF')
dbf = pd.DataFrame(dbf)

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 8: character maps to <undefined>

2)

from simpledbf import Dbf5
dbf = Dbf5('file.DBF')
dbf = dbf.to_dataframe()

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf6 in position 15: invalid start byte

3)

# this block of code copied from https://gist.github.com/ryan-hill/f90b1c68f60d12baea81 
import pysal as ps

def dbf2DF(dbfile, upper=True): #Reads in DBF files and returns Pandas DF
    db = ps.table(dbfile) #Pysal to open DBF
    d = {col: db.by_col(col) for col in db.header} #Convert dbf to dictionary
    #pandasDF = pd.DataFrame(db[:]) #Convert to Pandas DF
    pandasDF = pd.DataFrame(d) #Convert to Pandas DF
    if upper == True: #Make columns uppercase if wanted 
        pandasDF.columns = map(str.upper, db.header) 
    db.close() 
    return pandasDF

dfb = dbf2DF('file.DBF')

AttributeError: module 'pysal' has no attribute 'open'

そして最後に、dbfpyモジュールをインストールしようとすると、次のように表示されます。SyntaxError:無効な構文

これを解決する方法について何か提案はありますか?

2 answers

1
Ethan Furman 2019-07-26 23:31.

私のdbfライブラリを使ってみてください:

import dbf

table = dbf.Table('file.DBF')

それを印刷して、エンコーディングがファイルに存在するかどうかを確認します。

print table    # print(table) in Python 3

私のテストテーブルの1つは次のようになります。

    Table:         tempy.dbf
    Type:          dBase III Plus
    Codepage:      ascii (plain ol ascii)
    Status:        DbfStatus.CLOSED
    Last updated:  2019-07-26
    Record count:  1
    Field count:   2
    Record length: 31 
    --Fields--
      0) name C(20)
      1) desc M

重要な行はCodepage行です-それはあなたのDBFファイルに適切に設定されていないようです。それがどうあるべきかがわかっている場合は、次のコードページで(一時的に)開くことができます。

table = dbf.Table('file.DBF', codepage='...')

または、次の方法で永続的に変更(DBFファイルを更新)することもできます。

table.open()
table.codepage = dbf.CodePage('cp1252') # for example
table.close()
0
Joselin Ceron 2020-04-17 10:25.
 from simpledbf import Dbf5
 dbf2 = Dbf5('/Users/.../TCAT_MUNICIPIOS.dbf', codec='latin')
 df2 = dbf2.to_dataframe()
 df2.head(3)

Related questions

MORE COOL STUFF

「水曜日」シーズン1の中心には大きなミステリーがあります

「水曜日」シーズン1の中心には大きなミステリーがあります

Netflixの「水曜日」は、典型的な10代のドラマ以上のものであり、実際、シーズン1にはその中心に大きなミステリーがあります.

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ケイト・ミドルトンは、州の夕食会と州の訪問中にカミラ・パーカー・ボウルズからスポットライトを奪いたくなかった、と専門家は言う.

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンが、オリビア・ワイルドが彼女とハリー・スタイルズとの間の「難しい」が「非常に友好的」な分割を恒久的にすることを望んでいる理由を見つけてください.

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする&nbsp;

エリザベス女王の死後、ケイト・ミドルトンが舞台裏で「非常に困難な時期」を過ごしていたと伝えられている理由を調べてください.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

その時ゼルダの予告編はおそらく成長した男性を泣かせた

その時ゼルダの予告編はおそらく成長した男性を泣かせた

まったく新しいゼルダの伝説ゲームが期待されているゲームの公開はほとんどありませんが、2004年のE3でトワイライトプリンセスが生み出した激しい反応には何の影響もありません。ゲーム会社が記者会見を従業員でいっぱいにするのはよくあることです。

レポート:テリーコリンズはメッツマネージャーとして行われる

レポート:テリーコリンズはメッツマネージャーとして行われる

写真:アル・ベロ/ゲッティ・ケン・ローゼンタールは、今日のフィリーズとの試合が終了すると、テリー・コリンズがメッツのマネージャーを辞任すると報告しています。これは、大きな救済として上陸したとしても、大きなショックではありません。コリンズの契約は今シーズン後に失効する予定だったので、メッツは彼の将来について何らかの形で決定することを決定しました、そしてロッカールームが準備ができた有毒な場所になったという報告が出た後、彼らが彼を連れ戻すことは想像できませんでした彼らのマネージャーから移動します。

その時私はウェンディのツイッターアカウントを実行している間にウイルスに行きました

その時私はウェンディのツイッターアカウントを実行している間にウイルスに行きました

この画像は法的な理由で削除されました。16分は、一時的に口コミで広まった一般の人々にチェックインするシリーズです。

ポルシェ911フラットシックスが高解像度で解剖されるのを見る

ポルシェ911フラットシックスが高解像度で解剖されるのを見る

写真:911 Magazine / Vimeoポルシェ911フラットシックスは象徴的なエンジンです。このリアマウントエンジンは、おそらくこれまでで最も話題になり、賞賛されたスポーツカーの心臓部です。

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、子供向けのパズルの本の序文を書き、ジョージ王子、シャーロット王女、ルイ王子と一緒にテキストを読むと述べた.

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

Yak's Produce は、数十個のつぶれたメロンを野生動物のリハビリ専門家であるレスリー グリーンと彼女のルイジアナ州の救助施設で暮らす 42 匹の動物に寄付しました。

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

8 枚目のスタジオ アルバムのリリースに向けて準備を進めているデミ ロヴァートは、「スーパー グレート ガイ」と付き合っている、と情報筋は PEOPLE に確認しています。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

ホームオフィスのセットアップ術を極めよう!AppExert の開発者は、家族全員が一緒にいる場合でも、在宅勤務の技術を習得しています。祖父や曽祖父が共同家族で暮らしていた頃の記憶がよみがえりました。

2022 年、私たちのデジタル ライフはどこで終わり、「リアル ライフ」はどこから始まるのでしょうか?

20 年前のタイムトラベラーでさえ、日常生活におけるデジタルおよびインターネットベースのサービスの重要性に驚くことでしょう。MySpace、eBay、Napster などのプラットフォームは、高速化に焦点を合わせた世界がどのようなものになるかを示してくれました。

ニューロマーケティングの秘密科学

ニューロマーケティングの秘密科学

マーケティング担当者が人間の欲望を操作するために使用する、最先端の (気味が悪いと言う人もいます) メソッドを探ります。カートをいっぱいにして 3 桁の領収書を持って店を出る前に、ほんの数点の商品を買いに行ったことはありませんか? あなたは一人じゃない。

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

私たちが住んでいる世界を確実に理解するには、データが必要です。ただし、空間参照がない場合、このデータは地理的コンテキストがないと役に立たなくなる可能性があります。

Language