PythonC拡張機能を備えたサードパーティライブラリを含めて配布する

3
trbabb 2020-09-09 04:42.

「サードパーティ」ライブラリを利用するCPython拡張機能を構築しています。この場合は、別のビルドプロセスとツールチェーンを使用して構築したものです。このライブラリを呼び出しますlibplumbus.dylib

ディレクトリ構造は次のようになります。

grumbo/
  include/
    plumbus.h
  lib/
    libplumbus.so
  grumbo.c
  setup.py

setup.pyはおおよそ次のように見えます:

from setuptools import Extension, setup

native_module = Extension(
    'grumbo',
    define_macros = [('MAJOR_VERSION', '1'),
                     ('MINOR_VERSION', '0')],
    sources       = ['grumbo.c'],
    include_dirs  = ['include'],
    libraries     = ['plumbus'],
    library_dirs  = ['lib'])


setup(
    name = 'grumbo',
    version = '1.0',
    ext_modules = [native_module] )

libplumbusは外部ライブラリであるため、実行するimport grumboと次のようになります。

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: dlopen(/path/to/grumbo/grumbo.cpython-37m-darwin.so, 2): Library not loaded: lib/libplumbus.dylib
  Referenced from: /path/to/grumbo/grumbo.cpython-37m-darwin.so
  Reason: image not found

libplumbusディストリビューションに含まれ、grumboインポート時に適切にロードされるように設定する最も簡単な方法は何ですか?(これはvirtualenvで機能するはずであることに注意してください)。

に追加しようとしlib/libplumbus.dylibましたpackage_data-Wl,-rpath,@loader_path/grumbo/lib、拡張機能に追加しても機能しませんextra_link_args

1 answers

2
ead 2020-09-11 04:17.

この投稿の目的はsetup.py、ソースディストリビューションを作成することです。つまり、実行後

python setup.py sdist

結果dist/grumbo-1.0.tar.gzは、を介してインストールに使用できます

pip install grumbo-1.0.tar.gz

setup.pyLinux / MacOS向けから始めますが、Windowsでも機能するように調整します。


最初のステップは、追加のデータ(インクルード/ライブラリ)をディストリビューションに取り込むことです。モジュールにデータを追加することが本当に不可能かどうかはわかりませんがsetuptools、パッケージにデータを追加する機能を提供しているので、モジュールからパッケージを作成しましょう(とにかくこれはおそらく良い考えです)。

パッケージ の新しい構造はgrumbo次のようになります。

src/
  grumbo/
     __init__.py  # empty
     grumbo.c
     include/
       plumbus.h
     lib/
       libplumbus.so
setup.py

と変更setup.py

from setuptools import setup, Extension, find_packages

native_module = Extension(
                name='grumbo.grumbo',
                sources = ["src/grumbo/grumbo.c"],
              )
kwargs = {
      'name' : 'grumbo',
      'version' : '1.0',
      'ext_modules' :  [native_module],
      'packages':find_packages(where='src'),
      'package_dir':{"": "src"},
}

setup(**kwargs)

まだ多くのことはしていませんが、少なくとも私たちのパッケージはで見つけることができますsetuptools。インクルードがないため、ビルドは失敗します。

次に、必要なインクルードをinclude-folderからディストリビューションに追加しますpackage-data

...
kwargs = {
      ...,
      'package_data' : { 'grumbo': ['include/*.h']},
}
...

これにより、インクルードファイルがソースディストリビューションにコピーされます。ただし、まだわからない「どこか」でビルドされるためinclude_dirs = ['include']Extension定義に追加しても効果はありません。

正しいインクルードパスを見つけるためのより良い方法(そしてより脆弱でない)があるはずですが、それが私が思いついたものです:

...
import os
import sys
import sysconfig
def path_to_build_folder():
    """Returns the name of a distutils build directory"""
    f = "{dirname}.{platform}-{version[0]}.{version[1]}"
    dir_name = f.format(dirname='lib',
                    platform=sysconfig.get_platform(),
                    version=sys.version_info)
    return os.path.join('build', dir_name, 'grumbo')

native_module = Extension(
                ...,
                include_dirs  = [os.path.join(path_to_build_folder(),'include')],
)
...

これで、拡張機能がビルドされましたが、共有オブジェクトに対してリンクされておらずlibplumbus.so、一部のシンボルが未解決であるため、まだロードできません。

ヘッダーファイルと同様に、ライブラリをディストリビューションに追加できます。

kwargs = {
          ...,
          'package_data' : { 'grumbo': ['include/*.h', 'lib/*.so']},
}
...

リンカに適切なlib-pathを追加します。

...
native_module = Extension(
                ...
                libraries     = ['plumbus'],
                library_dirs  = [os.path.join(path_to_build_folder(), 'lib')],
              )
...

今、私たちはほとんどそこにいます:

  • 拡張機能が組み込まれています site-packages/grumbo/
  • 拡張子はlibplumbus.so、の助けを借りて見ることができるように依存しますldd
  • libplumbus.so に入れられます site-packages/grumbo/lib

しかし、我々はまだのように、拡張子をインポートすることはできませんimport grumbo.grumboへのリード線

ImportError:libplumbus.so:共有オブジェクトファイルを開くことができません:そのようなファイルまたはディレクトリはありません

ローダーは.\lib、拡張機能に関連するフォルダーにある必要な共有オブジェクトを見つけることができないためです。rpathローダーを「助ける」ために使用できます。

...
native_module = Extension(
                ...
                extra_link_args = ["-Wl,-rpath=$ORIGIN/lib/."],
              )
...

これで完了です。

>>> import grumbo.grumbo
# works!

また、ホイールの構築とインストールも機能するはずです。

python setup.py bdist_wheel

その後:

pip install grumbo-1.0-xxxx.whl

最初のマイルストーンが達成されます。今ではそれを拡張しているので、他のプラットフォームでも機能します。


LinuxとMacosの同じソースディストリビューション:

LinuxとMacOSに同じソースディストリビューションをインストールできるようにするには、共有ライブラリの両方のバージョン(LinuxとMacOS用)が存在する必要があります。オプションは、共有オブジェクトの名前に接尾辞を追加することです。たとえば、havinglibplumbus.linux.solibplumbis.macos.sosetup.pyプラットフォームに応じて、適切な共有オブジェクトを選択できます。

...
import platform
def pick_library():
    my_system = platform.system()
    if my_system == 'Linux':
        return "plumbus.linux"
    if my_system == 'Darwin':
        return "plumbus.macos"
    if my_system == 'Windows':
        return "plumbus"
    raise ValueError("Unknown platform: " + my_system)

native_module = Extension(
                ...
                libraries     = [pick_library()],
                ...
              )

Windows用の調整:

Windowsでは、ダイナミックライブラリはdllであり、共有オブジェクトではないため、考慮する必要のあるいくつかの違いがあります。

  • C拡張機能を構築するときは、plumbus.lib-fileが必要libです。これを-subfolderに入れる必要があります。
  • 実行時にC拡張機能がロードされる場合、plumbus.dll-fileが必要です。
  • Windowsにはの概念がないrpathため、dllを拡張機能のすぐ隣に配置して、見つけることができるようにする必要があります(詳細については、このSO投稿も参照してください)。

つまり、フォルダ構造は次のようになります。

src/
  grumbo/
     __init__.py
     grumbo.c
     plumbus.dll           # needed for Windows
     include/
       plumbus.h
     lib/
       libplumbus.linux.so # needed on Linux
       libplumbus.macos.so # needed on Macos
       plumbus.lib         # needed on Windows
setup.py

にもいくつかの変更がありsetup.pyます。まず、package_datasodllを拡張しlibてピックアップします。

...
kwargs = {
      ...
      'package_data' : { 'grumbo': ['include/*.h', 'lib/*.so',
                                    'lib/*.lib', '*.dll',      # for windows
                                   ]},
}
...

次に、rpathLinux / MacOSでのみ使用できるため、次のようになります。

def get_extra_link_args():
    if platform.system() == 'Windows':
        return []
    else:
        return ["-Wl,-rpath=$ORIGIN/lib/."]
    

native_module = Extension(
                ...
                extra_link_args = get_extra_link_args(),
              )

そのこと!


完全なセットアップファイル(私がスキップしたマクロ定義などを追加することをお勧めします):

from setuptools import setup, Extension, find_packages

import os
import sys
import sysconfig
def path_to_build_folder():
    """Returns the name of a distutils build directory"""
    f = "{dirname}.{platform}-{version[0]}.{version[1]}"
    dir_name = f.format(dirname='lib',
                    platform=sysconfig.get_platform(),
                    version=sys.version_info)
    return os.path.join('build', dir_name, 'grumbo')


import platform
def pick_library():
    my_system = platform.system()
    if my_system == 'Linux':
        return "plumbus.linux"
    if my_system == 'Darwin':
        return "plumbus.macos"
    if my_system == 'Windows':
        return "plumbus"
    raise ValueError("Unknown platform: " + my_system)


def get_extra_link_args():
    if platform.system() == 'Windows':
        return []
    else:
        return ["-Wl,-rpath=$ORIGIN/lib/."]
    

native_module = Extension(
                name='grumbo.grumbo',
                sources = ["src/grumbo/grumbo.c"],
                include_dirs  = [os.path.join(path_to_build_folder(),'include')],
                libraries     = [pick_library()],
                library_dirs  = [os.path.join(path_to_build_folder(), 'lib')],
                extra_link_args = get_extra_link_args(),
              )
kwargs = {
      'name' : 'grumbo',
      'version' : '1.0',
      'ext_modules' :  [native_module],
      'packages':find_packages(where='src'),
      'package_dir':{"": "src"},
      'package_data' : { 'grumbo': ['include/*.h', 'lib/*.so',
                                    'lib/*.lib', '*.dll',      # for windows
                                   ]},
}

setup(**kwargs)

Related questions

MORE COOL STUFF

「水曜日」シーズン1の中心には大きなミステリーがあります

「水曜日」シーズン1の中心には大きなミステリーがあります

Netflixの「水曜日」は、典型的な10代のドラマ以上のものであり、実際、シーズン1にはその中心に大きなミステリーがあります.

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ケイト・ミドルトンは、州の夕食会と州の訪問中にカミラ・パーカー・ボウルズからスポットライトを奪いたくなかった、と専門家は言う.

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンが、オリビア・ワイルドが彼女とハリー・スタイルズとの間の「難しい」が「非常に友好的」な分割を恒久的にすることを望んでいる理由を見つけてください.

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする&nbsp;

エリザベス女王の死後、ケイト・ミドルトンが舞台裏で「非常に困難な時期」を過ごしていたと伝えられている理由を調べてください.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

独自のGoogleHomeジュークボックスを作成する方法

独自のGoogleHomeジュークボックスを作成する方法

スマートホームサウンドシステムをワンランク上に上げたいとお考えの場合は、これが楽しい方法です。少し余分な作業といくつかのRFIDテクノロジーを使用して、次のパーティーで感動すること間違いなしの独自のカード駆動ジュークボックスを構築できます。

はい、私たちの生活のための行進は黒人についてでした、そしてそれは時間についてです

はい、私たちの生活のための行進は黒人についてでした、そしてそれは時間についてです

コモンとアンドラデイは、2018年3月24日、ワシントンDCで開催されるマーチフォーアワーライフズラリーで、シェハン枢機卿学校合唱団のメンバーと「スタンドアップフォーサムシング」を行います。

テスラモデル3について何を知りたいですか?

テスラモデル3について何を知りたいですか?

テスラモデル3は未来的であるだけでなく、驚くほど普通に感じます。しかし、実際には何が正常ですか?前回はモデル3を数時間しか運転で​​きませんでしたが、今回は週末を過ごしました。

今週のビジネス:スイッチポートの本当の問題

今週のビジネス:スイッチポートの本当の問題

見積もり| 「スイッチはPS4やXboxOneほど強力ではありません。誰もがそれを知っています。

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、子供向けのパズルの本の序文を書き、ジョージ王子、シャーロット王女、ルイ王子と一緒にテキストを読むと述べた.

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

Yak's Produce は、数十個のつぶれたメロンを野生動物のリハビリ専門家であるレスリー グリーンと彼女のルイジアナ州の救助施設で暮らす 42 匹の動物に寄付しました。

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

8 枚目のスタジオ アルバムのリリースに向けて準備を進めているデミ ロヴァートは、「スーパー グレート ガイ」と付き合っている、と情報筋は PEOPLE に確認しています。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

ホームオフィスのセットアップ術を極めよう!AppExert の開発者は、家族全員が一緒にいる場合でも、在宅勤務の技術を習得しています。祖父や曽祖父が共同家族で暮らしていた頃の記憶がよみがえりました。

2022 年、私たちのデジタル ライフはどこで終わり、「リアル ライフ」はどこから始まるのでしょうか?

20 年前のタイムトラベラーでさえ、日常生活におけるデジタルおよびインターネットベースのサービスの重要性に驚くことでしょう。MySpace、eBay、Napster などのプラットフォームは、高速化に焦点を合わせた世界がどのようなものになるかを示してくれました。

ニューロマーケティングの秘密科学

ニューロマーケティングの秘密科学

マーケティング担当者が人間の欲望を操作するために使用する、最先端の (気味が悪いと言う人もいます) メソッドを探ります。カートをいっぱいにして 3 桁の領収書を持って店を出る前に、ほんの数点の商品を買いに行ったことはありませんか? あなたは一人じゃない。

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

私たちが住んでいる世界を確実に理解するには、データが必要です。ただし、空間参照がない場合、このデータは地理的コンテキストがないと役に立たなくなる可能性があります。

Language