PythonC拡張機能/ API実装を拡張/再利用する方法は？

問題は、Posix Cgetline関数を使用してファイルから行を取得し、それを使用してPython Unicodeオブジェクトに変換PyUnicode_DecodeUTF8し、キャッシュポリシーアルゴリズムを使用してキャッシュする必要があることです。このプロセスは、Pythonの組み込みC実装と比較してパフォーマンスの23％を失っていfor line in fileます。

PyUnicode_DecodeUTF8コードから呼び出しを削除すると、PosixCを使用した実装はPythonの組み込みC実装よりも高速にgetlineなり5%ますfor line in file。したがって、getline最初にPosix C関数を呼び出す代わりに（その後、結果をPython Unicodeオブジェクトに変換するだけで）Pythonに直接Python Unicode Stringオブジェクトを与えることができれば、コードのパフォーマンスはほぼ向上します20%（ ）の最大値23%。つまり、キャッシュによって少し作業を行っているため100%、for line in fileパフォーマンスと同等にはなりませんが、このオーバーヘッドは最小限です。

たとえば、_textiowrapper_readline（）関数を取得して、次のようにコードで使用したいと思います。

#include <Python.h>
#include <textio.c.h> // C Python file defininig:
                      // _textiowrapper_readline(),
                      // CHECK_ATTACHED(),
                      // PyUnicode_READY(), etc

typedef struct
{
    PyObject_HEAD
}
PyMymoduleExtendingPython;

static PyObject* 
PyMymoduleExtendingPython_iternext(PyMymoduleExtendingPython* self, PyObject* args)
{
    PyObject *line;
    CHECK_ATTACHED(self);
    line = _textiowrapper_readline(self, -1); // <- function from `textio.c`

    if (line == NULL || PyUnicode_READY(line) == -1)
        return NULL;

    if (PyUnicode_GET_LENGTH(line) == 0) {
        /* Reached EOF or would have blocked */
        Py_DECREF(line);
        Py_CLEAR(self->snapshot);
        self->telling = self->seekable;
        return NULL;
    }

    return line;
}

// create my module
PyMODINIT_FUNC PyInit_mymodule_extending_python_api(void)
{
    PyObject* mymodule;
    PyMymoduleExtendingPython.tp_iternext = 
           (iternextfunc) PyMymoduleExtendingPython_iternext;

    Py_INCREF( &PyMymoduleExtendingPython );
    PyModule_AddObject( mymodule, "FastFile", (PyObject*) &PyMymoduleExtendingPython );
    return mymodule;
}

C Pythonからのtextio実装を含めて、そのコードを自分のPython C Extension / APIで再利用するにはどうすればよいですか？

私の最後の質問で提示されたように、Python C拡張ファイルの行の読み取りを改善する方法は？、行を読み取るためのPython組み込みメソッドは、ファイルから行を取得するためにCまたはC ++標準メソッドを使用して独自のメソッドを作成するよりも高速です。

で、この答えは私が8キロバイトのチャンクを読み込むだけにして呼び出すことで、Pythonのアルゴリズムを再実装することが示唆されたPyUnicode_DecodeUTF8それらを復号化するために、代わりに呼び出してPyUnicode_DecodeUTF8、私は読んでおきの行に。

ただし、すでに記述されている/完了している/行を読み取る準備ができているすべてのC Pythonコードを書き直す代わりに、その「getline」関数_textiowrapper_readline()を呼び出して、行をPython Unicodeオブジェクトとして直接取得し、キャッシュして/すでに行っているように使用することができます。 Posix Cgetline関数から取得した行を使用して（そしてPyUnicode_DecodeUTF8()それらをPython Unicodeオブジェクトにデコードするために渡します）。

私は直接CのAPI（拡張機能）関数をインポートするために管理していなかったが、私は、インポートするためにはPythonを使用ioグローバル組み込み関数へのリンク/参照持つモジュール、openなどをio.open()。

bool hasfinished;
const char* filepath;
long long int linecount;
std::deque<PyObject*> linecache;

PyObject* iomodule;
PyObject* openfile;
PyObject* fileiterator;

FastFile(const char* filepath) : hasfinished(false), filepath(filepath), linecount(0) {
    iomodule = PyImport_ImportModule( "io" );

    if( iomodule == NULL ) {
        std::cerr << "ERROR: FastFile failed to import the io module '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
    PyObject* openfunction = PyObject_GetAttrString( iomodule, "open" );

    if( openfunction == NULL ) {
        std::cerr << "ERROR: FastFile failed get the io module open function '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
    openfile = PyObject_CallFunction( openfunction, "s", filepath, 
            "s", "r", "i", -1, "s", "UTF8", "s", "replace" );

    PyObject* iterfunction = PyObject_GetAttrString( openfile, "__iter__" );
    Py_DECREF( openfunction );

    if( iterfunction == NULL ) {
        std::cerr << "ERROR: FastFile failed get the io module iterator function '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
    PyObject* openfileresult = PyObject_CallObject( iterfunction, NULL );
    Py_DECREF( iterfunction );

    if( openfileresult == NULL ) {
        std::cerr << "ERROR: FastFile failed get the io module iterator object '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
    fileiterator = PyObject_GetAttrString( openfile, "__next__" );
    Py_DECREF( openfileresult );

    if( fileiterator == NULL ) {
        std::cerr << "ERROR: FastFile failed get the io module iterator object '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
}

~FastFile() {
    this->close();
    Py_XDECREF( iomodule );
    Py_XDECREF( openfile );
    Py_XDECREF( fileiterator );

    for( PyObject* pyobject : linecache ) {
        Py_DECREF( pyobject );
    }
}

void close() {
    PyObject* closefunction = PyObject_GetAttrString( openfile, "close" );

    if( closefunction == NULL ) {
        std::cerr << "ERROR: FastFile failed get the close file function for '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
    PyObject* closefileresult = PyObject_CallObject( closefunction, NULL );
    Py_DECREF( closefunction );

    if( closefileresult == NULL ) {
        std::cerr << "ERROR: FastFile failed close open file '"
                << filepath << "')!" << std::endl;
        PyErr_Print();
        return;
    }
    Py_DECREF( closefileresult );
}

bool _getline() {
    // Fix StopIteration being raised multiple times because 
    // _getlines is called multiple times
    if( hasfinished ) { return false; }
    PyObject* readline = PyObject_CallObject( fileiterator, NULL );

    if( readline != NULL ) {
        linecount += 1;
        linecache.push_back( readline );
        return true;
    }

    // PyErr_Print();
    PyErr_Clear();
    hasfinished = true;
    return false;
}

これをでコンパイルするとVisual Studio Compiler、このコードを使用して次のパフォーマンスが得られます。

print( 'fastfile_time %.2f%%, python_time %.2f%%' % ( 
        fastfile_time/python_time, python_time/fastfile_time ), flush=True )

$ python3 fastfileperformance.py Python timedifference 0:00:00.985254 FastFile timedifference 0:00:01.084283 fastfile_time 1.10%, python_time 0.91% = 0.09% $ python3 fastfileperformance.py
Python   timedifference 0:00:00.979861
FastFile timedifference 0:00:01.073879
fastfile_time 1.10%, python_time 0.91% = 0.09%
$ python3 fastfileperformance.py Python timedifference 0:00:00.990369 FastFile timedifference 0:00:01.086416 fastfile_time 1.10%, python_time 0.91% = 0.09% $ python3 fastfileperformance.py
Python   timedifference 0:00:00.975223
FastFile timedifference 0:00:01.077857
fastfile_time 1.11%, python_time 0.90% = 0.10%
$ python3 fastfileperformance.py Python timedifference 0:00:00.988327 FastFile timedifference 0:00:01.085866 fastfile_time 1.10%, python_time 0.91% = 0.09% $ python3 fastfileperformance.py
Python   timedifference 0:00:00.971848
FastFile timedifference 0:00:01.087894
fastfile_time 1.12%, python_time 0.89% = 0.11%
$ python3 fastfileperformance.py Python timedifference 0:00:00.968116 FastFile timedifference 0:00:01.079976 fastfile_time 1.12%, python_time 0.90% = 0.10% $ python3 fastfileperformance.py
Python   timedifference 0:00:00.980856
FastFile timedifference 0:00:01.068325
fastfile_time 1.09%, python_time 0.92% = 0.08%

しかし、でコンパイルするとg++、次のパフォーマンスが得られます。

$ /bin/python3.6 fastfileperformance.py Python timedifference 0:00:00.703964 FastFile timedifference 0:00:00.813478 fastfile_time 1.16%, python_time 0.87% = 0.13% $ /bin/python3.6 fastfileperformance.py
Python   timedifference 0:00:00.703432
FastFile timedifference 0:00:00.809531
fastfile_time 1.15%, python_time 0.87% = 0.13%
$ /bin/python3.6 fastfileperformance.py Python timedifference 0:00:00.705319 FastFile timedifference 0:00:00.814130 fastfile_time 1.15%, python_time 0.87% = 0.13% $ /bin/python3.6 fastfileperformance.py
Python   timedifference 0:00:00.711852
FastFile timedifference 0:00:00.837132
fastfile_time 1.18%, python_time 0.85% = 0.15%
$ /bin/python3.6 fastfileperformance.py Python timedifference 0:00:00.695033 FastFile timedifference 0:00:00.800901 fastfile_time 1.15%, python_time 0.87% = 0.13% $ /bin/python3.6 fastfileperformance.py
Python   timedifference 0:00:00.694661
FastFile timedifference 0:00:00.796754
fastfile_time 1.15%, python_time 0.87% = 0.13%
$ /bin/python3.6 fastfileperformance.py Python timedifference 0:00:00.699377 FastFile timedifference 0:00:00.816715 fastfile_time 1.17%, python_time 0.86% = 0.14% $ /bin/python3.6 fastfileperformance.py
Python   timedifference 0:00:00.699229
FastFile timedifference 0:00:00.818774
fastfile_time 1.17%, python_time 0.85% = 0.15%