Практические аспекты ранней пенсии FIRE movement в России

Ранний выход на пенсию является горячей темой в последнее время. Отчасти это связано с движением FIRE: «финансовая независимость и ранняя пенсия» — зарабатывать больше, тратить меньше и рано сбросить оковы работы.

Казалось бы причем здесь FIRE и habr.com? А при том, что невозможно добиться этой ранней пенсии НЕ имея и НЕ учитывая собственных диверсифицированных активов. А как показала многолетняя практика адекватных инструментов для учета акций, облигаций, недвижимости, монет и валют вкупе со страновой диверсификацией в одном окне практически нет. В небольшой предыстории рассказывал, что если у Вас есть, что учитывать, то сам учёт может занимать неоправданно много времени. Но тут на помощь приходит парсинг сайтов и это выводит управленческий учет собственного портфеля на новый уровень и, конечно же, приближает раннюю пенсию.

Важное замечание: эта статья для начинающего раннего пенсионера и новичка-парсера :). Мой опыт подразумевает использование данных с сайтов только для личных целей. Коснусь использования Microsoft Excel и Google Таблиц и совсем чуть-чуть KMyMoney. Начну в том порядке, в котором я сам столкнулся со всеми продуктами:

Часть 1. KMyMoney

Добавление нового актива в KMyMoney

Об этой программе незаслуженно мало информации на просторах интернета и особенно мало про её компонент парсинга цен. А ведь в инвестициях очень важно иметь актуальную картину перед глазами.

Настройка парсера в KMyMoney

Также любопытно, что из версии в версию KMyMoney (я пользовался программой несколько лет) в настройках парсера кочуют какие-то неработающие ссылки, которыми практически невозможно воспользоваться и нет какого-то внятного описания компонента.

Указание использовать шаблон парсинга для конкретной бумаги

Предлагаю для примера какую-нибудь облигацию федерального займа (ОФЗ) — это рублёвые облигации, выпускаемые Министерством финансов Российской Федерации. Данные по этим облигациям можно посмотреть на множестве сайтов или через API Московской Биржи. Возьму ОФЗ-ПК 29012 (SU29012RMFS0), а цену буду смотреть на сайте одного из брокеров. Идентификатором станет не код ценной бумаги с биржи, а внутренний идентификатор с сайта. Так выглядит окно с уже скаченной котировкой предыдущего дня:

Результат работы парсера для бумаги

В свое время составил подобные шаблоны для парсинга с помощью KMyMoney под множество активов для разных сайтов — надеюсь это будет полезно.

Конечно, KMyMoney позволяет иметь автоматические обновление курсов любых активов и это наверное единственная программа которая позволяет это делать, но как и у всех подобных учетных программ у неё есть определенные недостатки. А именно: раздражающий “бухгалтерский поиск” не сходящихся копеек (мне нужен обзорный инструмент) и огромное количество кликанья мышкой (в два клика ничего не сделать с инвестицией). Но эта программа наверное лучшее, если Вы хотите иметь учет личных финансов и инвестиций в одном окне и при этом иметь автоматические обновление курсов любых активов.

Часть 2. Microsoft Excel

Встроенных функций для парсинга в Excel нет и поэтому пользовался VBA, на основе найденных в интернете примеров (сам не особо разбирался в то время, чтобы написать с нуля) — код вероятно не самый лаконичный, но свои функции выполнял:

Редактор кода в Microsoft Excel

Public Function FinamPriceBondsCorporate(Optional ByVal ISIN) As Double
    '//объявляем переменные
    Dim sURI As String
    Dim oHttp As Object
    Dim htmlcode, outstr As String
    Dim Num As Double

    '//обращаемся к сайту
    sURI = "https://bonds.finam.ru/issue/" & ISIN & "/default.asp?resultsType=5"
    On Error Resume Next
    Set oHttp = CreateObject("MSXML2.XMLHTTP")
    If Err.Number <> 0 Then
        Set oHttp = CreateObject("MSXML.XMLHTTPRequest")
    End If
    On Error GoTo 0
    If oHttp Is Nothing Then
        Exit Function
    End If
    oHttp.Open "GET", sURI, False
    oHttp.Send
    htmlcode = oHttp.responseText

    '//попробовать regex!
    outstr = Mid(htmlcode, InStr(1, htmlcode, "Сlose:</td>") + 57, 6) '//ищем значение в тексте
    Set oHttp = Nothing

    '//удаляем куски html разметки, если нужно
    outstr = Replace(outstr, "&", "")
    outstr = Replace(outstr, "n", "")
    outstr = Replace(outstr, "b", "")
    outstr = Replace(outstr, "s", "")
    outstr = Replace(outstr, "p", "")
    outstr = Replace(outstr, ";", "")
    outstr = Replace(outstr, "-", "0")
    Num = CDbl(outstr) '//число в текст

    If Num = 0 Then  '//если нет цены закрытия берем другую
    outstr = Mid(htmlcode, InStr(1, htmlcode, "Bid:</td>") + 54, 6) '//ищем значение в тексте
    outstr = Replace(outstr, "&", "")
    outstr = Replace(outstr, "n", "")
    outstr = Replace(outstr, "b", "")
    outstr = Replace(outstr, "s", "")
    outstr = Replace(outstr, "p", "")
    outstr = Replace(outstr, ";", "")
    outstr = Replace(outstr, "-", "0")
    Num = CDbl(outstr) '//число в текст
    End If

    FinamPriceBondsCorporate = Num

    Exit Function
ErrorHandler: 'Обработчик ошибок
    FinamPriceBondsCorporate = 0
    Err.Clear
End Function

Для того, чтобы воспользоваться кодом, в самом Excel надо вызвать эту, только что написанную функцию FinamPriceBondsCorporate:

Excel и использование дополнительной функции парсинга

Таблица в Excel (и учётный шаблон на её основе) оставалась удобным локальным вариантом, если хотел открыть её и что-то в ней посмотреть. Но котировки активов не могли обновляться без участия человека и уж тем более эта таблица не могла утром в понедельник послать отчет и еще создать мероприятия в календаре о выплатах на неделю вперед. В общем, пришлось двинуться дальше.

Часть 3. Google Таблицы

Котировки через IMPORTXML

Google Таблицы как оказалось представляют гораздо более широкий диапазон возможностей для парсинга. И первое с чем столкнулся — это была функция IMPORTXML, которая позволяла взять почти любую строку из веб-страницы. А для использования надо только было научиться писать xpath запрос. С ее помощью можно собирать нужные котировки и другую информацию без скриптов и интеграции с API.

Мой шаблон отчетной таблицы, которому дал название SilverFir: Investment Report

Примерно за полгода изысканий в 2018 году родилась окончательная версия моего шаблона, который стал отправной точкой для взрослого учёта диверсифицированных активов “в одном окне”.

Распределение активов в отчетной таблице SilverFir: Investment Report

К сожалению, когда в Таблице использовалось множество IMPORTXML приходилось слишком долго ждать загрузки всех результатов, а также обнаружилась невозможность использования данных полученных через IMPORTXML по расписанию в гугл скриптах (потому что они могли просто не успеть подгрузиться к моменту их использования).

Котировки через Google Apps Script

Когда стало понятно, что при большом количестве строк и запрашиваемых данных пользоваться отчетной Таблицей на IMPORTXML становится неудобно — пришлось смотреть дальше.

Google Apps Script приходит на помощь в FIRE movement

Поскольку всегда считал, что FIRE movement — это свобода заниматься тем что нравится, а не бухгалтерский поиск копеек и уж конечно не копипаста котировок с разных сайтов. Структура и компоновка отчетной таблицы получилась очень удачная (это отмечали и другие люди), а вот метод получения котировок пришлось опять менять.

На гугл скриптах парсинг, на мой взгляд, выглядит лаконичнее, чем на VBA.

function GetFinanzenNet(ISIN, id) {
    var url = 'https://www.finanzen.net/suchergebnis.asp?_search=' + ISIN;
    try {
        var html = UrlFetchApp.fetch(url).getContentText();
    } catch (error) {
        Logger.log("GetFinanzenNet. Symbol = " + ISIN + ".\nОшибка чтения данных. URL: " + url + ". HTML:\n" + html);
        return ""
    }
    if (id == "Price") { //цена акции - Quote/Price
        var searchstring = 'text-sm-right text-nowrap">';
        var index = html.search(searchstring);
        if (index >= 0) {
            var pos = index + searchstring.length
            var rate = html.substring(pos, pos + 50);
            rate = rate.split('<')[0];
            rate = rate.replace(/\,/g, ".");
            rate = rate.replace(/\%/g, "");
            rate = +rate;
            Logger.log("GetFinanzenNet. ID = " + id + ".\nPrice = " + rate + ". URL: " + url);
            return rate
        }
    }
    if (id == "Name") { //имя
        var searchstring5 = '<title>';
        var index5 = html.search(searchstring5);
        if (index5 >= 0) {
            var pos5 = index5 + searchstring5.length
            var rate5 = html.substring(pos5, pos5 + 100);
            try {
                rate5 = rate5.split(' | ')[1];
                rate5 = rate5.split(' | ')[0];
                var res = rate5.substring(0, 1); //первый символ
                if (res == "(") {
                    rate5 = html.substring(pos5, pos5 + 100);
                    rate5 = rate5.split(' | ')[0];
                    rate5 = rate5.substring(0, 18);
                }
            } catch (error) {
                return "";
            }
            Logger.log("GetFinanzenNet. Найден Name для Symbol " + ISIN + ".\nName = " + rate5 + ". URL: " + url);
            return rate5
        }
    }
    Logger.log("GetFinanzenNet. Symbol = " + ISIN + ".\nОшибка чтения данных. URL: " + url);
    return ""
}

Уже тогда стало понятно, что можно очень сильно облегчить себе весь учет, указывая только начальную сумму, количество и дату покупки актива, а все остальные параметры (включая название) скачивать с других (разных) сайтов.

Экосистема

Когда стал разбираться с гугл скриптами, обнаружилось, что их применение может быть гораздо более широким, чем просто удобный парсинг интересующих данных без ожиданий загрузки. Компоненты практически создают свой собственный сервис, где одна Таблица управляет обновлениями, оповещениями, графиками, презентациями и даже может быть интегрирована с внешними ресурсами.

Список за почти два года получился большой и что самое главное — всё можно успешно автоматизировать на гугл скриптах на основе только начальной цены, даты покупки и идентификатора актива.

Активом при этом может выступать что угодно: облигация, акция, физическая недвижимость, монеты, вклады — нет какого-то ограничителя и есть созданный шаблон, который можно кастомизировать под любой конкретный запрос.

Итог

Еще раз возвращаясь к практическим аспектам ранней пенсии FIRE movement в России — учёт имеет к ранней пенсии самое прямое отношение и именно грамотно поставленный учет позволяет держать руку на пульсе, в то же самое время не скатываясь до частого просмотра котировок и текущих цен.

Автор: Михаил Шардин,
25 ноября 2019 г.