<commit_before>require 'hashie'

module Iframely
  class Model < Hashie::Dash

    property :id,   required: true
    property :url,  required: true

    property :meta
    property :links

    property :rel

    # Может не быть. Например по ссылке:
    # https://github.com/imakewebthings/jquery-waypoints
    property :html 

    def self.build json
      if json.is_a? Hash
        if json.include?('error')
          Iframely::ErrorModel.new json
        else
          new json
        end
      else
        Iframely::ErrorModel.new error: 'no data'
      end
    rescue StandardError => e
      Iframely::ErrorModel.new error: e.message
    end

  end

  class ErrorModel < Hashie::Dash
    # Если он установлен, значит это ошибка и больше смотреть нечего<commit_msg>Оказывается id у модели бывает не всегда<commit_after>require 'hashie'

module Iframely
  class Model < Hashie::Dash

    property :id # Оказывается бывает не всегда
    property :url,  required: true

    property :meta
    property :links

    property :rel

    # Может не быть. Например по ссылке:
    # https://github.com/imakewebthings/jquery-waypoints
    property :html 

    def self.build json
      if json.is_a? Hash
        if json.include?('error')
          Iframely::ErrorModel.new json
        else
          new json
        end
      else
        Iframely::ErrorModel.new error: 'no data'
      end
    rescue StandardError => e
      Iframely::ErrorModel.new error: e.message
    end

  end

  class ErrorModel < Hashie::Dash
    # Если он установлен, значит это ошибка и больше смотреть нечего
{'fraction_non_alphanumeric': 0.07367758186397985, 'fraction_numerical': 0.0, 'mean_word_length': 2.3665254237288136, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 5, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1419667', 'n_tokens_mistral': 533, 'n_tokens_neox': 539, 'n_words': 149}