<commit_before>. bin/config.inc

PRODUIT=$1
EXPORT_PATH=$2
IP_AUTHORIZED=$3
NUMEROSEQUENCE=0
COUCHDBSEQFILE=$EXPORT_PATH/.couchdbseq
CHANGESFILE=$TMP/$(date +%Y%m%d%H%M%S)_export_changes
LISTDRMFILE=$TMP/$(date +%Y%m%d%H%M%S)_export_drms

if test -f $COUCHDBSEQFILE
then
    NUMEROSEQUENCE=$(cat $COUCHDBSEQFILE)
fi

if ! test "$PRODUIT"; then
    echo "Il manque le nom du produit à filtrer en 1er argument"
    exit;
fi

if ! test "$EXPORT_PATH"; then
    echo "Il manque le chemin de stockage des fichiers CSV des DRM en 2ème argument"
    exit;
fi

echo -n > $LISTDRMFILE

curl -s http://$COUCHHOST:$COUCHPORT/$COUCHBASE/_changes?since=$NUMEROSEQUENCE > $CHANGESFILE
LASTNUMEROSEQUENCE=$(grep "last_seq" $CHANGESFILE | sed 's/"last_seq"://' | sed 's/}//')

cat $CHANGESFILE | grep "\"DRM-" | grep -v "deleted" | cut -d "," -f 2 | sed 's/"id":"//' | sed 's/"//' | while read id
do
    curl -s http://$COUCHHOST:$COUCHPORT/$COUCHBASE/$id | jq -c '[._id,.teledeclare,.valide.date_signee,.declarant.no_accises]' | sed 's/\[//' | sed 's/\]//' | sed 's/"//g' | sed 's/null//' >> $LISTDRMFILE
done

mkdir -p $EXPORT_PATH 2> /dev/null

cat $LISTDRMFILE | while read ligne
do
    ID=$(echo $ligne | cut -d "," -f 1)
    DATE=$(echo $ligne | cut -d "," -f 3 | sed 's/-//g')
    NOACCISES=$(echo $ligne | cut -d "," -f 4)
    PERIODE=$(echo $ID | cut -d "-" -f 3)
    DRMFILE=$TMP/$id$(date +%Y%m%d%H%M%S).csv
    php symfony drm:export-csv $ID $SYMFONYTASKOPTIONS | grep -iE "$PRODUIT" > $DRMFILE
    if test $DATE && test $(cat $DRMFILE | grep -E "^CAVE;" | grep -iE "$PRODUIT" | wc -l | sed -r 's/^0$//'); then
        echo $ID<commit_msg>Mise à disposition des csv de DRM : Fix bug et reconaissance des produits sans la casse<commit_after>. bin/config.inc

PRODUIT=$1
EXPORT_PATH=$2
IP_AUTHORIZED=$3
NUMEROSEQUENCE=0
COUCHDBSEQFILE=$EXPORT_PATH/.couchdbseq
CHANGESFILE=$TMP/$(date +%Y%m%d%H%M%S)_export_changes
LISTDRMFILE=$TMP/$(date +%Y%m%d%H%M%S)_export_drms

if test -f $COUCHDBSEQFILE
then
    NUMEROSEQUENCE=$(cat $COUCHDBSEQFILE)
fi

if ! test "$PRODUIT"; then
    echo "Il manque le nom du produit à filtrer en 1er argument"
    exit;
fi

if ! test "$EXPORT_PATH"; then
    echo "Il manque le chemin de stockage des fichiers CSV des DRM en 2ème argument"
    exit;
fi

echo -n > $LISTDRMFILE

curl -s http://$COUCHHOST:$COUCHPORT/$COUCHBASE/_changes?since=$NUMEROSEQUENCE > $CHANGESFILE
LASTNUMEROSEQUENCE=$(grep "last_seq" $CHANGESFILE | sed 's/"last_seq"://' | sed 's/}//')

cat $CHANGESFILE | grep "\"DRM-" | grep -v "deleted" | cut -d "," -f 2 | sed 's/"id":"//' | sed 's/"//' | while read id
do
    curl -s http://$COUCHHOST:$COUCHPORT/$COUCHBASE/$id | jq -c '[._id,.teledeclare,.valide.date_signee,.declarant.no_accises]' | sed 's/\[//' | sed 's/\]//' | sed 's/"//g' | sed 's/null//' >> $LISTDRMFILE
done

mkdir -p $EXPORT_PATH 2> /dev/null

cat $LISTDRMFILE | while read ligne
do
    ID=$(echo $ligne | cut -d "," -f 1)
    DATE=$(echo $ligne | cut -d "," -f 3 | sed 's/-//g')
    NOACCISES=$(echo $ligne | cut -d "," -f 4)
    PERIODE=$(echo $ID | cut -d "-" -f 3)
    DRMFILE=$TMP/$ID$(date +%Y%m%d%H%M%S).csv
    php symfony drm:export-csv $ID $SYMFONYTASKOPTIONS | grep -iE "$PRODUIT" > $DRMFILE
    if test $DATE && test $(cat $DRMFILE | grep -E "^CAVE;" | grep -iE "$PRODUIT" | wc -l | sed -r 's/^0$//'); then
        echo $ID
{'fraction_non_alphanumeric': 0.18869617224880383, 'fraction_numerical': 0.00777511961722488, 'mean_word_length': 3.5020188425302825, 'pattern_counts': {'":': 4, '<': 3, '<?xml version=': 0, '>': 15, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1994126', 'n_tokens_mistral': 1467, 'n_tokens_neox': 1407, 'n_words': 364}