[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

  • Die Kombo epg2vdr und epgd ist genial - Vielen Dank an die Entwickler! EIne Administration der Channelmap per Web-Interface wäre sicher schön.
    scraper2vdr brauche ich eher nicht - die vdr laufen alle unter xbmc mit vnsi "oben drauf" - genial wäre natürlich wenn xbmc / vnsi / der Skin die Info's darstellen könnte.


    Ich werde das über einen recording hook lösen, der zieht die Images aus der DB und schreibt einer NFO Datei. Unter xbmc benutze ich dann den local scraper, der nur auf die Platte zugreift.

    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Die Kombo epg2vdr und epgd ist genial - Vielen Dank an die Entwickler! EIne Administration der Channelmap per Web-Interface wäre sicher schön.
    scraper2vdr brauche ich eher nicht - die vdr laufen alle unter xbmc mit vnsi "oben drauf" - genial wäre natürlich wenn xbmc / vnsi / der Skin die Info's darstellen könnte.

    Wenn du die beiden Optionen "ScrapEPG" und "ScrapRecordings" in der epgd.conf auf 0 setzt, merkst du 0,0 vom scraper :D

    Ciao Louis

  • louis
    :tup Dankeschön jetzt hab auch ich es begriffen :D

    Hard- / Software
    • SatIP-Server / Octopus NET - MINI ITX / Chieftec IX-01B Case / Max8 / DUR-LINE UK 124 - Unicable / 8x DVB-S2
    • Server / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 6x vtuner / ProLiant ML10 v2 / VmWare-ESXI 7.0.3 / 32 GB RAM / 2x 4TB Raid1
    • Client / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 2x vtuner / Intel NUC8i3BEH / 16GB RAM / 512GB m.2 SSD / 85" Samsung TV / Denon X3300W AVR
  • Hallo zusammen,

    auch von mir an dieser Stelle vielen Dank für dieses geniale Feature.
    Es installiert zwar noch, aber ich gehe mal stark davon aus das es wunderbar funktionieren wird.
    Eigentlich wie fast immer wenn ihr was in die Hand nehmt. Danke nochmal an alle Beteiligten.

    Achja...

    Zitat

    Hi,

    VDR-Menü ist an der Stelle schwierig, ist beides eine Einstellung für die zentrale Server Komponente (dem epgd). Für die Channelmap ist bereits eine anwenderfreundliche Konfiguration geplant, sogar schon begonnen - das wird aber aus aktueller Sicht vermutlich Herbst bis wir etwas veröffentlichen können.

    Das SQL ist so gedacht das sich jeder über die View das EPG gestallten kann wie er mag, wir liefern bereist mehrere unterschiedliche Darstellungen aus. Wenn du konkrete Wünsche hast wird Christian als unser SQL Profi sicher eine View erstellen die wir zusätzlich in das Paket aufnehmen.


    Wenn das mal kein Komfort ist, dann weiss ichs auch nicht ;)

    Gruß
    Andreas

    Boo'sNet


    VDR1: yaVDR 0.5-testing: ASUS M2NPV-VM -- Athlon64 3500+ LV -- 2GB Ram -- Zotac GT220 -- 1xTT-1600 DVB-s2 -- 1xTT-4100 DVB-s2 -- 64GB 2,5'' SSD -- yaUSBirV3 -- Ambilight
    VDR2: yaVDR 0.5-stable: Dell Optiplex 755(DT) -- Core2 Duo E4600 -- 2GB Ram -- Zotac GT210 -- 1xTT-1600 DVB-s2 -- 32GB 2,5'' SSD
    VDR-testing: yaVDR 0.5-stable: Dell Optiplex 755(DT) -- Core2 Duo E4600 -- 2GB Ram -- Zotac GT610 -- 1xTT-1600 DVB-s2 -- 120GB 2,5'' HD
    Server1: Ubuntu 12.04 + kvm: Foxconn A7GM-S 2.0 -- Athlon BE-2400 -- 8GB Ram -- 64GB 2,5" SSD -- 1TB 3,5" HD -- 3x3TB 3,5'' sw-raid5
    RPI: Rasbian:: 433MHz Sender


    [size=10]nOpacity: Icons
    [size=10]skindesigner: tryoutsglassy

  • Servus,

    also die Kombi läuft schon sehr schön.
    Leider habe ich damals wohl meine root-Partition etwas zu klein gewählt und diese ist nun zu 100% voll gelaufen :(
    Werde daher erstmal das scrapen in der epgd.conf deaktivieren.

    Wie bekomme ich denn jetzt die DB wieder von den gescrapten Daten befreit?
    ein epgd-dropall scheint da nichts zu bewirken.

    Danke und Gruss.
    Markus

    signature

    Hardware:
    Software: yavdr-ansible@softhddevice

  • Das script ist auch noch nicht angepasst nehm ich an.

    Denke mal sowas in der Richtung:

    Code
    truncate table series;
    truncate table series_episode;
    truncate table series_actor;
    truncate table series_media;
    truncate table movie;
    truncate table movie_actors;
    truncate table movie_actor;
    truncate table movie_media;
    truncate table recordings;

    Oder halt das mysql-Daten-Verzeichnis auf ne andere Partition verschieben.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Hm,

    die Befehle haben nix bewirkt.

    signature

    Hardware:
    Software: yavdr-ansible@softhddevice

  • Hallo zusammen,

    zunächst einmal vielen Dank an alle Beteiligten, für das tolle neue Feature!

    Es gibt ein scrapinfo File pro Aufnahmeverzeichnis.


    Ist es möglich (und ich habe es nur nicht gefunden oder wäre es möglich, das einzubauen) mittels scrapinfo-File (oder einem anderen Mechanismus) einen kompletten Verzeichnisbaum innerhalb des Aufnahmeverzeichnisses vom scraper ausschließen zu können?

    Vielleicht mit einem Eintrag "ignore" im scrapinfo-File, der dafür sorgt, dass der Scraper dieses und alle Unterverzeichnisse ignoriert?

    Viele Grüße,
    Alex

    Meine VDRs

    seca: Server, Intel DH87RL + i5-4570S, 32GB RAM, 1x 2TB WD black, 2x 4TB WD red, 2x CineS2 Rev. 5.5
    core: Client/Entwicklung, Intel DH87RL + i5-4570, 32GB RAM, Samsung SSD 830 Series 240GB, Asus GT610-SL-2GD3-L Silent
    liro: Client, Asus P8H77-M, Intel i3-2120T, 4GB RAM, Asus GT610-SL-2GD3-L, Lian Li C37B Silent, IOWarrior24
    bero: Client, Asus EeeBox PC EB1012U, IOWarrior24
    Alle: Kernel 3.x.y, Gentoo Linux
    Server: vdr-2.2.0 vanilla, streamdev, epgsearch, epg2vdr, scraper2vdr, live
    Clients: vdr-2.2.0-extp, streamdev, epgsearch, epg2vdr, scraper2vdr, softhddevice, skindesigner, extrecmenu, remotetimers, mailbox, fritzbox

  • die Befehle haben nix bewirkt.


    fehlt noch OPTIMIZE TABLE

    also so nach dazu:

    Code
    OPTIMIZE TABLE series;
    OPTIMIZE TABLE series_episode;
    OPTIMIZE TABLE series_actor;
    OPTIMIZE TABLE series_media;
    OPTIMIZE TABLE movie;
    OPTIMIZE TABLE movie_actors;
    OPTIMIZE TABLE movie_actor;
    OPTIMIZE TABLE movie_media;
    OPTIMIZE TABLE recordings;
    Spoiler anzeigen

    div. VDRs in verschiedenen Versionen

  • ofenheizer: du kannst auch per "drop table xxx" die Tabellen löschen...was sagt denn z.B. ein "select count(*) from series"?

    Läuft bei dir die DB auf dem VDR oder auf einer separaten Maschine? Auf dem VDR hast du ja in dem Bilder Cache Verzeichnis vom scraper2vdr Plugin auch nochmal alle Bilder im lokalen FS liegen...die kannst du dann auch erst mal wieder killen.

    Btw: Jörg hat vorhin gesehen, dass unter yaVDR die gescrapten Bilder mit in das EPGImages Verzeichnis abgelegt werden...also müssen die yaVDR Nutzer da suchen.

    Noch was generelles: Es ist eigentlich NIE nötig, die scraper Tabellen in der DB zu löschen!!!!! Wenn man mal "neu" starten will, genügt es, die üblichen Tabellen (insb. die events Tabelle) und die recordings Tabelle zu löschen. Dann ist auch der scraper Teil "resettet". Die ganzen "series" und "movie" tabellen stellen ein Abbild der Online Dienste (thetvdb, themoviedb) dar für die Filme und Serien, die aktuell im EPG oder in den Aufnahmen verfügbar sind. Wenn man die Löschen würde, würden die genau gleich wieder neu befüllt...das macht also keinen Sinn. Ausserdem geht das initiale scrapen wesentlich schneller, wenn die Daten schon in der DB sind, und der Traffic zu den Online Diensten wird auch geringer gehalten.

    Ciao Louis

  • Hallo zusammen,

    zunächst einmal vielen Dank an alle Beteiligten, für das tolle neue Feature!


    Ist es möglich (und ich habe es nur nicht gefunden oder wäre es möglich, das einzubauen) mittels scrapinfo-File (oder einem anderen Mechanismus) einen kompletten Verzeichnisbaum innerhalb des Aufnahmeverzeichnisses vom scraper ausschließen zu können?

    Vielleicht mit einem Eintrag "ignore" im scrapinfo-File, der dafür sorgt, dass der Scraper dieses und alle Unterverzeichnisse ignoriert?

    Viele Grüße,
    Alex

    Das steht schon auf der Todo Liste...wird bald kommen ;)

    Ciao Louis

  • Hi Louis

    Das steht schon auf der Todo Liste...wird bald kommen ;)


    Spitze, vielen Dank, für die schnelle Antwort :)

    bye, Alex

    Meine VDRs

    seca: Server, Intel DH87RL + i5-4570S, 32GB RAM, 1x 2TB WD black, 2x 4TB WD red, 2x CineS2 Rev. 5.5
    core: Client/Entwicklung, Intel DH87RL + i5-4570, 32GB RAM, Samsung SSD 830 Series 240GB, Asus GT610-SL-2GD3-L Silent
    liro: Client, Asus P8H77-M, Intel i3-2120T, 4GB RAM, Asus GT610-SL-2GD3-L, Lian Li C37B Silent, IOWarrior24
    bero: Client, Asus EeeBox PC EB1012U, IOWarrior24
    Alle: Kernel 3.x.y, Gentoo Linux
    Server: vdr-2.2.0 vanilla, streamdev, epgsearch, epg2vdr, scraper2vdr, live
    Clients: vdr-2.2.0-extp, streamdev, epgsearch, epg2vdr, scraper2vdr, softhddevice, skindesigner, extrecmenu, remotetimers, mailbox, fritzbox

  • louis
    mysql> select count(*) from series;
    +----------+
    | count(*) |
    +----------+
    | 0 |
    +----------+
    1 row in set (0.00 sec)

    Die ganzen Bilder unter /var/cache/vdr/ habe ich alle schon gelöscht. Brauchte ja ein bissl Platz :-).
    Aber in der DB müssen ja auch noch irgendwo die gescrapten Daten liegen.
    Aktuell habe ich 85% belegt, vor dem vielen scrapen waren es 58% ... also muss noch was in der DB stecken.

    Gruss.
    Markus

    signature

    Hardware:
    Software: yavdr-ansible@softhddevice

  • ofenheizer: die Tabellen vom Chief sind vollständig, das sind alle Tabellen, die der Scraper benutzt...hast du sie nun gedropt oder getruncated. Bei truncate musst du wohl auch optimize machen, damit der Speicher wirklich freigegeben wird...

    Ciao Louis

  • Alternativ geht auch noch delete from <table>.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • In der Datenbank in den _media-Tabellen. Wenn Du sie im Dateisystem haben willst, brauchst Du das scraper2vdr Plugin auf dem Server.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Ähm... wo werden jetzt die gescrapten Bilder auf dem Server abgelegt?

    In der MySQL-Datenbank in den Tabellen movie_media und series_media

    Meine VDRs

    VDR 1: Point of View Ion-330-1, 2x Sundtek MediaTV Pro (DVB-C), Atric IR-Einschalter Rev.5, Ubuntu 18.04 (yavdr-ansible)
    VDR 2: Acer Revo 3610, Pinnacle PCTV SAT 452e, Medion X10, yaVDR 0.6
    VDR 3: Intel DH67BL, Celeron 540, 4 GB Ram, POV Geforce GT 1030, Ubuntu 18.04 (yavdr-ansible), VDR 2.4.1, CIR-Empfänger
    Client 1: Raspberry Pi 2, Arch Linux ARM, VDR 2.3.8
    vdr-epg-daemon auf Cubietruck mit 32 GB SSD, Arch Linux ARM

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • ofenheizer: die Tabellen vom Chief sind vollständig, das sind alle Tabellen, die der Scraper benutzt...hast du sie nun gedropt oder getruncated. Bei truncate musst du wohl auch optimize machen, damit der Speicher wirklich freigegeben wird...

    Ciao Louis


    nur truncate, so wie der chef es geschrieben hat.
    also alles nochmal mit einem drop machen?

    signature

    Hardware:
    Software: yavdr-ansible@softhddevice

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!