ignore EPERM as a result of the chmod of a .dak file

2008-10-21  Philipp Kern  <pkern@debian.org>

        * daklib/queue.py: reintroduce James' check for EPERM after
          the chmod'ing of dak files and ignore it; just fubar if the file is
          world writable, which should really never happen

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  EVIL SINGLE TAB CHARACTER IN LAST COMMIT EMERGENCY FIX
  changelog
  bug #
  produce changes without signature, fix delay calculation also for status

Signed-off-by: Joerg Jaspert <joerg@debian.org>

EVIL SINGLE TAB CHARACTER IN LAST COMMIT EMERGENCY FIX

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

changelog

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

bug #

produce changes without signature, fix delay calculation also for status

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  add machine-readable status

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of /org/ftp.debian.org/dak/

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

add machine-readable status

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

show_deferred

remove debug output

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  config for show-deferred
  whitespace sanitizing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of /org/ftp.debian.org/dak//

config for show-deferred

whitespace sanitizing

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  move config to config
  message massage
  move show-deferred to dak
  move show-deferred to dak
  implement public access to deferred
  fix remaining days, some style

Signed-off-by: Joerg Jaspert <joerg@debian.org>

move config to config

Merge branch 'master' of /org/ftp.debian.org/dak//

message massage

logfiles

only keep 60 days of cron logfiles on disc

Signed-off-by: Joerg Jaspert <joerg@debian.org>

move show-deferred to dak

move show-deferred to dak

implement public access to deferred

fix remaining days, some style

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  spaces in uploader names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

spaces in uploader names

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

validtime

actually make this configurable and set it to 7 days for those suites
that regularly change. dont touch any older than stable-proposed-updates.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Valid-Until

Add a Valid-Until "header" to the generated Release files.
Meaning "$receiver shouldn't trust this files after that date".
Should be used by apt and similar tools to detect some kind of MITM attacks,
see #499897 for more information.
Currently set to "7 days from now".

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No more ftp debug

Signed-off-by: Joerg Jaspert <joerg@debian.org>

md5sum check, passive mode

Only check md5sums after transfering stuff to the target if we are
configured to do this. We can't do this via ftp, as the files on
ftp.upload.debian.org aren't readable for us (vsftpd runs as a user
not allowed to read them).

Also, no need to check them - if the files are really broken then the
next queued will detect that and mail the maintainer anyways. So it
wont get broken files near the archive.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use perltidy on debianqueued

Use perltidy -i=2 -syn -lp -csc -cscw -ce -l=78 -cti=1  -b debianqueued

Signed-off-by: Joerg Jaspert <joerg@debian.org>

md5sum check option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Readme foo

Add a new queue readme for ravel, correct hostname for ftp-master.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add config for ssh upload queue

Add a new config file, for use on ravel, where we will put the ssh upload queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Deferred queue overview

Added the deferred queue overview

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  walk directories ourselves instead of taking a list
  add summary of deferred queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

walk directories ourselves instead of taking a list

add summary of deferred queue

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Clarify rm /

/ are allowed in rm - for the DELAYED queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  don't try to remove file --searchdirs, prune some paths from messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  don't try to remove file --searchdirs, prune some paths from messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update the text

Now it matches reality with DELAYED/DEFERRED and mv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

don't try to remove file --searchdirs, prune some paths from messages

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  * Redo:   Name it DEFERRED
  split 'cancel' command off rm, use DELAYED/#-day/ prefixes, and rename 'mv' to 'reschedule'
  * fix fatal typo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'queued'

* Redo:   Name it DEFERRED
* Redo:   Oi, Wow, that should have been committed centuries ago.
* Redo:   Small changes
  Remove lotsa old cvs history
  Change maintainer name
  Modify config to use the path we want
* Redo:   Merge commit 'tomv_w/master' into merge
  * commit 'tomv_w/master':
    * no / in x-day
    * fix bug in .commands rm-handling
    * add delayed aging, extend is_on_target to consider all files
    * debianqueued: finish new-style command handling
    * debianqueued: allow removal from target delayed queue
    * debianqueued/config: add delayed fields to sample config

This reverts commits 6ad61ef85be7237455f7fe8216289fcef31ae1f0,
                     0075ee02039d69dce15aeff9804a82a2be1f8073
                     85b005fd31182e076163b76efc9dcf7944d1c9c0
                     e40836af9e5659de995169789d2165566a2a5c77

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

split 'cancel' command off rm, use DELAYED/#-day/ prefixes, and rename 'mv' to 'reschedule'

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* fix fatal typo

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Revert "Merge commit 'tomv_w/master' into merge"

This reverts commit 47384ef2b7b6c6239b41623ad8612ac7fd32d089.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Small changes"

This reverts commit 9eb4b6222ce4cd1a31956c8781dca415e994cca6.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Oi"

This reverts commit c3ff19c4244b775cd999293f7a3299c736e232bb.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Name it DEFERRED"

This reverts commit 668929470009cd172e9de5258ed19a1c59050ab9.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Name it DEFERRED

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Oi

Wow, that should have been committed centuries ago.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Small changes

Remove lotsa old cvs history
Change maintainer name
Modify config to use the path we want

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  * no / in x-day
  * fix bug in .commands rm-handling
  * add delayed aging, extend is_on_target to consider all files
  * debianqueued: finish new-style command handling
  * debianqueued: allow removal from target delayed queue
  * debianqueued/config: add delayed fields to sample config
  2008-09-11  Thomas Viehmann  <tv@beamnet.de>

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* no / in x-day

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* fix bug in .commands rm-handling

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* add delayed aging, extend is_on_target to consider all files

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  daklib/utils.py (dump_vars): do not blindly re-raise exceptions
  make .dak files world-readable
  remove oldstable-security/amd64 check

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py (dump_vars): do not blindly re-raise exceptions

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Conflicts:

ChangeLog

Use the right dir (not critical, the other is symlinked).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make .dak files world-readable

2008-09-13  Philipp Kern  <pkern@debian.org>

        * dak/queue.py (dump_vars): make .dak u,g=rw,o=r; James'
        assumption (as stated in 2002-05-18's ChangeLog entry)
        was that people will use the information therein albeit
        it is "just" a duplication of information present in
        other control files; people should still not use it
        as source of information but access to those files makes
        dak debugging easier and there is no leak of sensitive
        information involved

Signed-off-by: Philipp Kern <pkern@debian.org>

Unbreak dinstall

What a difference a little .sh at the end can make...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* debianqueued: finish new-style command handling

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Typo fix

s/i/file/, it really helps to use the right variable names...
Thanks Otavio.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove oldstable-security/amd64 check

2008-09-12  Philipp Kern  <pkern@debian.org>

        * dak/new_security_install.py (actually_upload): remove
        oldstable-security/amd64 check; Etch, as the next oldstable,
        already had proper amd64 support

Signed-off-by: Philipp Kern <pkern@debian.org>

Pseudo packages

Moved pseudo packages to the bts people. Now fetch them from there.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* debianqueued: allow removal from target delayed queue

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* debianqueued/config: add delayed fields to sample config

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

2008-09-11  Thomas Viehmann  <tv@beamnet.de>

       * debianqueued: Add DELAYED-support.

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'pkern/master'

* commit 'pkern/master':
  daklib/utils.py (build_file_list): ignore missing dsc format headers

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py (build_file_list): ignore missing dsc format headers

2008-09-08  Philipp Kern  <pkern@debian.org>

        * daklib/utils.py (build_file_list): do not die on very
        old dsc files without format header

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/check_archive.py (check_checksums): rewind the file pointer

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/check_archive.py (check_checksums): rewind the file pointer

2008-09-08  Philipp Kern  <pkern@debian.org>

        * dak/check_archive.py (check_checksums): rewind the files
        before the sha1sum/sha256sum checks as they got seeked by
        md5sum

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  do not try to access non-existant members, fix up the last patch

Signed-off-by: Joerg Jaspert <joerg@debian.org>

do not try to access non-existant members, fix up the last patch

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  do not check for superfluous checksums-* entries for now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

do not check for superfluous checksums-* entries for now

The current check for additional entries in checksums-* which are not
covered by entries in files is flawed because files could be modified
by autobyhand or sometimes when the file's already in the pool.

We need to rework this to look into the original files dict instead.

Signed-off-by: Philipp Kern <pkern@debian.org>

Shutup

For now dont warn if file is not found.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_accepted.py (install): use dsc_file instead of file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_accepted.py (install): use dsc_file instead of file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_accepted.py (install): use dsc_file instead of file

        * dak/process_accepted.py (install): better use dsc_file
        instead of the (for the loop iteration) static file
        variable

Signed-off-by: Philipp Kern <pkern@debian.org>

dak/process_accepted.py (install): use dsc_file instead of file

        * dak/process_accepted.py (install): better use dsc_file
        instead of the (for the loop iteration) static file
        variable

Signed-off-by: Philipp Kern <pkern@debian.org>
# Please enter the commit message for your changes.
# (Comment lines starting with '#' will not be included)
# On branch new-master
# Changes to be committed:
#   (use "git reset HEAD <file>..." to unstage)
#
# modified:   ChangeLog
# modified:   dak/process_accepted.py
#
# Changed but not updated:
#   (use "git add <file>..." to update what will be committed)
#
# modified:   daklib/database.py
#
# Untracked files:
#   (use "git add <file>..." to include in what will be committed)
#
# config/asterix/
# diff
# ftp/
# incoming/
# lock/
# log/
# queue/
# web/removals.txt

Remove debug statement

Remove a debug statement that was left in.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  wrap try..except..finally the python 2.4 way

Signed-off-by: Joerg Jaspert <joerg@debian.org>

wrap try..except..finally the python 2.4 way

2008-09-07  Philipp Kern  <pkern@debian.org>

        * daklib/utils.py (check_hash): try..except..finally only
        works on python >=2.5.

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  more safety nets when our functions do not do what we expect from them

Signed-off-by: Joerg Jaspert <joerg@debian.org>

more safety nets when our functions do not do what we expect from them

2008-09-07  Philipp Kern  <pkern@debian.org>

        * daklib/utils.py (check_hash): change the comment and warn
        if a file is not found when checking the hashes (i.e. when
        it is probably in the pool)

* daklib/utils.py (check_size): do not bail out if the file
is not found, because it may be in the pool

        * dak/process_accepted.py (install): bail out and skip the
        upload when ensure_hashes fails, print the rejection messages
        as warnings

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  Revert "revert all my stupid commits, we'll try this again later when we have a test server"
  Revert "and revert the remainder"
  implement sensible handling of checksum fields in .changes and .dsc

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ftpmaster's dak repository

Conflicts:

ChangeLog

Merge commit 'pkern/p-u-new' into merge

* commit 'pkern/p-u-new':
  dak/process_new.py (is_source_in_queue_dir): access u instead of Upload

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_new.py (is_source_in_queue_dir): access u instead of Upload

2008-09-06  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (is_source_in_queue_dir): Access the right
        variable to check if the given entry in the queue is the sourceful
        upload we are looking for.

Pseudopackages

Added last pseudopackages ever. (Well, before the two files finally go
and are maintained by the BTS people).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'checksums'

Conflicts:

ChangeLog
daklib/utils.py

Revert "revert all my stupid commits, we'll try this again later when we have a test server"

This reverts commit aa83ebb15882823869b109d370e24ef3efd730f8.

Conflicts:

ChangeLog

Revert "and revert the remainder"

This reverts commit 536cb00b606a8581a76b66f55a58eabdf9f7fd3d.

dak/process_new.py (_accept)

Fix Philipps new helper function to not break by moving Upload.build_summaries there.

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  cosmetic fixes for do_accept and do_accept_stableupdate

cosmetic fixes for do_accept and do_accept_stableupdate

2008-08-31  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (_accept): new helper function to accept
        an upload regularly, obeying no-action if set
        * dak/process_new.py (do_accept): use _accept
        * dak/process_new.py (do_accept_stableupdate): bail out in else
        on binary uploads, in case we missed something; use the _accept
        helper; reordered the queue checks to do frequent cases first

Signed-off-by: Philipp Kern <pkern@debian.org>