Use perltidy on debianqueued

Use perltidy -i=2 -syn -lp -csc -cscw -ce -l=78 -cti=1  -b debianqueued

Signed-off-by: Joerg Jaspert <joerg@debian.org>

md5sum check option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Readme foo

Add a new queue readme for ravel, correct hostname for ftp-master.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add config for ssh upload queue

Add a new config file, for use on ravel, where we will put the ssh upload queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Deferred queue overview

Added the deferred queue overview

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  walk directories ourselves instead of taking a list
  add summary of deferred queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

walk directories ourselves instead of taking a list

add summary of deferred queue

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Clarify rm /

/ are allowed in rm - for the DELAYED queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  don't try to remove file --searchdirs, prune some paths from messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  don't try to remove file --searchdirs, prune some paths from messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update the text

Now it matches reality with DELAYED/DEFERRED and mv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

don't try to remove file --searchdirs, prune some paths from messages

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  * Redo:   Name it DEFERRED
  split 'cancel' command off rm, use DELAYED/#-day/ prefixes, and rename 'mv' to 'reschedule'
  * fix fatal typo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'queued'

* Redo:   Name it DEFERRED
* Redo:   Oi, Wow, that should have been committed centuries ago.
* Redo:   Small changes
  Remove lotsa old cvs history
  Change maintainer name
  Modify config to use the path we want
* Redo:   Merge commit 'tomv_w/master' into merge
  * commit 'tomv_w/master':
    * no / in x-day
    * fix bug in .commands rm-handling
    * add delayed aging, extend is_on_target to consider all files
    * debianqueued: finish new-style command handling
    * debianqueued: allow removal from target delayed queue
    * debianqueued/config: add delayed fields to sample config

This reverts commits 6ad61ef85be7237455f7fe8216289fcef31ae1f0,
                     0075ee02039d69dce15aeff9804a82a2be1f8073
                     85b005fd31182e076163b76efc9dcf7944d1c9c0
                     e40836af9e5659de995169789d2165566a2a5c77

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

split 'cancel' command off rm, use DELAYED/#-day/ prefixes, and rename 'mv' to 'reschedule'

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* fix fatal typo

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Revert "Merge commit 'tomv_w/master' into merge"

This reverts commit 47384ef2b7b6c6239b41623ad8612ac7fd32d089.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Small changes"

This reverts commit 9eb4b6222ce4cd1a31956c8781dca415e994cca6.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Oi"

This reverts commit c3ff19c4244b775cd999293f7a3299c736e232bb.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Name it DEFERRED"

This reverts commit 668929470009cd172e9de5258ed19a1c59050ab9.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Name it DEFERRED

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Oi

Wow, that should have been committed centuries ago.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Small changes

Remove lotsa old cvs history
Change maintainer name
Modify config to use the path we want

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'tomv_w/master' into merge

* commit 'tomv_w/master':
  * no / in x-day
  * fix bug in .commands rm-handling
  * add delayed aging, extend is_on_target to consider all files
  * debianqueued: finish new-style command handling
  * debianqueued: allow removal from target delayed queue
  * debianqueued/config: add delayed fields to sample config
  2008-09-11  Thomas Viehmann  <tv@beamnet.de>

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* no / in x-day

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* fix bug in .commands rm-handling

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* add delayed aging, extend is_on_target to consider all files

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  daklib/utils.py (dump_vars): do not blindly re-raise exceptions
  make .dak files world-readable
  remove oldstable-security/amd64 check

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py (dump_vars): do not blindly re-raise exceptions

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Conflicts:

ChangeLog

Use the right dir (not critical, the other is symlinked).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make .dak files world-readable

2008-09-13  Philipp Kern  <pkern@debian.org>

        * dak/queue.py (dump_vars): make .dak u,g=rw,o=r; James'
        assumption (as stated in 2002-05-18's ChangeLog entry)
        was that people will use the information therein albeit
        it is "just" a duplication of information present in
        other control files; people should still not use it
        as source of information but access to those files makes
        dak debugging easier and there is no leak of sensitive
        information involved

Signed-off-by: Philipp Kern <pkern@debian.org>

Unbreak dinstall

What a difference a little .sh at the end can make...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* debianqueued: finish new-style command handling

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Typo fix

s/i/file/, it really helps to use the right variable names...
Thanks Otavio.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove oldstable-security/amd64 check

2008-09-12  Philipp Kern  <pkern@debian.org>

        * dak/new_security_install.py (actually_upload): remove
        oldstable-security/amd64 check; Etch, as the next oldstable,
        already had proper amd64 support

Signed-off-by: Philipp Kern <pkern@debian.org>

Pseudo packages

Moved pseudo packages to the bts people. Now fetch them from there.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* debianqueued: allow removal from target delayed queue

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

* debianqueued/config: add delayed fields to sample config

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

2008-09-11  Thomas Viehmann  <tv@beamnet.de>

       * debianqueued: Add DELAYED-support.

Signed-off-by: Thomas Viehmann <tv@beamnet.de>

Merge commit 'pkern/master'

* commit 'pkern/master':
  daklib/utils.py (build_file_list): ignore missing dsc format headers

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py (build_file_list): ignore missing dsc format headers

2008-09-08  Philipp Kern  <pkern@debian.org>

        * daklib/utils.py (build_file_list): do not die on very
        old dsc files without format header

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/check_archive.py (check_checksums): rewind the file pointer

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/check_archive.py (check_checksums): rewind the file pointer

2008-09-08  Philipp Kern  <pkern@debian.org>

        * dak/check_archive.py (check_checksums): rewind the files
        before the sha1sum/sha256sum checks as they got seeked by
        md5sum

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  do not try to access non-existant members, fix up the last patch

Signed-off-by: Joerg Jaspert <joerg@debian.org>

do not try to access non-existant members, fix up the last patch

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  do not check for superfluous checksums-* entries for now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

do not check for superfluous checksums-* entries for now

The current check for additional entries in checksums-* which are not
covered by entries in files is flawed because files could be modified
by autobyhand or sometimes when the file's already in the pool.

We need to rework this to look into the original files dict instead.

Signed-off-by: Philipp Kern <pkern@debian.org>

Shutup

For now dont warn if file is not found.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_accepted.py (install): use dsc_file instead of file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_accepted.py (install): use dsc_file instead of file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_accepted.py (install): use dsc_file instead of file

        * dak/process_accepted.py (install): better use dsc_file
        instead of the (for the loop iteration) static file
        variable

Signed-off-by: Philipp Kern <pkern@debian.org>

dak/process_accepted.py (install): use dsc_file instead of file

        * dak/process_accepted.py (install): better use dsc_file
        instead of the (for the loop iteration) static file
        variable

Signed-off-by: Philipp Kern <pkern@debian.org>
# Please enter the commit message for your changes.
# (Comment lines starting with '#' will not be included)
# On branch new-master
# Changes to be committed:
#   (use "git reset HEAD <file>..." to unstage)
#
# modified:   ChangeLog
# modified:   dak/process_accepted.py
#
# Changed but not updated:
#   (use "git add <file>..." to update what will be committed)
#
# modified:   daklib/database.py
#
# Untracked files:
#   (use "git add <file>..." to include in what will be committed)
#
# config/asterix/
# diff
# ftp/
# incoming/
# lock/
# log/
# queue/
# web/removals.txt

Remove debug statement

Remove a debug statement that was left in.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  wrap try..except..finally the python 2.4 way

Signed-off-by: Joerg Jaspert <joerg@debian.org>

wrap try..except..finally the python 2.4 way

2008-09-07  Philipp Kern  <pkern@debian.org>

        * daklib/utils.py (check_hash): try..except..finally only
        works on python >=2.5.

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  more safety nets when our functions do not do what we expect from them

Signed-off-by: Joerg Jaspert <joerg@debian.org>

more safety nets when our functions do not do what we expect from them

2008-09-07  Philipp Kern  <pkern@debian.org>

        * daklib/utils.py (check_hash): change the comment and warn
        if a file is not found when checking the hashes (i.e. when
        it is probably in the pool)

* daklib/utils.py (check_size): do not bail out if the file
is not found, because it may be in the pool

        * dak/process_accepted.py (install): bail out and skip the
        upload when ensure_hashes fails, print the rejection messages
        as warnings

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  Revert "revert all my stupid commits, we'll try this again later when we have a test server"
  Revert "and revert the remainder"
  implement sensible handling of checksum fields in .changes and .dsc

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ftpmaster's dak repository

Conflicts:

ChangeLog

Merge commit 'pkern/p-u-new' into merge

* commit 'pkern/p-u-new':
  dak/process_new.py (is_source_in_queue_dir): access u instead of Upload

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_new.py (is_source_in_queue_dir): access u instead of Upload

2008-09-06  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (is_source_in_queue_dir): Access the right
        variable to check if the given entry in the queue is the sourceful
        upload we are looking for.

Pseudopackages

Added last pseudopackages ever. (Well, before the two files finally go
and are maintained by the BTS people).

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'checksums'

Conflicts:

ChangeLog
daklib/utils.py

Revert "revert all my stupid commits, we'll try this again later when we have a test server"

This reverts commit aa83ebb15882823869b109d370e24ef3efd730f8.

Conflicts:

ChangeLog

Revert "and revert the remainder"

This reverts commit 536cb00b606a8581a76b66f55a58eabdf9f7fd3d.

dak/process_new.py (_accept)

Fix Philipps new helper function to not break by moving Upload.build_summaries there.

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  cosmetic fixes for do_accept and do_accept_stableupdate

cosmetic fixes for do_accept and do_accept_stableupdate

2008-08-31  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (_accept): new helper function to accept
        an upload regularly, obeying no-action if set
        * dak/process_new.py (do_accept): use _accept
        * dak/process_new.py (do_accept_stableupdate): bail out in else
        on binary uploads, in case we missed something; use the _accept
        helper; reordered the queue checks to do frequent cases first

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_new.py (is_source_in_queue_dir): add the queue path to the changes filename

dak/process_new.py (is_source_in_queue_dir): add the queue path to the changes filename

* dak/process_new.py (is_source_in_queue_dir): join the queue path
  because os.listdir entries come with their path stripped

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  process_new/do_accept_stableupdate: state what we intend to do

process_new/do_accept_stableupdate: state what we intend to do

2008-08-30  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (do_accept_stableupdate): state what we intend
        to do

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  fix proposed-updates processing in dinstall: actually accept sourceful uploads
  dak/process_new.py: do not try to free the unchecked lockfile in no-action mode

implement sensible handling of checksum fields in .changes and .dsc

2008-08-28  Philipp Kern  <pkern@debian.org>

* daklib/utils.py (check_hashes): adapt to different API, check
sizes separately

* daklib/utils.py (parse_changes, parse_deb822): refactor
the string-based logic of parse_changes into a new function
parse_deb822; parse_changes itself remains file-based

* daklib/utils.py (hash_key): gives the key of a hash in the
files dict

* daklib/utils.py (create_hash, check_size): made more readable

* daklib/utils.py (check_hash): just check the hashes and complain
about missing checksums

* daklib/utils.py (check_hash_fields): function to reject unknown
checksums fields

* daklib/utils.py (_ensure_changes_hash, _ensure_dsc_hash): helper
functions for ensure_hashes; check their corresponding manifests'
hashes

* daklib/utils.py (ensure_hashes): retrieve the checksums fields
from the original filecontents blob so that they do not need to
be present in the .dak; refactored the actual checks by calling
the aforementioned helper functions

* daklib/utils.py (parse_checksums): parse a given checksums field
in a manifest and insert the values found into the files dict,
checking the file sizes on the way

fix proposed-updates processing in dinstall: actually accept sourceful uploads

* dak/process_new.py (is_source_in_queue_dir): fix variable usage
* dak/process_new.py (move_to_holding): just state what we intend
  to do in no-action mode
* dak/process_new.py (do_accept_stableupdate): fetch summaries,
  fix invokation of is_source_in_queue_dir, actually accept sourceful
  uploads in p-u holding

dak/process_new.py: do not try to free the unchecked lockfile in no-action mode

We dont want i18n to ever fail dinstall, add a || true

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  and revert the remainder
  revert all my stupid commits, we'll try this again later when we have a test server
  Revert "use correct field names"
  use correct field names

and revert the remainder

Signed-off-by: Mark Hymers <mhy@debian.org>

revert all my stupid commits, we'll try this again later when we have a test server

Signed-off-by: Mark Hymers <mhy@debian.org>

Revert "use correct field names"

This reverts commit f50c6be13c107a29ed5241c52b3e5c8928bed7bd.

use correct field names

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  fix set_files_id routine

fix set_files_id routine

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  another attempt to add these damned hashes

another attempt to add these damned hashes

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  I hate it when Ganneff is right
  don't assume we can check for the checksums fields

I hate it when Ganneff is right

Signed-off-by: Mark Hymers <mhy@debian.org>

don't assume we can check for the checksums fields

Signed-off-by: Mark Hymers <mhy@debian.org>

This really wants a rewrite
Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  misc fixes

misc fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  Actually import a module before using it.

Actually import a module before using it.

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  actually check the type of basedict before trying to use it

actually check the type of basedict before trying to use it

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  revert change to get_files_id

revert change to get_files_id

Signed-off-by: Mark Hymers <mhy@debian.org>