Add python class to emulate varnishadm

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3868 d4fa192b-c00b-0410-8231-f00ffab90ce4

Flexelint nitpickery.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3867 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add minimal facility for dealing with TELNET option negotiation
in a way that telnet clients don't get confused about:

Return WONT on to all DO or DONT and ignore everything else.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3866 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add support for authenticating CLI telnet connections

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3865 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add some polish to the graphs by using sensible font sizes and x ticks.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3864 d4fa192b-c00b-0410-8231-f00ffab90ce4

Renamed the program to something more logical.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3863 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added the use of config file (at last),which is given as argument to web ui. If not given, it will check for /etc/varnish/webui.conf and then fall back to the default config.

Added a new config value, 'document_root', which is the root of the web server and contains the templates, images and CSS.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3862 d4fa192b-c00b-0410-8231-f00ffab90ce4

Minor bit of cleanup: initialize CLI from main() instead of mgt_run().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3861 d4fa192b-c00b-0410-8231-f00ffab90ce4

Be much more careful about volatile and locking

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3860 d4fa192b-c00b-0410-8231-f00ffab90ce4

I was confused, always rush when we deref an *object*, it is the
*objhead* we need to be careful about.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3859 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a missing refcnt in the case where we lost a collision while
doing the lockless lookup.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3858 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clarify the waitinglist handling a little bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3857 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cache the vcl_fetch{} result, in case vcl_discard{} (via LRU) overwrites
it during body fetch.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3856 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give coords for WRONG

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3855 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix compilation warnings

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3854 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename r00433.vcl to r00433.vtc

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3853 d4fa192b-c00b-0410-8231-f00ffab90ce4

Documentation for vcl_pipe and connection: close

Note in the default VCL that connection: close might be wanted.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3852 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix typo in varnishadm.c (variable name)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3851 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make varnishadm able to handle cli_banner=on

Send a ping and ignore the first reply if it doesn't include a PONG.

Fixes: #457
git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3850 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a debug facility for substituting digests with hand-created
digests with edge-bit conditions and run the critbit through them.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3849 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an assert to make sure 32 stays 32

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3848 d4fa192b-c00b-0410-8231-f00ffab90ce4

Solaris fix for VRT_error

If VRT_error is called with reason==NULL, WSL() will eventually call
strlen(0), which will cause a SIGSEGV on (Open)Solaris.  Fix this by
checking if the reason is empty and just use (null) in that case.

Fixes: 458
git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3847 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update this test to not rely of a known dynamic of varnishd

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3846 d4fa192b-c00b-0410-8231-f00ffab90ce4

Postpone allocating the actual object until we have received the
headers and vcl_fetch{} has told os what to do with it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3845 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the right workspace for beresp.status

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3844 d4fa192b-c00b-0410-8231-f00ffab90ce4

When we know that an object will not make it into the hash
table permanently, use malloc(3) as backing store.

This affects mainly pass'ed requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3843 d4fa192b-c00b-0410-8231-f00ffab90ce4

Now that we do not need the new object while holding the highly trafficed
objhead lock, don't preallocate objects.

One unfortunate effect of this preallocation, only recently identified:

On systems with high number of worker threads and high hitrates, considerable
time could elapse between the preallocation of an object to a worker
thread and the use of that object.

This could make cache-misses use a much larger working set size than
really necessary.

I do not have access to any benchmarks that show a credible performance
difference, but reports are most welcome.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3842 d4fa192b-c00b-0410-8231-f00ffab90ce4

On a cache-miss, insert only the (busy) objcore, leave the actual
object allocation and insertion for later in cache_center.c

For now, do it right away in cache_center, before going to STP_MISS.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3841 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate the parent-child linkage between objects involved in grace.

The original thinking was that only objects being prefetched were
relevant, but we take a more expansive view now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3840 d4fa192b-c00b-0410-8231-f00ffab90ce4

Now that ESI parsing is not done while we execute vcl_fetch{}, the
majority of the cache_vrt_esi.c file is no longer "VRT" relevant.

Move the one function which is VRT to cache_vrt.c and rename
cache_vrt_esi.c to cache_esi.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3839 d4fa192b-c00b-0410-8231-f00ffab90ce4

TIMBER!

Move the vcl_fetch{} execution up between fetching the headers and the
body of the backend response.

This makes obj.* unavailable in vcl_fetch{} and replaces it with a
new beresp.* family of variables.

This paves the way for a lot of good stuff, such as streaming pass,
on-the-fly delivery of misses, storage selection based on headers
etc.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3838 d4fa192b-c00b-0410-8231-f00ffab90ce4

Change assert to error

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3837 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the http_conn into the bereq.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3836 d4fa192b-c00b-0410-8231-f00ffab90ce4

move object twiddling from FetchHdr() to cache_center.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3835 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a beresp.* variable family, which contains the backend response
before filtering.

Cut Fetch() into two, FetchHdr() and FetchBody(), for now, just call
them sequentially from cache_center.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3834 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't pollute bereq.* in vcl_fetch{} with the reply

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3833 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sorry, forgot to commit this file.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3832 d4fa192b-c00b-0410-8231-f00ffab90ce4

$delta_time should never be 0, but just in case...

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3831 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the two new stevedore entrypoints:

->object() is (to be) called when a cached object is ready
->close() is (to be) called on orderly stops of the worker.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3830 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a alloc/free function.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3829 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix compilation problem on Solaris - missing include

Solaris appears to need #include <sys/wait.h> for WEXITSTATUS to be defined.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3828 d4fa192b-c00b-0410-8231-f00ffab90ce4

Replace __inline with inline

C99 standardised "inline" and the Sun compiler doesn't like __inline,
so change to using inline consistently.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3827 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure system "..." returns successfully

We didn't check the return status of system, making failures in a00009
go unnoticed.  Fix this and fix a00009 to not fail when run
uninstalled.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3826 d4fa192b-c00b-0410-8231-f00ffab90ce4

Stop segfaulting when trying to set a nonexistant waiter

We failed to properly check for the end of the list of waiters.
Handle this correctly and add a test case

Fixes #428

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3825 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added -x option to get XML output. As with the -1 option, it prints it once and quits, and you can choose what fields to include with the -f option. Example XML output is

<?xml version="1.0"?>
<varnishstat timestamp="2009-02-25T08:45:02">
<stat>
<name>client_req</name>
<value>2656016</value>
<description>Client requests received</description>
</stat>
</varnishstat>

varnishstat.xsd contains the XML schema for the output.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3824 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clean default.vcl on distclean

Distclean (in the build directory) should clean out default.vcl in the
build directory.  This fixes a strange FTBFS on FreeBSD.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3823 d4fa192b-c00b-0410-8231-f00ffab90ce4

Explain what functions do.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3822 d4fa192b-c00b-0410-8231-f00ffab90ce4

Read and Write the segment list.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3821 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we ship persistent.h too

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3819 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add defines for MAP_NOCORE / MAP_NOSYNC so this compiles on Linux

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3818 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't use a 500 status as a hint to quit the data collector thread. Tell it by a shared variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3816 d4fa192b-c00b-0410-8231-f00ffab90ce4

get close to reading segment table

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3815 d4fa192b-c00b-0410-8231-f00ffab90ce4

Minor HTML-clean ups

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3814 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed issue with response not containing correct headers. CSS was sent as text/plain, causing firefox to ignore it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3813 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fetching ALL the columns when generating graphs is stupid and time consuming. Now we only fetch the required fields.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3812 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move on to the worker process side of persistent storage

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3811 d4fa192b-c00b-0410-8231-f00ffab90ce4

The SHA256 is outside the signature struct

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3810 d4fa192b-c00b-0410-8231-f00ffab90ce4

A bit of FlexeLint nitpicking

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3809 d4fa192b-c00b-0410-8231-f00ffab90ce4

Create/validate the three signed tables (ban1+2, segments)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3808 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add symbolic SHA256_LEN for the size of the digest.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3807 d4fa192b-c00b-0410-8231-f00ffab90ce4

Code to create, map and ident the storage silo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3806 d4fa192b-c00b-0410-8231-f00ffab90ce4

Gain some speed by at least creating index on the stat table

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3805 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring in the first inkling of the persistent storage module

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3804 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the catalogs of storage and hash modules closer to home.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3803 d4fa192b-c00b-0410-8231-f00ffab90ce4

Some constifications

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3802 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle worker thread on subrequests correctly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3801 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't clean on every request, that was for debugging only.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3800 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't try to rush waiting sessions of refcount is zero, there cannot be
any (they would hold a reference).

Should be merged to 2.0.3

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3799 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a lot more paranoia asserts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3798 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put the cleanup next to the preallocation and remember to release
the preallocated objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3797 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a delta-stats structure to worker threads and keep
track of n_object and n_objecthead in them.

Accumulate into global stats after work is done if the lock is
free and always before going idle.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3796 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make "hcb.dump" a CLI command

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3795 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a argument to the stat_field macro, to be used with locking evilness
shortly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3794 d4fa192b-c00b-0410-8231-f00ffab90ce4

Open the socket non-blocking so we can time out if the management console doesn't print a banner

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3793 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added possibility to add nodes to a group without have the settings of the group or node altered, which can be usefull to group node logically if the web GUI is used as a monitoring tool. Also fixed a logical bug in the settings inheritance code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3792 d4fa192b-c00b-0410-8231-f00ffab90ce4

Be more defensive around objhead retirement.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3791 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused hoh_digest

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3790 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot to escape \ when sending VCL to management port

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3789 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split a couple of generally useful routines out of storage_file

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3788 d4fa192b-c00b-0410-8231-f00ffab90ce4

Some minor cosmetics and bugs discovered during documentation writing.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3787 d4fa192b-c00b-0410-8231-f00ffab90ce4

A mojor update to the web GUI, unfortunately all done in one go. Nevertheless, here it is, and has many improvements to the christmas edition commited in december:

- the GUI now uses a sqlite3 database for storage, so all configuratons are stored
- aggregated statistics for groups
- graphs on demand for raw data
- CSV export of stat data
- 'Restricted mode' to get a web GUI which prevent you from doing changes
- logging of changes performed in the GUI
- generall minor improvements in the GUI

Additional perl module dependencies are Algorithm::Diff and DBD::Sqlite3

A proper documentation will appear on the wiki in a couple of days to describe all that can be done with the web GUI.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3786 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we have a C99 compiler

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3785 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correct and complete description of -a.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3784 d4fa192b-c00b-0410-8231-f00ffab90ce4

with the prefetch timer out of the way, we do not need the ttl
in objcore, only when the timer fires.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3783 d4fa192b-c00b-0410-8231-f00ffab90ce4

Now that we only have one timer firing, remove stuff to deal with
different events.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3782 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate prefetch, grace was a much better idea.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3781 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert that we got an objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3780 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the ttl from object up to the objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3779 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the pass flag from the object to the objcore.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3778 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove __BEGIN_DECLS and __END_DECLS as those do not exist on Solaris (and we do not need them)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3777 d4fa192b-c00b-0410-8231-f00ffab90ce4

Convert assert to error report

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3776 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add documentation for cli_banner

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3775 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow for pass opbjects not having a objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3774 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the object busy flag up to the objcore.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3773 d4fa192b-c00b-0410-8231-f00ffab90ce4

Compress objcore a bit more by squezing 32 bit fields to 8 bit, still
leaving plenty of space.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3772 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correct copyright and attribution.

Approved by: phk, ssm

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3771 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce objhead size by overloading.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3770 d4fa192b-c00b-0410-8231-f00ffab90ce4

To prevent masking bugs, disable auto_restart by default.

Enable it explicitly in the one testcase where we check that it works.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3769 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure to clean the VBE properly before releasing it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3768 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add two hidden CLI commands for panic'ing the master and worker process.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3767 d4fa192b-c00b-0410-8231-f00ffab90ce4