You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-02 - 07:04
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Wed Jul 02, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
154842291212,43sleep20-21swapper/22
156142262224,24sleep00-21swapper/00
155002259186,56sleep10-21swapper/11
155692230193,24sleep30-21swapper/33
1943321250,2sleep10-21swapper/11
319182550,3sleep10-21swapper/11
234892540,3sleep20-21swapper/22
219712510,1sleep00-21swapper/00
15834993713,9cyclictest15887-21/usr/sbin/munin3
15834993712,10cyclictest11552-21cat3
1583099371,17cyclictest31143-21perf2
15834993612,8cyclictest31423-21ntp_states3
15834993610,15cyclictest19724-21cat3
1583099361,17cyclictest23143-21/usr/sbin/munin2
15834993512,5cyclictest0-21swapper/33
15834993511,10cyclictest19959-21/usr/sbin/munin3
15834993510,22cyclictest1754-21basename3
15834993510,10cyclictest28396-21ls3
1583099353,17cyclictest26756-21awk2
1583099350,18cyclictest5109-21sendmail-msp2
15834993411,9cyclictest30459-21awk3
1583099343,8cyclictest20008-21apt-get2
15834993312,7cyclictest14646-21ntpq3
15834993311,8cyclictest21496-21apt-config3
15834993310,9cyclictest30570-21expr3
15834993310,10cyclictest24459-21rt-features3
15834993211,7cyclictest31387-21dpkg3
15834993210,8cyclictest18873-21apt-get3
1583499318,9cyclictest1644-21ls3
15834993124,5cyclictest12732-21ntp_states3
15834993114,15cyclictest32633-21ls3
1583499309,9cyclictest8095-21strings3
1583499309,7cyclictest6736-21ps3
15834993010,7cyclictest7648-21cpuspeed_turbos3
1583499286,8cyclictest0-21swapper/33
1583499286,8cyclictest0-21swapper/33
1583499286,8cyclictest0-21swapper/33
15834992813,12cyclictest20340-21/usr/sbin/munin3
15834992810,7cyclictest12164-21sshd3
60812270,2sleep31583499cyclictest3
1583499276,8cyclictest13363-21taskset3
1583499275,7cyclictest0-21swapper/33
1583499272,14cyclictest0-21swapper/33
15834992715,9cyclictest29785-21/usr/sbin/munin3
1583499263,8cyclictest0-21swapper/33
15834992618,5cyclictest8226-21/usr/sbin/munin3
15834992614,9cyclictest18292-21/usr/sbin/munin3
15830992617,5cyclictest1433-21ls2
15830992616,6cyclictest11477-21cron2
15834992514,8cyclictest27078-21/usr/sbin/munin3
15834992513,9cyclictest4555-21/usr/sbin/munin3
15834992513,9cyclictest28346-21/usr/sbin/munin3
15834992513,9cyclictest23018-21/usr/sbin/munin3
15834992513,9cyclictest22513-21/usr/sbin/munin3
15834992513,9cyclictest21727-21/usr/sbin/munin3
15834992513,9cyclictest18625-21/usr/sbin/munin3
15834992513,9cyclictest14776-21/usr/sbin/munin3
15834992513,9cyclictest10311-21/usr/sbin/munin3
15834992512,9cyclictest15276-21/usr/sbin/munin3
15834992512,10cyclictest25552-21/usr/sbin/munin3
15834992512,10cyclictest17757-21/usr/sbin/munin3
15834992512,10cyclictest13370-21/usr/sbin/munin3
15830992517,5cyclictest7039-40systemctl2
15830992515,6cyclictest11853-21apt-get2
15834992416,6cyclictest3928-21/usr/sbin/munin3
15834992416,5cyclictest1132-21sendmail-mta3
15834992415,6cyclictest3192-21/usr/sbin/munin3
15834992415,6cyclictest3192-21/usr/sbin/munin3
15834992413,9cyclictest16695-21/usr/sbin/munin3
15834992413,9cyclictest10701-21/usr/sbin/munin3
15834992412,9cyclictest6302-21/usr/sbin/munin3
15834992412,9cyclictest23061-21/usr/sbin/munin3
15834992412,9cyclictest17913-21/usr/sbin/munin3
15834992412,9cyclictest16367-21/usr/sbin/munin3
15834992412,9cyclictest10657-21/usr/sbin/munin3
1583099241,4cyclictest25451-21apt-get2
1583099240,20cyclictest25928-21latency_hist2
15834992317,4cyclictest22465-21pmu-power3
15834992315,6cyclictest8687-21/usr/sbin/munin3
15834992315,6cyclictest14200-21/usr/sbin/munin3
15834992315,5cyclictest27546-21/usr/sbin/munin3
15834992314,6cyclictest22394-21/usr/sbin/munin3
15834992311,9cyclictest25025-21/usr/sbin/munin3
1583099234,16cyclictest7589-21cat2
1583099233,17cyclictest27992-21cat2
1583099231,18cyclictest505-21dbus-daemon2
1583099231,18cyclictest23902-21perf2
15830992310,10cyclictest22160-21timerwakeupswit2
15823992315,5cyclictest9136-21grep0
15823992315,5cyclictest5990-21sendmail-mta0
15834992216,4cyclictest24992-21aten2_r9power_c3
15834992214,6cyclictest31978-21/usr/sbin/munin3
15834992212,8cyclictest16190-21cp3
15834992210,9cyclictest28981-21latency_hist3
1583099223,17cyclictest3923-21latency_hist2
1583099223,17cyclictest3923-21latency_hist2
1583099223,17cyclictest11186-21cat2
1583099222,14cyclictest8554-21apt-get2
15830992217,3cyclictest9552-21latency_hist2
15830992217,3cyclictest5943-21sh2
15830992215,4cyclictest24830-21ntpq2
15830992214,4cyclictest15685-21sh2
1583099221,3cyclictest4930-21munin-run2
1583099221,3cyclictest28796-21systemctl2
1583099221,18cyclictest507-21cron2
1583099221,17cyclictest30309-21lockfile-remove2
15826992216,4cyclictest17934-21seq1
15823992216,3cyclictest30730-21head0
1583099212,17cyclictest7241-21cat2
1583099212,17cyclictest7241-21cat2
1583099212,17cyclictest21115-21latency_hist2
1583099212,17cyclictest13512-21latency_hist2
15830992116,3cyclictest8041-21http2
15830992114,4cyclictest23840-21df2
15830992114,3cyclictest505-21dbus-daemon2
1583099211,3cyclictest2746-21grep2
1583099211,3cyclictest15610-1kworker/2:1H2
1583099211,3cyclictest11092-1kworker/2:0H2
15830992113,5cyclictest505-21dbus-daemon2
1583099211,18cyclictest19086-21latency_hist2
1583099211,17cyclictest19645-21munin-run2
1583099211,17cyclictest17279-1kworker/2:0H2
1583099211,17cyclictest153362sleep22
1583099210,3cyclictest878-21idleruntime-cro2
15826992116,3cyclictest12964-21seq1
1582699211,5cyclictest25738-21munin-run1
15826992115,4cyclictest3849-21seq1
15826992115,4cyclictest3849-21seq1
15826992115,4cyclictest29085-21seq1
15826992115,4cyclictest17591-21seq1
15826992115,4cyclictest13294-21seq1
15826992115,3cyclictest23917-21proc_pri1
15826992115,3cyclictest21023-21sh1
15826992114,4cyclictest2446-21grep1
15826992114,4cyclictest14808-21cat1
1582699210,5cyclictest0-21swapper/11
1582699210,2cyclictest0-21swapper/11
15823992116,3cyclictest29098-21swap0
15823992115,4cyclictest665-21runrttasks0
15823992115,4cyclictest4115-21sed0
15823992115,4cyclictest4115-21sed0
15823992115,4cyclictest2201-21sed0
15830992015,3cyclictest5491-21dump-pmu-power2
15830992015,3cyclictest20072-21sed2
15830992014,4cyclictest31898-21awk2
1583099201,17cyclictest27761-21latency_hist2
1583099201,16cyclictest0-21swapper/22
15826992015,3cyclictest6213-21/usr/sbin/munin1
15826992015,3cyclictest32080-21/usr/sbin/munin1
15826992015,3cyclictest26878-21sed1
15826992015,2cyclictest9868-21aten2_r9power_e1
15826992014,4cyclictest3373-21seq1
15826992014,4cyclictest32129-21seq1
15826992014,4cyclictest2930-21ls1
15826992014,4cyclictest28898-21ntp_states1
15826992014,4cyclictest23157-21cat1
15826992014,4cyclictest19357-21awk1
15826992014,4cyclictest10851-21seq1
15826992014,3cyclictest531-21seq1
15826992013,4cyclictest7145-21grep1
15826992013,4cyclictest7145-21grep1
1582699201,16cyclictest7324-21basename1
1582699201,16cyclictest20646-21apt1
1582699200,17cyclictest10990-21expr1
1582399203,10cyclictest29501-21apt-get0
1582399202,11cyclictest15282-21taskset0
15823992018,1cyclictest0-21swapper/00
15823992017,2cyclictest0-21swapper/00
15823992016,2cyclictest25981-21/usr/sbin/munin0
15823992015,3cyclictest28573-21sed0
15823992015,3cyclictest12133-21sed0
15823992014,4cyclictest22483-21cut0
15823992014,4cyclictest13647-21dump-pmu-power0
15823992013,4cyclictest7184-21head0
15823992013,4cyclictest27337-21cat0
15823992010,6cyclictest505-21dbus-daemon0
1583099193,9cyclictest12926-21apt-get2
1583099193,11cyclictest19495-21apt-get2
1583099191,6cyclictest21956-21apt-get2
15830991914,3cyclictest1223-21aten2.4-expect2
15830991913,4cyclictest31851-21dump-pmu-power2
15830991912,4cyclictest18011-21latency_hist2
1583099191,16cyclictest17205-21latency_hist2
1583099190,3cyclictest17279-1kworker/2:0H2
1582699193,4cyclictest21-21ksoftirqd/11
15826991916,2cyclictest0-21swapper/11
15826991915,2cyclictest23529-21aten2_r9power_v1
15826991914,3cyclictest5143-21seq1
15826991914,3cyclictest31602-21seq1
15826991914,3cyclictest31223-21cat1
15826991914,3cyclictest2742-21apt-get1
15826991914,3cyclictest25432-21/usr/sbin/munin1
15826991914,3cyclictest24962-21/usr/sbin/munin1
15826991914,3cyclictest24113-21/usr/sbin/munin1
15826991914,3cyclictest22017-21grep1
15826991914,3cyclictest20291-21cat1
15826991914,3cyclictest19999-21find1
15826991914,3cyclictest15401-21/usr/sbin/munin1
15826991913,4cyclictest5521-21cat1
15826991913,3cyclictest16274-21tr1
15823991915,2cyclictest13343-21/usr/sbin/munin0
15823991914,3cyclictest665-21runrttasks0
15823991914,3cyclictest3584-21diskstats0
15823991914,3cyclictest3065-21awk0
15823991914,3cyclictest24821-21cat0
15823991913,4cyclictest24547-21cat0
15823991913,4cyclictest23427-21apt-get0
15823991913,4cyclictest14116-21cat0
15823991913,3cyclictest20782-21sh0
15823991912,4cyclictest505-21dbus-daemon0
15823991912,4cyclictest505-21dbus-daemon0
15823991912,4cyclictest16261-21tr0
15823991912,4cyclictest1440-21perf0
1583099187,9cyclictest8041-21missed_timers2
1583099182,9cyclictest1682-21apt-get2
15830991814,2cyclictest31437-21cat2
15830991814,2cyclictest29237-21latency_hist2
15830991811,4cyclictest19368-21grep2
1583099181,14cyclictest0-21swapper/22
15826991816,1cyclictest0-21swapper/11
15826991814,2cyclictest8878-21cstates1
15826991814,2cyclictest11835-21/usr/sbin/munin1
15826991813,3cyclictest6475-21cat1
15826991813,3cyclictest5816-21seq1
15826991813,3cyclictest32548-21/usr/sbin/munin1
15826991813,3cyclictest29912-21expr1
15826991813,3cyclictest28861-21expr1
15826991813,3cyclictest27731-21seq1
15826991813,3cyclictest22154-21cat1
15826991813,3cyclictest17793-21ls1
15826991813,3cyclictest14251-21cat1
15826991813,3cyclictest14102-21missed_timers1
15826991812,4cyclictest19744-21cat1
15826991812,3cyclictest10115-21cat1
1582699180,16cyclictest0-21swapper/11
15823991816,1cyclictest0-21swapper/00
15823991816,1cyclictest0-21swapper/00
15823991815,2cyclictest0-21swapper/00
15823991813,3cyclictest9280-21/usr/sbin/munin0
15823991813,3cyclictest665-21runrttasks0
15823991813,3cyclictest6040-21cat0
15823991813,3cyclictest6040-21cat0
15823991813,3cyclictest20354-21ntpq0
15823991813,3cyclictest19551-21cat0
15823991813,3cyclictest13128-21cat0
15823991813,3cyclictest11746-21grep0
15823991813,3cyclictest11724-21/usr/sbin/munin0
15823991812,4cyclictest28472-21/usr/sbin/munin0
15823991812,4cyclictest2224-21cat0
15823991812,4cyclictest18639-21grep0
15823991812,4cyclictest10429-21sed0
1582399180,17cyclictest11542-21kworker/0:00
15830991715,1cyclictest0-21swapper/22
1583099171,14cyclictest14281-21grep2
1583099170,15cyclictest0-21swapper/22
1583099170,15cyclictest0-21swapper/22
15826991713,2cyclictest7351-21/usr/sbin/munin1
15826991712,3cyclictest22827-21sed1
1582399172,8cyclictest5193-21apt-get0
15823991715,1cyclictest0-21swapper/00
15823991715,1cyclictest0-21swapper/00
15823991714,2cyclictest0-21swapper/00
15823991713,2cyclictest32548-21/usr/sbin/munin0
15823991712,3cyclictest665-21runrttasks0
15823991712,3cyclictest18649-21head0
15823991712,3cyclictest15870-21entropy0
15823991712,3cyclictest13792-21cat0
15823991711,4cyclictest9-21ksoftirqd/00
15823991711,4cyclictest26098-21kernelversion0
15823991711,4cyclictest23323-21sendmail0
15823991711,4cyclictest18898-21ls0
15823991711,4cyclictest17804-21ls0
15823991710,5cyclictest24415-21tr0
1582399170,15cyclictest0-21swapper/00
15826991612,2cyclictest13781-21/usr/sbin/munin1
15823991610,4cyclictest26966-21grep0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional