You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-12-09 - 09:52
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2 (updated Sat Dec 09, 2023 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
266752299231,57sleep20-21swapper/22
2815399287282,3cyclictest0-21swapper/00
277092287173,25sleep10-21swapper/11
278122266182,49sleep00-21swapper/00
2816599265259,3cyclictest0-21swapper/33
277482262186,63sleep30-21swapper/33
2815799207200,5cyclictest30216-21latency_hist1
2816199175169,4cyclictest30116-21munin-node2
418621530,4sleep32816599cyclictest3
175682570,2sleep12815799cyclictest1
130352430,2sleep20-21swapper/22
28161992912,14cyclictest12771-21latency_hist2
71622280,2sleep20-21swapper/22
28165992823,3cyclictest35-21ksoftirqd/33
317452250,1sleep00-21swapper/00
28153992511,3cyclictest111rcu_preempt0
28161992417,4cyclictest31440-21cut2
2816199237,2cyclictest16687-21latency_hist2
2816199234,17cyclictest24875-21cat2
28161992318,3cyclictest17335-21cut2
28161992311,3cyclictest85952date2
28157992318,3cyclictest21-21ksoftirqd/11
323802220,1sleep30-21swapper/33
28165992214,5cyclictest505-21dbus-daemon3
2816599221,19cyclictest30761-21kworker/3:03
28161992216,3cyclictest24541-21cron2
28161992211,9cyclictest20189-21users2
2816199221,18cyclictest28774-21/usr/sbin/munin2
2815799224,15cyclictest27504-21tail1
28157992216,4cyclictest18983-21acpi1
28153992217,3cyclictest29829-21/usr/sbin/munin0
28165992116,3cyclictest23536-21gltestperf3
28165992115,4cyclictest1151-21df_inode3
28165992112,5cyclictest12748-21apt-get3
2816599210,18cyclictest596-21cron3
2816199213,16cyclictest6872-21cat2
28161992115,4cyclictest19650-21cut2
2816199211,4cyclictest16731-21cron2
28161992114,4cyclictest11770-21grep2
2816199211,18cyclictest16920-1kworker/2:2H2
2816199211,17cyclictest2082-21systemd-journal2
2816199210,3cyclictest28579-21latency_hist2
2816199210,3cyclictest10308-21users2
28157992115,4cyclictest6714-21apt1
28153992113,6cyclictest165051sendmail0
2815399210,19cyclictest0-21swapper/00
28165992014,4cyclictest27441-21cat3
28165992014,4cyclictest27325-21wc3
28165992014,4cyclictest12112-21cat3
2816199203,16cyclictest6363-21awk2
2816199202,17cyclictest28829-21munin-run2
28161992016,2cyclictest10215-21latency_hist2
28161992015,3cyclictest30843-21perf2
28161992015,3cyclictest25340-21cstates2
28161992015,3cyclictest23862-21ntp_offset2
28161992014,4cyclictest6522-21date2
28161992014,4cyclictest22500-21seq2
28161992014,4cyclictest14621-21cut2
28161992014,3cyclictest1063-21gltestperf2
28161992013,4cyclictest31793-21grep2
2816199201,2cyclictest26813-21cron2
2816199201,17cyclictest26588-21apt2
2816199201,17cyclictest24823-21apt2
2816199200,18cyclictest29057-21munin-run2
2815799202,15cyclictest23269-21cut1
28157992016,2cyclictest4857-21cpu1
28157992016,2cyclictest31742-21df1
28157992015,3cyclictest24999-21/usr/sbin/munin1
28157992015,3cyclictest13347-21ntpq1
28157992015,3cyclictest12727-21cron1
28157992014,4cyclictest32517-21seq1
28157992013,4cyclictest6814-21cat1
28153992015,3cyclictest3617-21timerandwakeup0
28153992015,3cyclictest15918-21proc_pri0
28153992015,3cyclictest12688-21dump-pmu-power0
28153992014,4cyclictest4729-21idleruntime-cro0
28153992014,4cyclictest28624-21sendmail-mta0
28153992014,4cyclictest20731-21cat0
28153992014,4cyclictest11856-21ntpq0
28153992014,3cyclictest14249-21idleruntime-cro0
28153992013,5cyclictest12236-21cron0
2815399200,17cyclictest25917-21ntpq0
2816599193,9cyclictest19000-21apt-get3
28165991917,1cyclictest0-21swapper/33
28165991915,2cyclictest4648-21aten2_r9power_e3
28165991915,2cyclictest21638-21irqstats3
28165991914,3cyclictest8728-21/usr/sbin/munin3
28165991914,3cyclictest7346-21memory3
28165991914,3cyclictest2718-21sh3
28165991914,3cyclictest17259-21diskstats3
28165991913,4cyclictest7639-21sed3
28165991913,4cyclictest28875-21sed3
28165991913,4cyclictest23437-21diskstats3
28165991913,4cyclictest21322-21expr3
28165991913,4cyclictest13352-21cat3
28165991913,3cyclictest8582-21aten2.4-expect3
28165991913,3cyclictest32368-21timerwakeupswit3
28165991912,5cyclictest505-21dbus-daemon3
28165991912,4cyclictest22550-21sh3
28165991912,4cyclictest2082-21systemd-journal3
28165991911,5cyclictest505-21dbus-daemon3
2816199192,13cyclictest981-21apt-get2
28161991916,2cyclictest0-21swapper/22
28161991915,2cyclictest6468-21apt-get2
28161991915,2cyclictest25451-21sh2
28161991914,3cyclictest9210-21cpuspeed2
28161991914,3cyclictest9210-21cpuspeed2
28161991914,3cyclictest3360-21irqstats2
28161991914,3cyclictest32242-21timerwakeupswit2
28161991914,3cyclictest31767-21ntpq2
28161991914,3cyclictest29930-21wc2
28161991914,3cyclictest15068-21expr2
28161991914,3cyclictest13785-21ntp_kernel_err2
28161991913,4cyclictest1355-21interrupts2
28161991913,4cyclictest12704-21date2
2816199191,16cyclictest6205-21latency_hist2
2816199190,17cyclictest4482-1kworker/2:3H2
28157991915,2cyclictest29082-21/usr/sbin/munin1
28157991915,2cyclictest25015-21/usr/sbin/munin1
28157991915,2cyclictest16761-21/usr/sbin/munin1
28157991914,3cyclictest8944-21http1
28157991914,3cyclictest7466-21sed1
28157991914,3cyclictest6857-21expr1
28157991914,3cyclictest30881-21/usr/sbin/munin1
28157991914,3cyclictest29416-21expr1
28157991914,3cyclictest26820-21/usr/sbin/munin1
28157991914,3cyclictest24825-21/usr/sbin/munin1
28157991914,3cyclictest23052-21/usr/sbin/munin1
28157991914,3cyclictest22818-21apt-get1
28157991914,3cyclictest17017-21http1
28157991914,3cyclictest14722-21/usr/sbin/munin1
28157991914,3cyclictest10230-21idleruntime-cro1
28157991913,4cyclictest31150-21cut1
28157991913,4cyclictest2893-21cut1
28157991913,4cyclictest27331-21grep1
28157991913,4cyclictest22917-21wc1
28157991913,4cyclictest22542-21seq1
28157991913,4cyclictest10929-21/usr/sbin/munin1
28157991913,3cyclictest31238-21aten2_r9power_p1
28157991913,3cyclictest30039-21sh1
28153991916,2cyclictest0-21swapper/00
28153991915,2cyclictest7657-21sed0
28153991915,2cyclictest22973-21/usr/sbin/munin0
28153991915,2cyclictest17013-21/usr/sbin/munin0
28153991914,3cyclictest8980-21/usr/sbin/munin0
28153991914,3cyclictest8980-21/usr/sbin/munin0
28153991914,3cyclictest7252-21cut0
28153991914,3cyclictest6506-21cat0
28153991914,3cyclictest5497-21grep0
28153991914,3cyclictest28939-21sed0
28153991914,3cyclictest20999-21apt0
28153991914,3cyclictest20742-21cron0
28153991913,4cyclictest26887-21date0
28153991913,4cyclictest14813-21cat0
28153991913,3cyclictest665-21runrttasks0
28153991913,3cyclictest3034-21sh0
28153991913,3cyclictest2082-21systemd-journal0
28153991910,8cyclictest9-21ksoftirqd/00
28165991814,2cyclictest20246-21sed3
28165991813,3cyclictest665-21runrttasks3
28165991813,3cyclictest6084-21sed3
28165991813,3cyclictest4993-21aten2_r9power_c3
28165991813,3cyclictest334-21perf3
28165991813,3cyclictest26259-21cat3
28165991813,3cyclictest25819-21ps3
28165991813,3cyclictest18254-21unixbench-2d3
28165991813,3cyclictest16728-21date3
28165991813,3cyclictest1209-21if_enp3s03
28165991813,3cyclictest11387-21irqstats3
28165991813,3cyclictest11387-21irqstats3
2816599181,15cyclictest0-21swapper/33
2816599180,16cyclictest0-21swapper/33
2816599180,16cyclictest0-21swapper/33
28161991815,2cyclictest12243-21awk2
28161991814,2cyclictest9626-21ntp_states2
28161991814,2cyclictest21161-21cstates2
28161991814,2cyclictest16994-21/usr/sbin/munin2
2816199181,3cyclictest4375-21latency_hist2
28161991813,3cyclictest665-21runrttasks2
28161991813,3cyclictest2364-21cat2
28161991812,4cyclictest30067-21load2
28161991812,4cyclictest29252-21cat2
28161991812,4cyclictest10333-21gdbus2
28161991811,5cyclictest18323-21seq2
28161991810,4cyclictest6967-21apt-get2
2816199180,2cyclictest14238-21apt-get2
2815799188,7cyclictest6721-21apt-get1
2815799188,6cyclictest25091-21apt-get1
2815799187,7cyclictest9001-21apt-get1
2815799187,7cyclictest9001-21apt-get1
28157991816,1cyclictest0-21swapper/11
28157991816,1cyclictest0-21swapper/11
28157991816,1cyclictest0-21swapper/11
28157991816,1cyclictest0-21swapper/11
28157991816,1cyclictest0-21swapper/11
28157991814,2cyclictest18808-21/usr/sbin/munin1
28157991814,2cyclictest13581-21irqstats1
28157991813,3cyclictest8988-21ls1
28157991813,3cyclictest818-21aten2_r9power_p1
28157991813,3cyclictest4345-21cat1
28157991813,3cyclictest31774-21memory1
28157991813,3cyclictest23719-21cat1
28157991813,3cyclictest21855-21ntpq1
28157991813,3cyclictest19873-21ntpq1
28157991813,3cyclictest17013-21/usr/sbin/munin1
28157991813,3cyclictest15335-21cstates1
28157991813,3cyclictest14236-21sed1
28157991812,4cyclictest28644-21grep1
28157991812,4cyclictest2732-21http1
28157991812,4cyclictest13487-21memory1
28153991816,1cyclictest0-21swapper/00
28153991816,1cyclictest0-21swapper/00
28153991815,2cyclictest0-21swapper/00
28153991815,2cyclictest0-21swapper/00
28153991814,2cyclictest8800-21apt-config0
28153991814,2cyclictest4724-21apt0
28153991814,2cyclictest439-21/usr/sbin/munin0
28153991814,2cyclictest19056-21/usr/sbin/munin0
28153991814,2cyclictest16002-21sed0
28153991813,3cyclictest665-21runrttasks0
28153991813,3cyclictest31819-21df0
28153991813,3cyclictest29441-21aten2_r9power_v0
28153991813,3cyclictest23553-21cut0
28153991813,3cyclictest21768-21ls0
28153991813,3cyclictest16900-21hostname0
28153991813,3cyclictest14985-21/usr/sbin/munin0
28153991813,3cyclictest12730-21/usr/sbin/munin0
28153991813,3cyclictest10672-21wc0
28153991812,4cyclictest31055-21aten2_r9power_c0
28153991812,4cyclictest28149-21grep0
28153991812,4cyclictest26702-21date0
28153991812,3cyclictest29183-21cpu0
28153991812,3cyclictest25380-21expr0
28153991812,3cyclictest23385-21expr0
2816599173,8cyclictest6721-21apt-get3
2816599172,9cyclictest25091-21apt-get3
28165991715,1cyclictest0-21swapper/33
28165991714,2cyclictest0-21swapper/33
28165991713,2cyclictest3822-21sed3
28165991713,2cyclictest17031-21apt-get3
28165991713,2cyclictest16761-21/usr/sbin/munin3
28165991712,3cyclictest9386-21expr3
28165991712,3cyclictest9386-21expr3
28165991712,3cyclictest6981-21hostname3
28165991712,3cyclictest665-21runrttasks3
28165991712,3cyclictest16209-21sed3
28165991712,3cyclictest13467-21proc_pri3
28165991712,3cyclictest10043-21cat3
2816599171,1cyclictest0-21swapper/33
28165991711,4cyclictest5532-21wc3
28165991711,4cyclictest2082-21systemd-journal3
28165991710,5cyclictest29638-21gltestperf3
2816199178,6cyclictest16779-21apt-get2
28161991715,1cyclictest0-21swapper/22
28161991712,3cyclictest22832-21basename2
2816199170,15cyclictest0-21swapper/22
28157991715,1cyclictest0-21swapper/11
28157991713,2cyclictest439-21/usr/sbin/munin1
28157991712,3cyclictest4453-21/usr/sbin/munin1
28157991712,3cyclictest2596-21/usr/sbin/munin1
28157991712,3cyclictest22273-21grep1
28157991712,3cyclictest10465-21snmpd1
2815399176,9cyclictest9-21ksoftirqd/00
28153991715,1cyclictest0-21swapper/00
28153991712,3cyclictest9-21ksoftirqd/00
28153991712,3cyclictest665-21runrttasks0
28153991712,3cyclictest2082-21systemd-journal0
28153991712,2cyclictest84712sleep00
28153991711,3cyclictest32547-21timerwakeupswit0
28153991711,3cyclictest1106-21grep0
28165991611,3cyclictest665-21runrttasks3
28165991611,3cyclictest18855-21aten2_r9power_c3
2816599160,1cyclictest0-21swapper/33
28157991612,2cyclictest14552-21apt-config1
28153991611,3cyclictest13235-21cat0
28153991510,3cyclictest18888-21latency_hist0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional