You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-22 - 10:23

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Sat Nov 22, 2025 00:39:46)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2299695995645,8cyclictest1-21systemd21:45:012
2299693995336,7cyclictest12450irq/32-eth023:39:120
2299694995243,5cyclictest2465710-21latency_hist00:00:031
2299694995243,5cyclictest2465710-21latency_hist00:00:031
2299693995245,3cyclictest0-21swapper/022:00:010
2299693994940,5cyclictest2365978-21grep21:49:230
2299693994933,12cyclictest2381690-21latency_hist22:10:020
2299695994838,6cyclictest2450452-21ls23:40:012
2299694994838,7cyclictest1-21systemd00:15:011
2299694994837,7cyclictest453-21systemd-logind19:30:021
2299693994832,8cyclictest12450irq/32-eth020:24:120
2299694994735,8cyclictest2326268-21mailstats20:39:221
2299695994532,10cyclictest2453017-21latency23:44:102
2299695994532,10cyclictest2453017-21latency23:44:102
229969499456,31cyclictest2338688-21ssh21:14:111
2299694994537,5cyclictest2446640-21munin-plugin-st23:35:011
2299695994436,5cyclictest2469371-21munin-plugin-st00:05:012
2299695994435,6cyclictest2308671-21grep19:40:012
229969599441,38cyclictest2365380-21ssh21:49:112
2299694994436,5cyclictest2415992-21systemd-run22:55:011
2299695994335,4cyclictest0-21swapper/200:00:022
2299695994335,4cyclictest0-21swapper/200:00:022
2299695994335,3cyclictest0-21swapper/219:24:162
2299695994333,6cyclictest421-21avahi-daemon22:55:092
2299694994335,5cyclictest2404534-21sendmail22:40:011
229969499431,35cyclictest2384482-21ssh22:14:111
229969499424,31cyclictest2460759-21ssh23:54:091
2299693994234,5cyclictest2302668-21cron19:20:000
2299693994232,5cyclictest0-21swapper/022:29:030
2299693994232,5cyclictest0-21swapper/022:29:030
2299693994228,11cyclictest2308377-21switchtime19:39:200
2299695994132,6cyclictest421-21avahi-daemon23:03:582
2299694994131,7cyclictest2400693-21cron22:35:001
2299694994131,7cyclictest2400693-21cron22:35:001
2299694994131,6cyclictest2465701-21cups-browsed00:29:161
2299693994135,4cyclictest2423661-21latency_hist23:05:020
2299693994130,8cyclictest2334369-21latency_hist21:05:020
2299695994032,5cyclictest2318218-21fschecks_time20:14:022
2299695994029,7cyclictest955-21mta-sts-daemon21:39:442
229969599402,32cyclictest2457073-21ssh23:49:142
229969599402,32cyclictest2457073-21ssh23:49:142
2299694994031,6cyclictest2354439-21unixbench-2d21:34:261
2299694994030,6cyclictest491530-21cups-browsed23:13:531
2299693994032,5cyclictest491530-21cups-browsed21:29:060
2299693994031,6cyclictest959-21mta-sts-daemon00:39:270
2299693994015,16cyclictest657-21snmpd19:24:170
2299693994011,23cyclictest491530-21cups-browsed23:59:120
2299693994011,23cyclictest491530-21cups-browsed23:59:120
2299693994010,24cyclictest657-21snmpd22:19:130
229969599397,16cyclictest2335673-21diskmemload22:19:022
2299694993933,3cyclictest0-21swapper/121:00:011
2299694993931,5cyclictest2418364-21fschecks_count22:59:041
2299693993932,3cyclictest2358738-21kworker/u8:15-rpciod22:54:070
2299693993928,4cyclictest2335878-21latency_hist21:10:030
229969399392,29cyclictest2407376-21ssh22:44:110
2299695993829,6cyclictest453-21systemd-logind19:30:012
2299695993828,7cyclictest453-21systemd-logind00:20:012
2299694993831,3cyclictest0-21swapper/123:29:181
2299694993830,5cyclictest2389294-21idleruntime-cro22:20:011
2299694993830,5cyclictest2320714-21systemd-run20:20:011
2299693993829,6cyclictest2429225-21kworker/u8:6-rpciod23:14:220
2299693993829,5cyclictest2445563-21needreboot23:34:090
2299693993826,5cyclictest2324574-21ntpq20:34:120
229969599373,26cyclictest2441834-21ssh23:29:162
2299695993729,5cyclictest2301714-21fschecks_count19:19:052
2299694993729,5cyclictest422-21dbus-daemon19:15:011
2299694993729,5cyclictest2480131-21diskmemload00:20:011
2299694993728,6cyclictest491502-21cupsd21:24:071
2299694993728,5cyclictest422-21dbus-daemon21:35:521
2299694993727,5cyclictest0-21swapper/100:04:181
2299694993718,8cyclictest171rcu_preempt00:09:081
2299694993718,8cyclictest171rcu_preempt00:09:081
2299693993731,4cyclictest2446655-21kworker/u8:2+xprtiod00:04:080
2299693993727,7cyclictest2488848-21latency00:34:080
2299693993726,8cyclictest2384886-21ssh22:14:220
2299693993726,6cyclictest2326040-21ntpq20:39:130
2299693993713,15cyclictest2425428-21ssh23:08:250
2299695993628,5cyclictest2486635-21ssh00:30:012
2299695993627,6cyclictest491-21gdbus20:20:012
2299695993627,6cyclictest2325203-21latency_hist20:35:032
229969499363,27cyclictest2426484-21ssh23:09:131
2299694993628,5cyclictest2449376-21grep23:39:091
2299694993624,9cyclictest2395789-21missed_timers22:29:081
2299694993624,9cyclictest2395789-21missed_timers22:29:081
2299693993629,4cyclictest2393095-21cron22:25:010
2299693993629,4cyclictest2393095-21cron22:25:010
2299693993629,3cyclictest0-21swapper/020:49:150
2299693993627,5cyclictest2473107-21systemd-run00:10:010
2299693993627,5cyclictest2473107-21systemd-run00:10:010
2299693993612,7cyclictest2335673-21diskmemload23:45:360
2299693993612,7cyclictest2335673-21diskmemload23:45:360
2299693993612,18cyclictest2376819-21ssh22:04:110
2299693993611,17cyclictest0-21swapper/020:44:120
229969599354,24cyclictest2430454-21ssh23:14:232
2299695993528,3cyclictest0-21swapper/223:20:022
2299695993527,5cyclictest0-21swapper/223:35:012
2299694993530,3cyclictest0-21swapper/119:35:011
2299694993529,3cyclictest0-21swapper/121:55:011
2299694993527,5cyclictest957-21mta-sts-daemon22:25:021
2299694993527,5cyclictest957-21mta-sts-daemon22:25:021
2299694993527,5cyclictest2343384-21cron21:20:001
2299694993527,5cyclictest2314654-21cron20:00:011
2299694993527,5cyclictest2314654-21cron20:00:011
2299694993527,5cyclictest2313117-21unixbench_singl19:54:231
2299694993526,6cyclictest955-21mta-sts-daemon20:29:131
2299694993525,4cyclictest0-21swapper/121:59:151
2299694993524,8cyclictest2454194-21latency_hist23:45:031
2299694993524,8cyclictest2454194-21latency_hist23:45:031
229969499352,26cyclictest2437975-21ssh23:24:151
2299694993521,9cyclictest491530-21cups-browsed22:42:291
2299693993529,4cyclictest2345631-21aten_r2power_fr21:24:030
2299693993529,4cyclictest2314697-21kworker/u8:1+xprtiod20:20:010
2299693993522,11cyclictest2435852-21ssh23:21:090
2299693993521,8cyclictest2342489-21ntpq21:19:170
2299693993511,9cyclictest2474531-21rm00:13:030
2299693993511,7cyclictest2459459-21rm23:52:420
2299693993510,12cyclictest2362223-21ssh21:44:230
2299695993427,4cyclictest959-21mta-sts-daemon22:45:232
2299695993427,4cyclictest955-21mta-sts-daemon21:21:552
2299695993425,6cyclictest491530-21cups-browsed22:21:002
2299695993425,6cyclictest491530-21cups-browsed22:21:002
2299695993424,7cyclictest956-21mta-sts-daemon21:54:102
2299695993423,8cyclictest2415433-21timerandwakeup22:54:252
2299695993423,8cyclictest2377388-21unixbench-2d22:04:242
2299695993423,7cyclictest266-21systemd-journal23:06:222
2299695993420,10cyclictest2395850-21needreboot22:29:102
2299695993420,10cyclictest2395850-21needreboot22:29:102
2299695993419,3cyclictest0-21swapper/222:38:322
229969499344,24cyclictest2465701-21cups-browsed00:34:141
2299694993426,5cyclictest956-21mta-sts-daemon21:44:101
2299694993426,5cyclictest491530-21cups-browsed22:49:281
2299694993425,6cyclictest2381650-21munin-plugin-st22:10:011
2299693993425,4cyclictest2399857-21ntpq22:34:170
2299693993425,4cyclictest2399857-21ntpq22:34:170
2299693993421,8cyclictest2315625-21ntpq20:04:150
2299693993419,11cyclictest2486085-21sensors_temp00:29:210
229969399341,27cyclictest2479235-21ssh00:19:140
2299693993412,17cyclictest422-21dbus-daemon23:17:220
229969599332,24cyclictest2460794-21ssh23:54:102
2299695993321,9cyclictest1-21systemd22:09:012
2299694993325,5cyclictest2317787-21latency_hist20:10:021
2299694993325,3cyclictest0-21swapper/123:49:221
2299694993325,3cyclictest0-21swapper/123:49:221
2299694993324,5cyclictest2308613-21unixbench_singl19:39:211
2299694993323,6cyclictest421-21avahi-daemon20:22:271
229969399339,7cyclictest422-21dbus-daemon21:54:210
2299693993322,7cyclictest2314111-21ntpq19:59:130
2299693993322,7cyclictest2314111-21ntpq19:59:130
2299693993322,7cyclictest2311145-21ntpq19:49:130
2299693993322,6cyclictest2411285-21ntpq22:49:160
2299693993321,8cyclictest2300669-21ntpq19:14:140
2299693993320,8cyclictest2317062-21ntpq20:09:110
2299693993320,8cyclictest2306570-21ntpq19:34:120
2299693993316,15cyclictest2481037-21ssh00:22:000
2299693993316,14cyclictest2331672-21df20:59:030
2299695993226,3cyclictest0-21swapper/219:35:012
2299695993225,4cyclictest2331135-21unixbench_singl20:54:212
2299695993225,4cyclictest2331135-21unixbench_singl20:54:212
2299695993225,3cyclictest0-21swapper/222:34:142
2299695993225,3cyclictest0-21swapper/222:34:142
2299695993220,7cyclictest0-21swapper/200:39:162
2299694993224,5cyclictest491530-21cups-browsed23:01:011
2299694993222,7cyclictest421-21avahi-daemon22:00:161
2299693993222,4cyclictest2330532-21ntpq20:54:080
2299693993222,4cyclictest2330532-21ntpq20:54:080
2299693993222,4cyclictest2305132-21ntpq19:29:150
2299693993221,7cyclictest2441888-21ntpq23:29:180
2299693993221,7cyclictest2418903-21ntpq22:59:170
2299693993221,7cyclictest2318535-21ntpq20:14:080
2299693993220,7cyclictest2309558-21ntpq19:44:140
2299693993218,11cyclictest2451130-21ssh23:41:010
2299693993218,11cyclictest2451130-21ssh23:41:010
2299693993217,13cyclictest2351995-21ssh21:31:370
2299693993216,7cyclictest2402452-21ssh22:38:170
2299695993126,2cyclictest0-21swapper/200:25:012
2299695993124,4cyclictest698-21cron22:45:012
2299695993123,5cyclictest491530-21cups-browsed20:48:532
2299695993123,5cyclictest2322201-21systemd-run20:25:022
2299695993122,6cyclictest421-21avahi-daemon21:55:522
229969599312,23cyclictest2472120-21rm00:09:112
229969599312,23cyclictest2472120-21rm00:09:112
2299695993121,6cyclictest2342133-21if_eth021:19:092
2299694993126,2cyclictest0-21swapper/121:50:011
2299694993125,3cyclictest0-21swapper/121:10:011
2299694993123,5cyclictest491530-21cups-browsed19:49:131
2299694993123,5cyclictest2493029-21unixbench_multi00:39:261
2299694993123,5cyclictest2349707-21grep21:29:101
2299694993122,6cyclictest2302718-21systemd-run19:20:011
2299693993123,4cyclictest2312572-21ntpq19:54:120
2299693993122,6cyclictest2336740-21ssh21:11:380
2299693993121,7cyclictest2323055-21ntpq20:29:090
2299693993117,9cyclictest2356854-21ssh21:38:450
2299695993023,4cyclictest0-21swapper/221:00:012
2299695993022,6cyclictest2314707-21munin-run20:00:012
2299695993022,6cyclictest2314707-21munin-run20:00:012
2299695993022,6cyclictest0-21swapper/221:14:012
2299695993022,5cyclictest2489498-21timerwakeupswit00:34:242
2299695993022,5cyclictest2437665-21ssh23:24:092
2299694993025,2cyclictest0-21swapper/123:20:011
2299694993024,3cyclictest0-21swapper/119:25:011
2299694993022,5cyclictest422-21dbus-daemon20:05:011
2299694993021,6cyclictest2328719-21fschecks_count20:49:051
2299695992923,3cyclictest0-21swapper/200:14:222
2299695992921,5cyclictest433-21polkitd22:10:322
229969499291,25cyclictest1-21systemd00:25:011
229969699281,8cyclictest0-21swapper/320:04:163
229969599286,14cyclictest437-21mta-sts-daemon21:04:152
2299695992822,3cyclictest0-21swapper/220:45:012
2299695992820,4cyclictest2325728-21gltestperf20:39:082
2299695992819,6cyclictest491502-21cupsd21:07:582
2299694992818,7cyclictest0-21swapper/120:45:011
229969699272,8cyclictest0-21swapper/322:14:123
2299695992721,3cyclictest0-21swapper/221:30:012
2299695992719,5cyclictest2354835-21munin-run21:35:012
2299695992719,5cyclictest2316202-21true20:05:012
2299695992718,6cyclictest2323672-21cron20:30:012
2299695992718,6cyclictest2300223-21fschecks_time19:14:022
2299694992719,5cyclictest2331163-21latency_hist20:55:011
2299694992719,5cyclictest2331163-21latency_hist20:55:011
2299694992718,6cyclictest956-21mta-sts-daemon19:44:201
2299694992613,9cyclictest422-21dbus-daemon20:35:021
2299693992620,3cyclictest2299753-21latency_hist19:10:020
2299693992620,3cyclictest2299753-21latency_hist19:10:020
229969699256,4cyclictest0-21swapper/321:29:203
2299695992515,7cyclictest2312501-21needreboot19:54:092
2299694992418,3cyclictest0-21swapper/120:14:201
229969599234,13cyclictest437-21mta-sts-daemon19:49:152
2299694992318,3cyclictest2299692-21cyclictest21:04:201
2299695992217,2cyclictest0-21swapper/220:09:152
2299695992215,4cyclictest2309478-21missed_timers19:44:112
229969699214,7cyclictest0-21swapper/300:09:143
229969699214,7cyclictest0-21swapper/300:09:143
2299695991914,2cyclictest0-21swapper/219:10:012
2299695991914,2cyclictest0-21swapper/219:10:012
229969699183,8cyclictest0-21swapper/323:54:093
229969699183,8cyclictest0-21swapper/321:24:183
229969699181,9cyclictest0-21swapper/321:19:153
229969499182,12cyclictest2299646-21/usr/sbin/munin19:10:011
229969499182,12cyclictest2299646-21/usr/sbin/munin19:10:011
229969699173,8cyclictest0-21swapper/321:54:223
229969699173,7cyclictest0-21swapper/322:29:143
229969699173,7cyclictest0-21swapper/322:29:143
229969699172,10cyclictest0-21swapper/300:24:153
229969699171,9cyclictest0-21swapper/322:34:103
229969699171,9cyclictest0-21swapper/322:34:103
229969699164,7cyclictest0-21swapper/322:39:133
229969699163,8cyclictest0-21swapper/323:44:203
229969699163,8cyclictest0-21swapper/323:44:203
229969699163,8cyclictest0-21swapper/300:04:153
229969699162,9cyclictest0-21swapper/322:54:143
229969699162,8cyclictest0-21swapper/300:14:113
229969699162,7cyclictest0-21swapper/323:49:113
229969699162,7cyclictest0-21swapper/323:49:113
229969699155,6cyclictest0-21swapper/322:44:113
229969699153,7cyclictest0-21swapper/322:04:133
229969699153,6cyclictest0-21swapper/321:34:173
229969699153,5cyclictest0-21swapper/323:24:063
229969699152,9cyclictest0-21swapper/322:24:113
229969699152,9cyclictest0-21swapper/322:24:113
229969699152,8cyclictest0-21swapper/323:34:143
229969699152,8cyclictest0-21swapper/323:09:093
229969699152,6cyclictest0-21swapper/319:19:113
229969699151,9cyclictest0-21swapper/321:14:113
229969699151,9cyclictest0-21swapper/300:29:143
229969699151,8cyclictest0-21swapper/322:09:173
229969699151,8cyclictest0-21swapper/321:59:153
229969699151,7cyclictest0-21swapper/321:10:023
229969699151,7cyclictest0-21swapper/319:44:153
229969699144,7cyclictest0-21swapper/322:49:193
229969699143,5cyclictest0-21swapper/321:04:113
229969699143,4cyclictest0-21swapper/320:49:123
229969699143,4cyclictest0-21swapper/319:49:123
229969699142,8cyclictest0-21swapper/323:19:093
229969699142,8cyclictest0-21swapper/323:00:233
229969699142,8cyclictest0-21swapper/322:59:143
229969699142,7cyclictest0-21swapper/323:59:023
229969699142,7cyclictest0-21swapper/323:59:023
229969699142,7cyclictest0-21swapper/322:19:133
229969699142,7cyclictest0-21swapper/321:49:053
229969699142,7cyclictest0-21swapper/321:44:163
229969699142,7cyclictest0-21swapper/300:39:033
229969699141,8cyclictest0-21swapper/323:39:123
229969699141,8cyclictest0-21swapper/323:29:153
229969699141,8cyclictest0-21swapper/323:14:293
229969699141,8cyclictest0-21swapper/321:39:213
229969699141,7cyclictest0-21swapper/320:34:133
229969699141,7cyclictest0-21swapper/300:19:133
229969699141,6cyclictest0-21swapper/319:24:113
229969699133,4cyclictest0-21swapper/320:29:103
229969699132,7cyclictest0-21swapper/320:19:213
229969699132,6cyclictest0-21swapper/300:34:113
229969699132,5cyclictest0-21swapper/319:59:083
229969699132,5cyclictest0-21swapper/319:59:083
229969699132,5cyclictest0-21swapper/319:34:123
229969699131,7cyclictest0-21swapper/319:29:143
229969699131,6cyclictest0-21swapper/320:54:103
229969699131,6cyclictest0-21swapper/320:54:103
229969699131,6cyclictest0-21swapper/320:44:113
229969699131,6cyclictest0-21swapper/320:09:143
229969699122,5cyclictest0-21swapper/320:14:083
229969699122,4cyclictest0-21swapper/319:54:103
229969699121,6cyclictest0-21swapper/320:39:133
229969699121,6cyclictest0-21swapper/319:39:093
229969699120,6cyclictest0-21swapper/320:59:113
229969699113,5cyclictest0-21swapper/319:14:103
229969699111,6cyclictest0-21swapper/320:24:143
22996969991,5cyclictest0-21swapper/319:10:023
22996969991,5cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional