You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-12 - 22:27

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun Apr 12, 2026 12:43:22)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2362460995540,9cyclictest2430631-21ssh09:49:371
2362460995540,9cyclictest2430631-21ssh09:49:371
2362459995441,9cyclictest2430602-40mandb09:49:350
2362459995441,9cyclictest2430602-40mandb09:49:350
236246099513,38cyclictest2415884-21ssh09:30:341
2362459995144,4cyclictest2535964-21sendmail12:00:010
2362459995128,20cyclictest2416180-21mailstats09:30:430
2362460995036,10cyclictest2402527-21/usr/sbin/munin09:15:011
2362461994944,3cyclictest2429569-21kworker/u8:14-xprtiod09:49:382
2362461994944,3cyclictest2429569-21kworker/u8:14-xprtiod09:49:382
2362459994940,6cyclictest421-21dbus-daemon09:20:010
2362459994923,23cyclictest0-21swapper/012:20:280
2362459994838,7cyclictest2467303-21grep10:35:020
2362459994715,28cyclictest421-21dbus-daemon11:42:070
2362459994629,10cyclictest12350irq/32-eth011:10:410
2362459994628,15cyclictest1499375-21cups-browsed11:51:390
236245999462,14cyclictest2432122-21ntpq09:50:400
2362459994621,22cyclictest2489164-21timerwakeupswit11:00:470
2362459994621,22cyclictest2489164-21timerwakeupswit11:00:470
2362460994538,3cyclictest0-21swapper/111:25:371
2362460994537,5cyclictest2440400-21awk10:00:431
2362460994537,5cyclictest1-21systemd07:35:021
2362460994533,9cyclictest2556650-21aten_r2power_en12:25:241
2362460994533,8cyclictest420-21avahi-daemon11:06:541
236246099451,39cyclictest2488617-21ssh11:00:341
236246099451,39cyclictest2488617-21ssh11:00:341
236245999452,16cyclictest2369419-21ntpq07:30:390
2362461994437,3cyclictest0-21swapper/211:10:392
2362461994437,3cyclictest0-21swapper/209:35:012
2362461994436,5cyclictest2523879-21ssh11:45:022
2362461994435,5cyclictest2560945-21fschecks_time12:30:272
2362461994434,6cyclictest2495696-21latency_hist11:10:022
236246199442,34cyclictest2407910-21ssh09:20:412
236246099444,27cyclictest1611641-21munin-node09:55:341
2362461994334,5cyclictest2362470-21systemd-run07:10:012
2362461994330,8cyclictest0-21swapper/211:25:332
2362460994335,5cyclictest2528484-21aten_r2power_vo11:50:261
2362460994335,5cyclictest2460915-21unixbench_multi10:25:461
2362460994334,6cyclictest420-21avahi-daemon11:30:341
2362459994336,4cyclictest12350irq/32-eth009:10:340
2362459994335,5cyclictest2472040-21fschecks_count10:40:280
2362459994332,8cyclictest1-21systemd11:30:010
236245999433,17cyclictest2436087-21ssh09:55:360
2362459994324,16cyclictest0-21swapper/009:40:010
236245999431,12cyclictest2382871-21ntpq08:15:360
236245999422,15cyclictest2451445-21/usr/sbin/munin10:15:490
236245999422,12cyclictest2423935-21ntpq09:40:360
236245999422,10cyclictest2549297-21modprobe12:15:370
2362459994217,22cyclictest0-21swapper/011:20:340
236245999421,13cyclictest2467952-21diskstats10:35:280
2362461994134,3cyclictest0-21swapper/210:30:312
2362461994133,5cyclictest0-21swapper/209:50:372
2362461994130,7cyclictest1-21systemd09:45:022
2362460994133,4cyclictest0-21swapper/111:40:011
2362460994132,6cyclictest2422707-21ssh09:40:011
2362460994128,6cyclictest0-21swapper/109:25:401
236246099412,31cyclictest2407890-21ssh09:20:401
236245999412,34cyclictest2537206-21ssh12:00:400
236245999412,14cyclictest2385826-21ntpq08:25:350
2362459994114,2cyclictest0-21swapper/010:25:350
236245999411,16cyclictest2443712-21df_inode10:05:270
2362459994111,5cyclictest0-21swapper/009:25:410
236245999411,13cyclictest2367845-21ntpq07:25:350
2362461994034,3cyclictest0-21swapper/212:05:442
2362461994033,3cyclictest0-21swapper/212:10:352
2362460994031,5cyclictest1054-21mta-sts-daemon09:54:231
2362460994030,5cyclictest0-21swapper/110:35:351
2362459994033,4cyclictest2476173-21if_wlan010:45:280
2362459994023,14cyclictest0-21swapper/008:30:320
2362459994018,19cyclictest0-21swapper/012:35:390
2362459994017,20cyclictest2556913-21fschecks_time12:25:270
2362459994016,21cyclictest0-21swapper/011:35:010
236245999401,14cyclictest2448839-21vmstat10:10:490
236246199393,31cyclictest2513001-21ssh11:30:372
2362461993931,5cyclictest2393951-21systemd-run08:55:012
2362461993930,7cyclictest2377464-21sh08:00:012
2362461993930,6cyclictest2500355-21fschecks_count11:15:292
2362461993930,5cyclictest0-21swapper/210:15:012
2362460993931,4cyclictest0-21swapper/112:00:411
2362460993931,4cyclictest0-21swapper/111:40:361
2362460993931,4cyclictest0-21swapper/110:50:021
2362460993931,4cyclictest0-21swapper/109:20:001
2362460993930,5cyclictest0-21swapper/110:30:361
2362460993928,5cyclictest0-21swapper/110:17:461
236246099392,27cyclictest2505022-21ssh11:20:421
236245999393,16cyclictest2493018-21sensors11:05:420
2362459993930,5cyclictest0-21swapper/007:55:360
236245999392,8cyclictest2519799-21munin-run11:40:010
236245999392,8cyclictest2364814-21ntpq07:15:330
236245999392,7cyclictest2394815-21ntpq08:55:360
2362459993927,4cyclictest2503638-21munin-plugin-st11:20:010
236245999392,14cyclictest2378318-21ntpq08:00:360
236245999391,16cyclictest2525158-21ntpq11:45:400
236245999391,14cyclictest2484714-21ntpq10:55:390
236245999391,10cyclictest2480561-21awk10:50:360
236246199383,23cyclictest2476500-21diskmemload10:45:342
2362461993830,5cyclictest2535963-21idleruntime-cro12:00:002
2362460993830,4cyclictest2494300-21kworker/u8:7-xprtiod11:10:301
2362460993829,6cyclictest2472155-21if_wlan010:40:301
2362460993829,5cyclictest2371452-21sendmail07:40:011
2362460993827,7cyclictest1499375-21cups-browsed10:12:271
236245999387,3cyclictest0-21swapper/008:10:290
236245999384,3cyclictest0-21swapper/008:50:460
236245999383,8cyclictest2540732-21diskstats12:05:270
2362459993813,6cyclictest12350irq/32-eth012:30:330
2362459993811,3cyclictest0-21swapper/007:15:020
2362461993730,3cyclictest0-21swapper/210:50:362
2362461993729,5cyclictest2414718-21cron09:30:012
236246199372,29cyclictest2517009-21ssh11:35:392
236246099373,31cyclictest2565369-21ssh12:35:371
2362460993732,2cyclictest0-21swapper/108:40:001
2362460993729,3cyclictest0-21swapper/112:15:361
2362460993728,6cyclictest1-21systemd12:15:011
2362460993725,9cyclictest2541542-21sh12:05:471
236245999374,11cyclictest2442588-21sh10:04:140
236245999371,9cyclictest2375489-21ps07:50:410
2362459993714,2cyclictest0-21swapper/008:35:410
2362459993713,2cyclictest0-21swapper/010:20:420
2362459993712,3cyclictest0-21swapper/008:05:450
236245999371,13cyclictest2544644-21aten_r2power_vo12:10:250
2362461993628,5cyclictest2379469-21fschecks_time08:05:282
2362461993627,6cyclictest2487506-21true11:00:022
2362460993627,6cyclictest441-21gpm08:05:011
2362460993626,7cyclictest2387928-21cron08:35:001
2362460993625,8cyclictest2376829-21ntp_kernel_pll_07:55:361
2362460993625,8cyclictest2363254-21needreboot07:10:321
2362459993614,20cyclictest2384940-21cron08:25:010
236245999361,13cyclictest2390469-21ps08:40:410
236245999361,13cyclictest2390469-21ps08:40:410
236246199358,6cyclictest171rcu_preempt10:40:352
2362461993527,5cyclictest2556989-21if_eth012:25:282
2362461993524,7cyclictest2406571-21cron09:20:002
2362461993515,8cyclictest2565971-21grep12:35:502
2362461993512,5cyclictest36-21ksoftirqd/209:10:022
2362461993512,5cyclictest36-21ksoftirqd/209:10:022
2362461993512,14cyclictest36-21ksoftirqd/210:28:292
2362461993511,19cyclictest261-21systemd-journal09:10:332
2362461993510,5cyclictest36-21ksoftirqd/210:05:372
236246099353,27cyclictest2553431-21ssh12:20:391
2362460993526,6cyclictest2443888-21kernelversion10:05:311
2362460993526,5cyclictest2383977-21fschecks_time08:20:291
2362460993525,4cyclictest1054-21mta-sts-daemon10:55:281
2362460993523,7cyclictest1499375-21cups-browsed12:30:231
236245999358,2cyclictest0-21swapper/007:40:470
236245999353,9cyclictest2407823-21rm09:20:370
236245999352,14cyclictest2366308-21ntpq07:20:340
236245999352,14cyclictest2366308-21ntpq07:20:340
236245999351,6cyclictest2374288-21unixbench-2d07:45:470
236245999351,11cyclictest2398321-21grep09:05:480
236245999351,11cyclictest2398321-21grep09:05:480
2362461993427,3cyclictest0-21swapper/212:15:412
2362461993425,6cyclictest2382455-21fschecks_time08:15:272
2362461993411,4cyclictest36-21ksoftirqd/212:04:162
236246099343,23cyclictest2533210-21ssh11:55:401
2362460993424,6cyclictest0-21swapper/110:20:451
2362460993423,6cyclictest0-21swapper/111:45:361
236246099342,24cyclictest659-21snmpd11:15:371
2362459993429,3cyclictest151ktimers/008:45:340
2362459993429,3cyclictest151ktimers/008:45:340
236246299332,9cyclictest0-21swapper/311:25:353
2362461993325,5cyclictest2491525-21cron11:05:002
2362461993325,5cyclictest2491525-21cron11:05:002
2362461993325,5cyclictest2420142-21ssh09:35:422
2362461993325,3cyclictest0-21swapper/207:15:362
2362461993322,7cyclictest421-21dbus-daemon11:20:282
2362461993312,5cyclictest36-21ksoftirqd/209:55:362
2362460993325,3cyclictest0-21swapper/110:50:391
2362461993225,4cyclictest1056-21mta-sts-daemon08:55:402
2362461993224,5cyclictest2452804-21unixbench_multi10:15:472
2362461993224,5cyclictest2391458-21fschecks_count08:45:282
2362461993224,5cyclictest2391458-21fschecks_count08:45:282
2362461993224,5cyclictest2363942-21munin-plugin-st07:15:002
2362461993212,6cyclictest36-21ksoftirqd/211:49:532
2362461993211,5cyclictest36-21ksoftirqd/211:50:402
2362461993211,3cyclictest36-21ksoftirqd/210:39:432
2362460993223,5cyclictest2392450-21systemd-run08:50:011
2362460993223,5cyclictest2392450-21systemd-run08:50:011
2362460993221,8cyclictest2362414-21/usr/sbin/munin07:10:011
236246099321,25cyclictest1499375-21cups-browsed09:05:361
236246099321,25cyclictest1499375-21cups-browsed09:05:361
236246299311,9cyclictest0-21swapper/310:25:333
236246199319,3cyclictest36-21ksoftirqd/208:35:352
2362461993123,5cyclictest2386381-21unixbench_singl08:25:462
2362461993112,5cyclictest36-21ksoftirqd/212:24:362
2362461993111,5cyclictest36-21ksoftirqd/207:20:352
2362461993111,5cyclictest36-21ksoftirqd/207:20:352
2362461993110,5cyclictest36-21ksoftirqd/208:05:022
2362461993110,3cyclictest36-21ksoftirqd/210:00:262
2362461993110,3cyclictest36-21ksoftirqd/208:30:322
236246199308,16cyclictest421-21dbus-daemon07:35:392
2362461993023,4cyclictest1056-21mta-sts-daemon07:30:402
2362461993011,6cyclictest36-21ksoftirqd/207:25:402
2362461993010,5cyclictest36-21ksoftirqd/208:40:392
2362461993010,5cyclictest36-21ksoftirqd/208:40:392
2362461993010,4cyclictest36-21ksoftirqd/210:20:352
236246099302,20cyclictest1017-21sendmail-mta08:25:371
2362460993021,6cyclictest548-21gdbus07:20:371
2362460993021,6cyclictest548-21gdbus07:20:371
2362459993022,5cyclictest1499375-21cups-browsed07:35:390
2362459993010,5cyclictest12350irq/32-eth009:00:320
236246299291,8cyclictest0-21swapper/310:05:343
236246199294,9cyclictest2374894-21cpuspeed07:50:262
236246099298,16cyclictest1055-21mta-sts-daemon07:15:331
2362460992921,5cyclictest2394150-21/usr/sbin/munin08:55:371
2362460992920,4cyclictest0-21swapper/109:40:361
236246199289,4cyclictest36-21ksoftirqd/207:40:272
2362461992810,4cyclictest36-21ksoftirqd/208:20:272
236246099286,15cyclictest441-21gpm08:10:331
2362460992817,8cyclictest2379755-21needreboot08:05:331
236246199278,3cyclictest36-21ksoftirqd/208:15:012
2362461992710,3cyclictest36-21ksoftirqd/209:00:362
2362460992720,4cyclictest2397097-21latency_hist09:05:021
2362460992719,5cyclictest2374322-21tail07:45:471
2362460992718,5cyclictest2375924-21cron07:55:011
236246199269,4cyclictest36-21ksoftirqd/207:45:392
2362460992620,3cyclictest0-21swapper/108:45:001
2362460992620,3cyclictest0-21swapper/108:45:001
2362460992620,3cyclictest0-21swapper/108:20:011
2362460992617,4cyclictest0-21swapper/107:25:291
2362460992415,6cyclictest2372482-21processes07:40:421
236246299223,8cyclictest0-21swapper/312:05:363
2362460992110,8cyclictest271ktimers/108:50:401
236246299201,9cyclictest0-21swapper/311:00:403
236246299201,9cyclictest0-21swapper/311:00:403
236246299192,9cyclictest0-21swapper/311:15:383
236246299192,9cyclictest0-21swapper/309:35:343
236246299192,11cyclictest0-21swapper/309:49:383
236246299192,11cyclictest0-21swapper/309:49:383
236246299191,9cyclictest0-21swapper/312:10:373
236245999191,8cyclictest2362597-21wc07:10:020
236246299183,8cyclictest0-21swapper/310:50:353
236246299182,8cyclictest0-21swapper/312:00:413
236246299182,8cyclictest0-21swapper/311:05:363
236246299181,8cyclictest0-21swapper/311:40:343
236246299172,9cyclictest0-21swapper/309:30:383
236246299172,8cyclictest0-21swapper/309:20:343
236246299172,7cyclictest0-21swapper/311:50:373
236246299163,8cyclictest0-21swapper/311:10:343
236246299163,6cyclictest0-21swapper/310:00:363
236246299162,8cyclictest0-21swapper/312:30:353
236246299162,8cyclictest0-21swapper/312:25:303
236246299162,8cyclictest0-21swapper/310:55:373
236246299162,7cyclictest0-21swapper/308:35:383
236246299161,10cyclictest0-21swapper/310:45:413
236246299152,9cyclictest0-21swapper/309:25:383
236246299152,8cyclictest0-21swapper/312:20:413
236246299152,8cyclictest0-21swapper/310:35:363
236246299152,8cyclictest0-21swapper/310:20:343
236246299152,7cyclictest0-21swapper/309:05:403
236246299152,7cyclictest0-21swapper/309:05:403
236246299151,8cyclictest0-21swapper/312:15:343
236246299151,8cyclictest0-21swapper/311:35:323
236246299151,8cyclictest0-21swapper/308:30:363
236246299151,7cyclictest0-21swapper/309:10:313
236246299151,7cyclictest0-21swapper/308:10:363
236246299151,7cyclictest0-21swapper/307:10:333
236246299142,8cyclictest0-21swapper/309:50:343
236246299142,7cyclictest0-21swapper/311:30:313
236246299142,7cyclictest0-21swapper/311:20:343
236246299142,7cyclictest0-21swapper/309:15:373
236246299142,5cyclictest0-21swapper/307:40:363
236246299141,8cyclictest0-21swapper/312:35:383
236246299141,8cyclictest0-21swapper/310:15:353
236246299141,7cyclictest0-21swapper/308:40:353
236246299141,7cyclictest0-21swapper/308:40:353
236246299141,7cyclictest0-21swapper/307:30:383
236246299132,7cyclictest0-21swapper/311:45:373
236246299132,6cyclictest0-21swapper/310:40:263
236246299132,6cyclictest0-21swapper/310:30:303
236246299132,6cyclictest0-21swapper/309:55:283
236246299132,5cyclictest0-21swapper/308:55:363
236246299132,5cyclictest0-21swapper/308:45:333
236246299132,5cyclictest0-21swapper/308:45:333
236246299131,6cyclictest0-21swapper/309:00:383
236246299131,6cyclictest0-21swapper/308:50:343
236246299131,6cyclictest0-21swapper/308:20:403
236246299131,6cyclictest0-21swapper/308:00:353
236246299131,6cyclictest0-21swapper/307:50:373
236246299131,6cyclictest0-21swapper/307:15:333
236246299122,7cyclictest0-21swapper/311:55:343
236246299122,6cyclictest0-21swapper/310:10:233
236246299122,6cyclictest0-21swapper/308:25:463
236246299122,5cyclictest0-21swapper/307:35:363
236246299121,8cyclictest0-21swapper/309:40:293
236246299121,6cyclictest0-21swapper/307:45:363
236246299112,4cyclictest0-21swapper/307:55:283
236246299111,6cyclictest0-21swapper/308:05:403
236246299102,5cyclictest0-21swapper/307:25:303
236246299102,4cyclictest0-21swapper/307:20:303
236246299102,4cyclictest0-21swapper/307:20:303
23624629993,4cyclictest0-21swapper/308:15:243
23624629971,3cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional