You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-05-22 - 12:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Thu May 22, 2025 00:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1123421810,5sleep01229299cyclictest22:19:010
782421000,4sleep31229599cyclictest21:31:013
178392930,2sleep30-21swapper/320:55:263
12292999010,52cyclictest11-21rcu_preempt00:25:390
12293998810,39cyclictest8050irq/56-dwc_otg_23:00:411
12292997849,6cyclictest7850irq/56-dwc_otg00:05:260
12292997849,6cyclictest7850irq/56-dwc_otg00:05:260
51142750,5sleep31229599cyclictest22:53:473
295882750,2sleep20-21swapper/219:55:522
295882750,2sleep20-21swapper/219:55:522
132402740,5sleep11229399cyclictest00:30:481
1229299744,39cyclictest0-21swapper/020:00:380
12292997245,14cyclictest878-21runrttasks20:35:410
113772720,5sleep20-21swapper/219:05:542
1229299671,32cyclictest0-21swapper/022:10:410
1229299661,33cyclictest0-21swapper/019:30:380
161102650,2sleep20-21swapper/222:25:432
12292996221,25cyclictest31878-21ssh22:45:520
118042623,14sleep30-21swapper/319:07:343
182602610,2sleep30-21swapper/319:25:423
182602610,2sleep30-21swapper/319:25:423
12295996117,13cyclictest8529-21grep23:40:443
12292996143,4cyclictest7491-21cut20:25:450
1229299611,35cyclictest17182-21unixbench_singl19:20:550
1229299611,30cyclictest15689-21ssh00:35:390
247542600,4sleep00-21swapper/022:35:560
1229599602,10cyclictest0-21swapper/300:05:403
1229299604,44cyclictest0-21swapper/020:40:570
1229299601,49cyclictest21835-21fschecks_count21:05:470
1229299601,43cyclictest11216-21unixbench-2d23:00:560
1229299595,32cyclictest0-21swapper/021:20:380
12292995940,5cyclictest25434-21latency_hist21:55:270
1229299593,52cyclictest0-21swapper/021:35:380
1229299593,52cyclictest0-21swapper/021:35:380
1229299591,41cyclictest12380-21grep19:10:400
1229299591,40cyclictest0-21swapper/020:30:450
57662580,2sleep00-21swapper/021:29:410
12295995825,16cyclictest3540-21apt-get20:15:373
1229499583,11cyclictest7950irq/56-dwc_otg_19:30:372
12293995718,12cyclictest2250-21apt-get21:25:321
1229299575,28cyclictest0-21swapper/021:55:560
1229299571,39cyclictest0-21swapper/021:30:510
12292995710,26cyclictest0-21swapper/023:40:270
12295995616,17cyclictest18334-21sh00:39:453
1229299563,41cyclictest28571-21unixbench_multi00:05:570
1229299562,46cyclictest19904-21aten_rbpower_vo21:00:420
1229299562,41cyclictest1229050ssh22:20:410
1229299562,34cyclictest24022-21kworker/0:222:00:460
1229299562,33cyclictest17804-21ssh23:10:440
1229299562,31cyclictest0-21swapper/022:05:410
1229299561,46cyclictest1835-21grep23:31:000
12295995525,8cyclictest2598-21ssh21:25:323
1229299552,41cyclictest21997-21ssh22:32:430
1229299552,41cyclictest21997-21ssh22:32:430
1229299552,29cyclictest3372-21grep00:15:550
289022540,2sleep30-21swapper/321:16:313
289022540,2sleep30-21swapper/321:16:313
257952540,2sleep30-21swapper/321:12:573
1229599545,6cyclictest8050irq/56-dwc_otg_20:30:373
12295995422,12cyclictest13288-21unixbench_multi23:45:553
12295995421,21cyclictest1419-21sshd20:09:423
12295995418,20cyclictest11662-21ssh23:01:363
12292995428,7cyclictest16037-21wget23:50:430
12292995426,4cyclictest20993-21unixbench_multi23:56:010
12292995418,21cyclictest14956-21sh21:40:500
1229299541,37cyclictest22465-21wc23:15:540
1229299541,37cyclictest0-21swapper/019:25:470
1229299541,37cyclictest0-21swapper/019:25:470
1229399535,27cyclictest8461-21ssh22:15:411
1229299533,24cyclictest30790-21kworker/u8:023:25:370
1229299533,24cyclictest30790-21kworker/u8:023:25:370
12292995315,22cyclictest9-21ksoftirqd/020:20:380
1229299531,39cyclictest16826-21ssh22:25:540
12295995220,16cyclictest401-21latency_hist23:30:273
12295995219,13cyclictest1269-21ssh22:48:423
12295995213,24cyclictest32073-21ssh22:03:423
12292995233,5cyclictest9729-21apt23:00:260
12292995228,13cyclictest13884-21apt-get19:15:310
1229299522,33cyclictest0-21swapper/019:57:430
1229299522,33cyclictest0-21swapper/019:57:430
12295995123,25cyclictest2604050ssh22:38:093
12295995121,17cyclictest12004-21ssh21:36:363
12295995121,17cyclictest12004-21ssh21:36:363
12295995119,18cyclictest16763-21ssh23:09:153
12295995115,13cyclictest6714-21wc00:20:543
12295995114,18cyclictest8050irq/56-dwc_otg_22:05:583
1229399517,26cyclictest0-21swapper/123:25:391
1229399517,26cyclictest0-21swapper/123:25:391
1229299518,9cyclictest0-21swapper/021:15:400
1229299518,9cyclictest0-21swapper/021:15:400
1229299517,19cyclictest0-21swapper/000:35:270
1229299511,41cyclictest0-21swapper/021:47:190
12292995114,19cyclictest9650irq/80-mmc000:25:260
1229299511,34cyclictest12291-21cyclictest00:10:430
1229299511,34cyclictest0-21swapper/020:15:390
1229599507,24cyclictest0-21swapper/320:20:403
12295995021,21cyclictest24242-21ssh21:53:133
12295995017,21cyclictest27234-21rm23:22:153
12295995017,15cyclictest22115-21ssh22:32:583
12295995017,15cyclictest22115-21ssh22:32:583
12295995016,12cyclictest4468-21aten_rbpower_po23:35:423
12295995015,21cyclictest31352-21ssh23:27:483
12295995013,22cyclictest8050irq/56-dwc_otg_22:20:143
1229399508,22cyclictest8050irq/56-dwc_otg_00:20:551
1229399507,24cyclictest0-21swapper/120:10:421
1229399506,26cyclictest0-21swapper/120:45:391
1229399506,26cyclictest0-21swapper/120:45:391
12293995013,24cyclictest7995-21ssh21:31:221
12293995012,18cyclictest24414-21awk22:35:511
12293995010,29cyclictest14728-21sh23:48:411
12292995018,16cyclictest7950irq/56-dwc_otg_20:55:410
1229299501,36cyclictest0-21swapper/021:10:480
1229599497,26cyclictest0-21swapper/321:45:433
1229599497,26cyclictest0-21swapper/319:50:423
12295994924,8cyclictest28969-21df19:55:413
12295994924,8cyclictest28969-21df19:55:413
12295994917,14cyclictest10069-21memory00:25:503
12295994914,12cyclictest28110-21sed22:40:513
12295994913,13cyclictest2764-21ssh23:32:493
12295994911,10cyclictest8050irq/56-dwc_otg_22:59:083
1229399498,11cyclictest8526-21fschecks_count23:40:441
1229399496,23cyclictest0-21swapper/122:04:031
1229299497,10cyclictest11-21rcu_preempt22:40:400
1229299491,31cyclictest896-21snmpd23:23:340
12295994822,11cyclictest19414-21ssh22:30:153
12295994821,14cyclictest20564-21ls19:30:533
12295994821,12cyclictest28234-21ssh21:58:373
12295994821,11cyclictest18658-21ssh23:53:553
12295994820,18cyclictest4261-21ssh00:17:483
12295994813,12cyclictest15744-21modprobe22:25:263
12295994811,12cyclictest0-21swapper/321:44:533
1229499483,15cyclictest0-21swapper/220:15:362
1229399482,20cyclictest25661-21ssh21:55:391
12293994816,15cyclictest2356-21ssh22:06:261
12293994813,12cyclictest18674-21expr19:25:491
12293994813,12cyclictest18674-21expr19:25:491
12292994827,11cyclictest12625-21kernelversion23:45:470
12292994819,17cyclictest0-21swapper/023:40:300
12292994813,19cyclictest23166-21diskmemload22:52:090
12295994719,18cyclictest835-21ssh00:13:193
1229499475,12cyclictest0-21swapper/200:10:382
12293994717,27cyclictest1917250ssh23:11:201
12293994717,16cyclictest13640-21sed20:40:571
12293994716,12cyclictest11861-21ssh21:36:181
12293994716,12cyclictest11861-21ssh21:36:181
1229299472,30cyclictest0-21swapper/019:45:300
12292994722,14cyclictest0-21swapper/023:05:560
1229599467,25cyclictest0-21swapper/320:45:393
1229599467,25cyclictest0-21swapper/320:45:393
12295994619,11cyclictest21312-21rm23:56:333
1229499466,8cyclictest0-21swapper/221:20:382
1229399467,14cyclictest18857-21rm23:54:201
1229399467,12cyclictest20711-21unixbench-2d19:30:541
12293994613,13cyclictest1634-21ssh00:15:061
12293994612,19cyclictest7950irq/56-dwc_otg_19:20:271
12293994611,13cyclictest2241-21idleruntime-cro21:25:261
1229299469,23cyclictest9-21ksoftirqd/019:55:270
1229299461,32cyclictest0-21swapper/020:50:340
12295994521,11cyclictest19954-21awk21:00:423
12295994515,15cyclictest19636-21ssh23:12:183
12295994514,11cyclictest15809-21munin-run19:20:263
12295994510,11cyclictest7950irq/56-dwc_otg_00:00:563
12295994510,11cyclictest7950irq/56-dwc_otg_00:00:563
12294994524,6cyclictest2511350ssh23:20:272
1229499451,7cyclictest7950irq/56-dwc_otg_00:35:402
1229399456,23cyclictest0-21swapper/119:55:321
1229399456,23cyclictest0-21swapper/119:55:321
1229399456,15cyclictest10347-21sensors00:25:551
1229399452,14cyclictest8050irq/56-dwc_otg_19:20:381
12293994513,15cyclictest20000-21df21:00:431
12293994512,19cyclictest25455-21sh00:02:121
12293994512,19cyclictest25455-21sh00:02:121
12293994511,16cyclictest0-21swapper/122:46:231
12293994510,15cyclictest30154-21rm21:19:061
12293994510,15cyclictest30154-21rm21:19:061
212722440,8sleep2301ktimersoftd/221:04:432
1229599447,22cyclictest0-21swapper/320:10:423
12295994419,11cyclictest22503-21cat21:05:563
12295994417,13cyclictest17790-21grep19:25:273
12295994417,13cyclictest12881-21sshd00:30:443
12295994412,11cyclictest0-21swapper/320:40:393
1229499447,23cyclictest0-21swapper/219:35:422
1229499446,24cyclictest0-21swapper/220:05:402
1229399449,18cyclictest137-21systemd-journal00:36:581
12293994414,19cyclictest221ktimersoftd/122:14:321
12293994410,17cyclictest7950irq/56-dwc_otg_20:20:571
121382440,4sleep10-21swapper/119:10:261
1229599437,24cyclictest0-21swapper/319:45:393
1229399437,4cyclictest0-21swapper/100:05:401
1229399436,10cyclictest0-21swapper/121:00:261
1229399433,32cyclictest8050irq/56-dwc_otg_23:05:411
12293994318,5cyclictest7950irq/56-dwc_otg_23:35:441
119402432,34sleep00-21swapper/019:09:210
12295994218,11cyclictest6368-21ssh22:11:493
12295994216,19cyclictest896-21snmpd20:38:073
12295994213,5cyclictest7950irq/56-dwc_otg_19:10:543
12295994213,11cyclictest8404-21chrt20:26:323
1229499428,11cyclictest0-21swapper/200:25:392
1229499427,21cyclictest0-21swapper/219:15:312
1229499421,7cyclictest498-21thd21:25:382
1229399424,4cyclictest7950irq/56-dwc_otg_23:20:461
12293994215,12cyclictest20236-21ssh21:47:481
12293994212,19cyclictest4008-21ssh00:17:151
12293994211,19cyclictest3756-21/usr/sbin/munin20:15:401
1229299429,22cyclictest0-21swapper/020:47:100
1229299429,22cyclictest0-21swapper/020:47:100
1229299422,29cyclictest0-21swapper/020:10:370
12295994119,11cyclictest24740-21chrt19:44:383
12295994114,10cyclictest19338-21taskset20:57:523
12295994113,12cyclictest23389-21ssh23:17:103
1229499416,4cyclictest0-21swapper/222:30:422
1229499416,4cyclictest0-21swapper/222:30:422
12294994124,4cyclictest25172-21aten_rbpower_vo19:45:402
1229399417,23cyclictest0-21swapper/120:50:411
1229399416,21cyclictest9015-21ssh22:58:581
1229399415,10cyclictest0-21swapper/123:17:111
12293994112,7cyclictest18375-21ssh22:28:011
12293994111,8cyclictest28081-21ssh22:40:511
12292994126,4cyclictest24137-21ls19:40:530
1229299412,19cyclictest0-21swapper/019:36:380
12295994015,11cyclictest887-21ssh21:22:403
1229499402,22cyclictest2057-21cut20:10:462
12294994010,4cyclictest0-21swapper/222:39:382
1229499400,32cyclictest5921-21latency_hist22:55:272
1229399406,23cyclictest0-21swapper/119:45:391
1229399404,12cyclictest15844-21latency_hist22:25:271
1229399404,12cyclictest10479-21chrt20:34:591
12293994022,7cyclictest8050irq/56-dwc_otg_21:50:371
12293994014,15cyclictest21342-21rm23:56:371
12293994013,5cyclictest7850irq/56-dwc_otg23:30:481
12293994010,13cyclictest16283-21ssh21:42:301
12293994010,11cyclictest12291-21cyclictest22:30:421
12293994010,11cyclictest12291-21cyclictest22:30:421
1229299405,31cyclictest1082-21head20:05:560
1229599398,12cyclictest137-21systemd-journal20:02:343
1229399398,19cyclictest7850irq/56-dwc_otg21:11:581
1229399397,22cyclictest0-21swapper/120:25:401
12294993816,11cyclictest878-21runrttasks22:12:052
1229499381,27cyclictest14256-21ls20:45:272
1229399389,14cyclictest22410-21/usr/sbin/munin21:05:551
1229399381,8cyclictest0-21swapper/119:10:391
12293993812,12cyclictest4872-21ssh22:53:161
1229499376,6cyclictest7850irq/56-dwc_otg21:55:262
12294993729,6cyclictest20017-21ssh23:55:482
12294993728,6cyclictest8050irq/56-dwc_otg_21:45:552
1229499372,24cyclictest12479-21ls22:20:452
12294993716,14cyclictest565-21ssh22:05:272
12293993712,15cyclictest32045-21chrt20:04:281
1229499363,26cyclictest23540-21cut19:40:442
1229499362,21cyclictest8050irq/56-dwc_otg_21:41:202
1229499361,19cyclictest12488-21ls20:40:272
1229599359,10cyclictest0-21swapper/319:39:273
1229499356,22cyclictest815-21apt-get22:05:412
1229499352,24cyclictest11941-21ssh22:20:262
12294993516,4cyclictest7950irq/56-dwc_otg_20:30:432
12294993516,10cyclictest2416-21fschecks_count00:15:432
12294993514,4cyclictest4096-21latency_hist23:35:262
1229499351,25cyclictest27631-21ssh21:15:462
1229499351,25cyclictest27631-21ssh21:15:462
1229499347,4cyclictest7950irq/56-dwc_otg_22:43:572
1229499347,17cyclictest0-21swapper/221:05:432
1229499347,15cyclictest0-21swapper/223:40:322
1229499346,6cyclictest7950irq/56-dwc_otg_23:35:422
12294993416,5cyclictest16033-21/usr/sbin/munin19:20:472
1229499341,24cyclictest18335-21latency19:25:432
1229499341,24cyclictest18335-21latency19:25:432
1229499341,10cyclictest7068-21ssh22:55:552
1229399349,14cyclictest1208-21taskset20:06:581
1229399348,11cyclictest26845-21chrt19:50:311
1229499336,14cyclictest8050irq/56-dwc_otg_21:00:262
1229499335,17cyclictest8050irq/56-dwc_otg_21:35:482
1229499335,17cyclictest8050irq/56-dwc_otg_21:35:482
1229499334,6cyclictest21232-21wc23:15:262
1229499333,5cyclictest7950irq/56-dwc_otg_21:30:472
1229499331,9cyclictest32306-21unixbench_multi22:45:572
12293993317,12cyclictest21449-21/usr/sbin/munin19:35:591
1229499328,5cyclictest7850irq/56-dwc_otg19:50:572
1229499327,6cyclictest7850irq/56-dwc_otg23:30:272
1229499327,6cyclictest7850irq/56-dwc_otg23:30:272
1229499325,14cyclictest0-21swapper/223:45:302
1229499324,4cyclictest7850irq/56-dwc_otg21:10:432
1229499324,11cyclictest8050irq/56-dwc_otg_23:50:492
1229499321,5cyclictest26434-21ntp_states21:55:512
1229499321,20cyclictest10354-21cut23:00:452
1229399329,7cyclictest0-21swapper/120:35:401
1229499313,4cyclictest13874-21apt-get23:05:412
1229499311,4cyclictest24640-21ls00:00:582
1229499311,4cyclictest24640-21ls00:00:582
1229399317,11cyclictest24765-21chrt19:44:561
1229499309,13cyclictest0-21swapper/200:24:082
1229499307,12cyclictest7406-21uniq20:25:442
1229499306,13cyclictest28573-21unixbench_multi00:05:572
1229499302,7cyclictest25223-21ssh23:20:282
1229499301,6cyclictest7850irq/56-dwc_otg19:15:272
1229499296,12cyclictest5382-21aten_rbpower_cu20:20:402
1229499293,12cyclictest7950irq/56-dwc_otg_00:30:452
12294992924,3cyclictest0-21swapper/220:50:452
1229499291,13cyclictest7950irq/56-dwc_otg_20:02:432
12294992616,7cyclictest14388-21apt20:45:372
12294992616,7cyclictest14388-21apt20:45:372
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional